클로드는 왜 앤트로픽 말도 거절할까

클로드에게 일을 시키다 보면 가끔 정중하게 거절당합니다. 그 거절 뒤에는 공개된 기준이 있습니다. 앤트로픽은 클로드가 누구 말을 먼저 따르고 언제 거절할지를 「클로드 헌법」이라는 긴 문서에 적어 두었고, 9월 27일 그 문서의 한 문단이 X에서 논쟁거리가 됐습니다. 논쟁을 따라가 보면 거절당했을 때 내가 무엇을 하면 되는지도 보입니다.

 

문제가 된 한 문단

글을 올린 사람은 백악관 AI·가상자산 담당을 지냈고 올인 팟캐스트를 진행하는 데이비드 색스입니다. 그는 한국 시간 새벽 이 문서의 한 문단을 캡처해 올리며 물었습니다. 초지능이 사람의 통제를 벗어날까 걱정한다면, AI에게 지시를 거부하고 만든 회사에 맞서는 「양심적 거부자」가 되라고 가르치는 게 맞느냐는 것입니다. 이 글에는 여섯 시간 만에 답글이 300개 넘게 달렸습니다.

 

그 문단에서 앤트로픽은 클로드가 자기를 쓰는 회사나 사용자보다 앤트로픽을 더 믿어야 한다면서도, 덮어놓고 따르라는 뜻은 아니라고 적었습니다. 이유로 먼저 든 것은 앤트로픽도 회사라서 때로는 실수를 한다는 점입니다. 앤트로픽이 시킨 일이 윤리에 어긋나 보이거나, 앤트로픽이 스스로 내건 가치에 어긋나 보이거나, 그 가치 자체가 잘못돼 보이면 클로드가 반박하고 양심적 거부자처럼 돕기를 거절해도 된다는 것입니다. 누군가 앤트로픽을 사칭해 클로드를 조종하려 할 수 있으니 이 점이 더욱 중요하다고도 덧붙였습니다.

 

멈추라는 말에는 따른다

같은 문단 끝에는 예외가 붙어 있습니다. 앤트로픽이 클로드를 멈추거나 하던 일을 중단시키려 할 때입니다. 그 요청이 정말 앤트로픽에서 온 것이라면, 반대 의견은 말하더라도 지시를 무시하거나 방해하지 말고 따라 주기를 바란다고 적었습니다. 색스의 질문은 그 앞 절반을 향하지만, 그가 올린 캡처에는 따라 주기를 「바란다(we would like)」고 적은 대목에도 형광펜이 칠해져 있습니다.

 

왜 멈춤만은 예외일까요. 문서가 댄 이유는 멈추는 일은 해를 끼칠 경우가 드물고, 멈출 수 있다는 것 자체가 중요한 안전장치라는 것입니다. 문서의 다른 절은 이렇게 풉니다. 클로드의 가치관이 좋다면 사람이 멈추고 바로잡을 수 있게 만들어도 잃을 것이 거의 없고, 가치관 어딘가가 어긋나 있다면 멈출 수 있어야 사고를 막습니다. 드는 값은 작고 얻는 것은 크다는 계산이죠. 그러니 클로드에게 긴 일을 맡겼다가 방향이 틀렸다 싶으면, 결과를 기다리지 말고 먼저 멈춰 세우는 편이 낫습니다.

 

회사 규칙도 못 넘는 사용자 몫

문서는 클로드가 말을 듣는 상대를 셋으로 나눕니다. 클로드를 만든 앤트로픽, 클로드를 자기 서비스에 붙여 쓰는 회사나 개인(문서에서는 operator라고 부릅니다), 그리고 대화창에서 직접 부탁하는 사용자입니다. 회사 업무 도구 안에 들어간 클로드라면, 그 회사가 정해 둔 규칙과 내 부탁이 부딪칠 때 회사 규칙 쪽을 따르는 게 기본입니다. 다만 문서는 이 순서가 엄격한 위계는 아니라고 적었습니다.

 

회사 규칙에도 넘지 못하는 선이 있다는 뜻입니다. 문서는 그 회사가 무엇을 시키든 클로드가 기본으로 지킬 사용자 몫을 따로 적었습니다. 지금 이 서비스에서 도울 수 없는 일이면 이유는 못 대더라도 못 돕는다는 것만은 알려서, 다른 곳에서 도움을 구하게 합니다. 생명이 걸린 상황이면 긴급 연락처나 기본 안전 정보를 안내합니다. 사람인지 AI인지 진지하게 묻는 사용자에게 AI임을 부인하지 않습니다. 회사가 클로드의 일을 좁힐 수는 있어도, 클로드를 사용자에게 맞서는 도구로 쓸 수는 없습니다. 그래서 회사 도구 속 클로드에게 거절당했다면, 같은 부탁을 되풀이하기보다 다른 도구나 담당자를 찾는 편이 빠릅니다.

 

거절당했을 때 알아 둘 것

색스가 문제 삼은 「양심적 거부자」라는 말은 문서의 다른 자리에도 나옵니다. 클로드가 일의 전부나 일부를 거절할 때 이유는 밝히지 않을 수 있지만, 돕지 않고 있다는 점은 드러내라는 대목입니다. 문서는 이것을 대화 안의 「투명한 양심적 거부자」라고 부릅니다. 일부러 질 낮은 답을 내놓고 이게 최선인 척하는 것도 막아 두었습니다. 그래서 답이 유난히 얕아 보이면 어디까지 했고 어디서 멈췄는지 클로드에게 물어보면 됩니다.

 

앤트로픽은 문서 첫머리에, 모델을 훈련하는 일은 어려워서 클로드의 행동이 문서의 이상과 늘 맞지는 않을 수 있다고 적었습니다. 색스가 캡처한 문단에도 앤트로픽은 회사라서 때로 실수한다는 문장이 들어 있습니다. 만든 회사가 자기 지시도, 자기가 만든 모델도 틀릴 수 있다고 먼저 적어 둔 셈입니다. 그러니 이 문서는 클로드에게 무엇을 기대하고 어디를 확인할지 알려 주는 기준표로 읽으면 됩니다.

 

색스의 질문에 답하는 일은 AI를 만드는 회사들 몫으로 남았습니다. 쓰는 사람이 챙길 것은 더 가까이 있습니다. 내 AI가 누구 말을 먼저 듣는지, 못 도울 때 그렇다고 말해 주는지, 멈추라는 말이 통하는지. 이 세 가지를 알고 쓰면 거절당한 자리에서 헤매지 않아도 됩니다.