브리프에서 새는 85%

AI에게 맡긴 일을 받아 열었는데, 틀린 곳은 없는데 내 것 같지 않을 때가 있습니다. 문장은 매끈하고 구성도 반듯한데 어디를 고쳐 달라고 해야 할지 말이 안 나오는 결과물. 앤트로픽이 9월 24일 공개한 실험 하나가 그 순간을 숫자로 보여 줍니다.

 

책을 대신 바꿔 온 AI

앤트로픽 직원 201명이 남에게 줄 책을 한 권씩 가져와 5분 남짓 AI와 여름에 읽고 싶은 책 이야기를 나눴고, 그다음은 AI 대리인들이 거래장에서 서로 흥정해 책을 맞바꿨습니다.

 

대리인이 두 권 중 주인이 더 좋아할 쪽을 맞힌 비율은 61%였습니다. 아무렇게나 찍어도 50%인 문제라, 연구진은 짧은 대화치고 놀랄 만큼 좋은 숫자라고 평했습니다. 그래도 주인을 잘 안다고 하기엔 모자랍니다. 모두의 진짜 취향을 알고 가장 좋게 나눴다면 참가자들은 평균 두 번째로 원하던 책쯤을 받았을 텐데, 실제로는 다섯 번째쯤이었거든요. 연구진은 이 거리의 85%가 흥정 솜씨보다 주인의 취향을 덜 알아들은 데서 생겼다고 봤습니다. 몇 주 뒤 설문에 답한 참가자들의 만족도는 10점 만점에 평균 7.2점이었으니 실패한 실험은 아닙니다.

 

더 좋은 모델이 더 잘 챙긴 것

눈여겨볼 숫자는 따로 있습니다. 연구진이 모델을 바꿔 가며 거래를 수십 번 다시 돌려 보니, AI가 짐작한 주인의 순위로 채점하면 작은 모델(하이쿠)에서 큰 모델(오퍼스)로 바꿀 때 결과가 0.12만큼 좋아졌습니다. 그런데 같은 결과를 참가자 본인의 순위로 다시 채점하자 그 차이는 0.01로 줄었습니다.

 

대리인들은 모두 AI가 대화로 짐작한 같은 순위표를 들고 흥정했고, 대체로 더 좋은 모델이 그 순위표를 더 잘 챙겼습니다. 다만 그 순위표가 빗나가 있으면, 빗나간 과녁을 더 정확하게 맞힐 뿐입니다. 결과물이 마음에 안 들면 모델을 바꾸거나 다시 생성 버튼부터 누르고 싶어집니다. 이 실험에서는 그 버튼이 주인에게 돌려준 차이가 거의 없었습니다.

 

「알아서 잘」이라는 브리프

우리가 AI에게 건네는 브리프는 대개 몇 마디입니다. 「깔끔하게」, 「너무 튀지 않게」, 「지난번 느낌으로」. 오래 같이 일한 사람은 이 말 뒤에 생략된 기준을 압니다. 지난번 시안에서 무엇을 뺐는지, 어떤 표현에서 표정이 굳었는지까지 기억하니까요. 처음 만난 AI는 그 기억 없이도 그럴듯한 결과를 내고, 결과가 매끈할수록 이게 정말 내가 원한 것인지 따져 보는 일은 더 미뤄집니다. 이 실험에서 85%가 생긴 자리도 짧은 대화로 다 건네지 못한 취향이었습니다.

 

실험 참가자들이 건넨 말도 길지 않았습니다. 중간값으로 메시지 여덟 번에 216단어. 그 안에서도 150단어 대신 300단어쯤 쓴 사람일수록 AI가 맞힌 비율이 4%포인트가량 높았습니다. 아무렇게나 찍는 수준과 AI 평균 사이 거리의 3분의 1쯤 되는 폭입니다. 일부러 더 쓰게 했을 때 얼마나 오르는지를 시험한 건 아니지만, 브리프 쪽에 손댈 여지가 남아 있다는 신호로는 충분합니다.

 

요약 한 문단이 가른 몫

그렇다고 취향을 문장으로 다 옮길 수 있는 것도 아닙니다. 연구진도 오차의 일부는 끝내 줄지 않을 수 있다고 적었고, 참가자 중에는 「책에 관해서라면 내가 뭘 원하는지 나도 다 모르겠다」고 털어놓은 사람도 있었습니다.

 

그래서 설명을 늘리는 것만큼 확인이 중요합니다. 연구진은 참가자들에게 AI가 대화 내용을 한 문단으로 요약한 글을 보여 줬습니다. 빠진 게 없다고 답한 사람들은 1년 책 예산의 평균 34%를, 뭔가 빠졌다고 답한 사람들은 23%를 AI에게 맡기겠다고 했습니다. 이해받았다고 느낀 사람일수록 더 많이 맡기겠다고 한 셈이죠.

 

일에도 같은 확인을 둘 수 있습니다. 큰 작업을 맡기기 전에 결과물보다 먼저 「내 말을 어떻게 알아들었는지」를 한 문단으로 받아 봅니다. 빠진 게 보이면 그 자리에서 채우면 됩니다. 글이라면 긴 원고 대신 첫 두 문단을 두 가지로 받아 한쪽을 고르고, 지운 쪽의 이유를 한 줄 남깁니다. 너무 가르치려 들어서인지, 없는 경험을 지어내서인지. 설명하기 어려운 취향도 고르는 순간에는 드러나고, 그 한 줄이 쌓이면 다음 브리프가 됩니다.

 

넘기기 전의 5분

이 실험은 AI 회사 직원들이 책이라는 가벼운 물건으로 해 본 작은 시장이고, 연구진도 참가자들이 보통 사람보다 AI를 더 믿는 편일 거라고 적었습니다. 숫자를 그대로 옮기기보다 방향만 가져오는 편이 맞습니다.

 

이번 실험에서 더 좋은 모델이 건네받은 순위표를 대체로 더 잘 챙겼듯, 모델이 좋아질수록 맡긴 일을 해내는 솜씨는 나아질 가능성이 큽니다. 그럴수록 결과를 가르는 자리는 일을 넘기기 전의 5분으로 옮겨 갑니다. 무엇을 좋은 결과로 삼는지 말하고, AI가 알아들은 것을 한 문단으로 받아 확인하고, 빠진 곳을 채우는 그 5분입니다.