AI에게 맡길수록 더 필요한 것, 고르는 눈

AI에게 제안서 초안을 부탁했더니 열 가지가 나왔다고 해보겠습니다. 문장도 매끈하고 구성도 그럴듯합니다. 쓰는 시간은 줄었는데, 이제 읽고 고르는 시간이 생깁니다. 열 가지를 다듬기 전에 하나를 정해야 하니까요. 이때 필요한 능력은 초안을 더 빨리 만드는 능력과 조금 다릅니다. 지금 어느 방향으로 가야 할지 가늠하는 눈입니다.

 

잘 만든 결과물 앞에는 선택이 있습니다

9월 22일 공개된 ‘The Tasteful Agent’ 연구는 AI가 일하는 도중 어느 방향을 고르는지 살폈습니다. 소프트웨어 개발과 기계학습 연구의 작업 기록에서 방향을 정해야 했던 순간 502개를 추려, 이후 결과를 가린 채 두 방향 중 하나를 고르게 했습니다. 이 시험의 이름은 Taste-Bench입니다. 여기서 잰 것은 두 방향 가운데 더 나은 쪽을 알아보는 눈입니다.

 

14개 모델 가운데 가장 높은 점수는 59.7%였습니다. 개발과 연구 분야 점수를 같은 비중으로 평균한 값입니다. 선택지 순서를 바꿔 두 번 물었을 때 두 번 다 맞혀야 점수를 주는 채점이라, 무작위로 고르면 25%가 기준입니다. 두 모델에게 추론 예산(답하기 전에 생각하는 분량)을 더 준 실험에서도 전체 점수는 뚜렷하게 오르지 않았습니다. 다만 정해진 개발·연구 과제에서 나온 결과라, 오래 생각해 봐야 소용없다거나 사람의 판단이 늘 낫다는 결론으로 읽을 수는 없습니다.

 

여기서부터는 이 연구를 일상 업무에 옮겨 본 해석입니다. AI가 만든 문서를 평가할 때 완성도와 방향을 나눠 보면 어떨까요. 문장과 디자인이 좋아도 고객이 궁금해하는 내용이 뒤로 밀려 있다면, 다시 볼 곳은 문장보다 그 순서를 정한 선택입니다.

 

제안서 두 개보다, 선택의 근거 두 줄

가상의 팀이 새 서비스를 제안한다고 해보겠습니다. AI는 두 가지 구성을 냅니다. 하나는 기능을 자세히 소개하고, 다른 하나는 고객의 지금 업무에서 줄일 수 있는 부담을 먼저 보여줍니다. 두 안 모두 잘 쓰여 있다면 “어느 쪽이 더 좋아?”라는 질문만으로는 선택이 선명해지지 않습니다.

 

이때 회의 메모를 펼쳐 봅니다. 고객이 “기능은 알겠는데 도입할 여력이 없다”고 말했다면 후자를 택할 근거가 생깁니다. 반대로 기존 제품으로 처리할 수 없는 일을 거듭 물었다면 기능 설명을 앞세울 이유가 있습니다. 같은 제안서라도 고객이 남긴 단서에 따라 순서가 달라집니다.

 

AI에게도 그 단서를 주고 이렇게 물어볼 수 있습니다. “각 구성의 장점과 위험을 두 줄씩 적어줘. 회의 메모에서 근거를 찾고, 메모만으로 알 수 없는 것은 따로 표시해줘.” 그러면 취향처럼 보이던 선택을 기록과 대조할 수 있습니다. AI가 낸 이유를 그대로 받아들이기보다, 실제 메모가 그 설명을 뒷받침하는지 확인할 자리도 생깁니다.

 

근거가 부족하다는 걸 알아낸 것만으로도 다음 일이 분명해지지요. 고객에게 도입 과정에서 가장 걱정되는 점을 묻거나, 두 구성의 첫 장만 보여주고 반응을 볼 수 있습니다. 본문을 열 장씩 완성한 뒤 비교하는 것보다 훨씬 적은 품으로 방향을 확인하는 셈입니다.

 

버린 안에도 다음 일을 위한 정보가 남습니다

일이 끝나면 최종 파일은 남습니다. 그런데 왜 그 구성을 택했는지, 다른 안은 왜 접었는지는 빠지기 쉽습니다. 지난번에 맞았던 이유를 모르면 다음 제안서는 겉모양만 가져오게 되죠.

 

큰 선택을 한 자리에 세 줄을 붙여 두면 됩니다. 어떤 두 방향을 놓고 고민했는지, 무엇을 근거로 하나를 골랐는지, 결과를 본 뒤 그 근거를 어떻게 평가하는지. 제안서 사례라면 “기능 소개와 도입 부담 설명 중 후자를 선택했다. 고객이 인력 부족을 언급했기 때문이다. 후속 회의에서는 도입 일정 질문이 많았고, 비용 근거는 보강이 필요했다” 정도면 충분합니다.

 

이 기록은 선택을 미화하지 않아야 쓸모가 있습니다. 예상이 빗나갔다면 그 이유까지 붙여야 하고요. 고객의 말뜻을 잘못 읽었는지, 맞는 방향을 골랐지만 설명이 부족했는지에 따라 다음에 고칠 곳이 달라지니까요. 이런 기록이 쌓이면 사람과 AI가 내놓은 판단을 같은 자리에서 돌아볼 수 있습니다.

 

AI로 한 일을 평가할 때도 초안 개수나 줄인 시간 옆에 이 과정을 함께 놓아 보세요. 어느 선택에 근거가 있었는지, 불확실한 부분을 어떻게 확인했는지. 초안은 AI가 점점 더 빨리 만들어 줍니다. 다음 선택에 쓸 수 있는 것은, 우리가 왜 그걸 골랐는지 적어 둔 세 줄입니다.