AI 결과물에서 틀린 문장보다 먼저 찾을 것

AI가 만든 보고서를 검토할 때 우리는 보통 틀린 숫자나 어색한 문장부터 찾습니다. 그런데 결과물의 모양은 문장을 쓰기 전의 선택에서 정해질 때가 많습니다. 어떤 자료를 넣고 뺄지, 「너무 길지 않게」를 몇 줄로 읽을지 같은 선택입니다. KAIST 전산학부 김주호 교수 팀은 10월 5일 공개한 연구에서 이 선택을 누가 했는지 사용자에게 직접 물었습니다.

 

AI가 일한 단계의 절반은 내가 시키지 않은 일이었습니다

연구팀은 AI 챗봇을 쓰는 사람 24명에게 세 가지 일을 맡기게 했습니다. 발표 슬라이드 만들기, 설명글 쓰기, 자기소개서 고치기입니다. 그리고 AI가 거친 단계마다 「내가 시킨 일」인지 「AI가 스스로 한 일」인지 참가자가 직접 표시하게 했습니다.

 

참가자들은 전체 단계의 48.6%를 AI가 스스로 한 일로 봤습니다. 내가 부탁한 일을 하는 동안, 그 과정의 절반 가까이는 AI가 알아서 정하고 덧붙인 셈입니다. 24명을 대상으로 한 작은 연구라 이 숫자를 모든 일에 그대로 옮길 수는 없습니다. 다만 AI 결과물을 받을 때 무엇을 봐야 하는지는 분명해집니다.

 

뒤로 갈수록 AI가 정하는 몫이 커집니다

AI가 한 번 답하며 거친 단계를 순서대로 다섯 토막으로 나눠 봤습니다. AI가 스스로 한 단계는 첫 토막 31.1%에서 마지막 토막 61.4%로 늘었습니다. 일의 종류로 보면 자료 찾기, 내용 펼치기, 검토, 다듬기 단계에서는 51~56%였습니다. 우리가 결과물만 보고 넘어가는 바로 그 중간 과정입니다.

 

사람들이 바란 건 「먼저 물어봐 달라」였습니다

AI가 스스로 한 일이 다 나쁘지는 않았습니다. 참가자들은 단계의 63.9%는 AI가 알아서 해도 된다고 답했습니다. 중요한 것은 나머지 단계입니다. 사람이 끼고 싶다고 한 단계 가운데 63%는 「하기 전에 먼저 물어봐 달라」였습니다. 결과에 크게 영향을 주는 일을 AI가 원치 않는 방식으로 떠맡은 단계에서는 82%가 「먼저 물어봐 달라」는 답이었습니다.

 

AI가 정한 것을 하나하나 다 붙잡을 필요는 없습니다. 저는 결론을 바꾸는 선택만 내가 쥐면 충분하다고 봅니다. 보고서라면 누가 읽는지, 무엇을 판단하려는 보고서인지, 어떤 자료를 근거로 삼을지가 여기에 해당합니다. 이 세 가지는 일을 맡기기 전에 한 줄씩 적어 먼저 건넵니다. 문장 다듬기, 표 모양, 소제목 순서처럼 바뀌어도 결론이 그대로인 일은 AI에게 맡겨 두어도 괜찮습니다.

 

AI에게 기준을 먼저 건네 보세요

지금 쓰는 AI 창에서 해 볼 만한 일을 이 결과에 비춰 골라 봤습니다. 연구가 직접 시험한 방법은 아닙니다.

 

일을 맡기기 전에는 AI가 기준부터 묻게 합니다. 「이 일을 시작하기 전에, 네가 스스로 정해야 하는 기준이 있으면 먼저 질문으로 물어봐 줘.」 연구에서 사람들이 가장 많이 바란 「먼저 물어보기」를 미리 부탁해 두는 방법입니다.

 

맡기는 문장 속 애매한 말은 숫자나 범위로 바꿔 줍니다. 논문이 든 예에서는 「너무 비싸지 않은 노트북」을 AI가 3,000달러 상한으로 읽어 노트북 네 대가 후보에서 빠집니다. 「"너무 길지 않게"는 A4 한 장 이내라는 뜻이야. 이렇게 애매한 표현이 또 있으면 어떻게 읽었는지 알려 줘.」

 

답을 받은 뒤에는 숨은 결정을 꺼내 봅니다. 「방금 답에서 내가 시키지 않았는데 네가 스스로 정한 것을 목록으로 따로 적어 줘.」 목록을 받으면 결론을 바꾸는 항목에만 표시합니다. 표시한 것만 내 기준으로 다시 정해 달라고 하고, 나머지는 그대로 둡니다. AI가 적어 준 목록에 빠진 것이 없다는 보장은 없지만, 무엇을 확인할지 출발점은 생깁니다.

 

팀원이 AI로 만든 보고서를 검토할 때도 같습니다. 문장을 고치기 전에 「이 보고서에서 AI가 대신 정한 기준은 무엇인가요」부터 묻습니다.

 

틀린 문장은 읽다 보면 눈에 걸립니다. AI가 대신 정한 기준은 결과물 안에 녹아 있어서 따로 꺼내지 않으면 보이지 않습니다. 결과물을 읽기 전에, 그 기준부터 꺼내 보시기 바랍니다.