AI 사용 200번의 함정

한 의료기기 회사가 직원 약 5,000명에게 사내 AI 비서에 한 달 200번 이상 질문하라는 의무를 걸었습니다. 월별 질문 수는 200번 근처에 몰렸고, 이 기준을 적용하던 기간에 나온 질문의 31%는 반복 질문이거나 업무와 무관한 질문으로 분류됐습니다. 기준을 100번으로 낮춘 뒤 월 질문 수는 표본 평균의 약 30%만큼 줄어든 것으로 추정됐고, 줄어든 질문의 약 90%가 이 두 종류였습니다. 반복하지 않은 업무 관련 질문에서는 통계적으로 유의한 변화가 확인되지 않았습니다.

 

숫자를 걸면 숫자가 채워집니다

홍콩대 경영경제학부 연구진이 9월 26일 arXiv에 공개한 논문에 실린 사례입니다. 중국 회사 한 곳을 다뤘습니다. 처음 의무를 건 것이 사용 증가의 원인인지는 연구진도 확인하지 못했습니다.

 

200번 기준을 적용하던 때, 한 번 이상 AI를 쓴 직원의 월별 기록 중 12%는 정확히 200번이었고 95%는 220번 이내였습니다. 질문은 월말에 몰렸습니다.

 

줄어든 질문은 어떤 질문이었나

회사는 석 달 뒤 기준을 100번으로 낮췄습니다. 연구진은 지점마다 기준을 바꾼 시기가 다른 점을 이용해 효과를 비교했습니다. 반복 질문과 업무에 무관한 질문의 비중은 31%에서 18%로 내려갔고, 실적을 확인한 영업직 표본의 월 매출은 약 7% 늘어난 것으로 추정됐습니다.

 

다만 질문이 줄면서 시간이 얼마나 남았는지는 재지 못했습니다. 연구진은 숫자를 채우는 부담이 줄었을 가능성 등을 제시했지만, 매출 증가의 경로를 구분하지 못했습니다.

 

우리 팀은 「몇 번」 대신 무엇을 볼까

팀에서 AI 도입을 맡고 계시다면 먼저 숫자로 무엇을 알아내려는지 적어 보시기 바랍니다. 직원들이 도구를 열어 봤는지 확인하려는 것일 수도 있고, 맡긴 일을 끝냈는지 살피려는 것일 수도 있습니다. 결과물을 그대로 써도 되는지 알아야 할 때도 있습니다. 이 셋은 서로 다른 질문입니다. 사용 횟수 하나를 모아 놓고 이 질문들에 모두 답하려 하면, 확인하지 못한 부분을 추측으로 채우게 됩니다.

 

가령 보고서 초안을 만드는 팀이라고 해 보겠습니다. 한 사람은 질문 세 번으로 초안을 만들었고, 다른 사람은 스무 번을 물었습니다. 횟수만 보면 누가 더 잘 썼는지 가리기 어렵습니다. 맡은 보고서의 난도가 다를 수 있고, 스무 번 가운데 몇 번은 오류를 확인하는 질문일 수도 있습니다. 결과물을 보지 않은 채 적게 쓴 사람을 칭찬하거나 많이 쓴 사람을 재촉할 이유는 없습니다.

 

팀원마다 「이번 달 AI로 끝낸 일 하나」를 골라 나누는 자리를 권합니다. 보고서 초안, 회의록 정리, 고객 메일 답장처럼 실제로 쓴 결과물을 가져오게 합니다. AI가 낸 초안과 사람이 고친 부분을 함께 펼쳐 보시기 바랍니다. 초안은 빨리 나왔는데 숫자와 출처를 확인하느라 손이 많이 갔을 수도 있습니다. 질문을 적게 했어도 검토할 일이 남아 있다면, 그 일까지 포함해 사용 경험을 이야기해야 합니다.

 

그 일에 쓴 질문 한두 개도 함께 나누고, 다른 팀원이 자기 업무에 적용해 보도록 제안할 수 있습니다. 필요한 자료를 무엇까지 줬는지, 어떤 부분을 다시 물었는지, 마지막에 사람이 무엇을 확인했는지 설명하게 합니다. 잘된 결과만 모으지 말고 쓰지 못한 초안도 함께 보시기 바랍니다. 실패한 질문을 숨겨야 하는 자리가 되면, 횟수 보고가 이름만 성공담 보고로 바뀔 수 있습니다.

 

이 공유를 또 다른 숙제로 만들 필요는 없습니다. 이미 팀에서 검토하는 결과물 하나를 놓고 대화를 시작해도 됩니다. 자료를 새로 꾸미게 하거나 모든 대화를 제출하게 하면, 정작 알고 싶던 업무의 변화보다 보고 준비가 커질 수 있습니다. 무엇을 제출하게 할지 정할 때는 그 자료를 보고 어떤 결정을 할 것인지까지 함께 적어 두는 편을 권합니다.

 

내 AI 사용 기록을 한 번 들여다보는 법

지난 한 주의 대화에서 실제 결과물로 이어진 것 하나를 골라 보시기 바랍니다. 대화와 결과물을 나란히 놓고, 답변 중 어느 부분을 썼는지 표시해 봅니다. AI가 준 문장을 그대로 쓴 곳도 있고, 방향만 참고한 곳도 있을 것입니다. 끝까지 쓰지 못한 대화라면 어느 답에서 막혔는지 한 줄을 남겨 둡니다.

 

같은 질문을 말만 바꿔 여러 번 물었다고 곧바로 헛일로 셀 필요는 없습니다. 더 나은 답을 찾거나 중요한 내용을 재확인했을 수도 있습니다. 다만 처음 질문에 상황과 원하는 결과를 충분히 적었는지는 점검해 볼 만합니다. 빠진 설명이 있다면 한 줄씩 보태 보시기 바랍니다. 같은 설명을 매번 처음부터 했다면, 그 설명은 지침이나 메모로 적어 둘 때입니다.

 

다음에 비슷한 일을 맡길 때 참고할 것은 그 기록입니다. 「많이 썼다」는 감상 옆에 무엇을 쓰고 무엇을 버렸는지 남겨 보시기 바랍니다. 횟수도 남겨 두되, 그 숫자가 설명하지 못하는 부분은 결과물 옆에 적어 두시기 바랍니다.

 

AI 사용 기록 옆에 붙여 둘 질문은 이것입니다. 「이 대화가 실제 일의 어느 부분에 쓰였습니까?」