AI 요약이 틀리면, 내 기억도 따라 틀립니다

어제 회의에 직접 들어갔다고 해 봅시다. 오늘 아침 AI가 정리한 회의록을 훑고, 그 내용을 주간보고에 옮깁니다. 회의록에는 마감이 금요일로 적혀 있습니다. 그런데 회의에서 들은 날은 목요일이었습니다. 우리는 둘 중 어느 쪽을 기억하게 될까요?

 

직접 본 사람도 요약 쪽으로 기억했습니다

미국 조지타운대와 워싱턴대 연구진이 9월 23일 공개한 논문에 이 질문에 가까운 실험이 나옵니다. 참가자 328명이 25초짜리 교통사고 영상을 봤습니다. 하루에서 이틀 뒤 그 영상을 정리한 21문장짜리 요약을 읽고, 이어서 기억 문제를 풀었습니다. 요약 속 교차로 표지판은 사람에 따라 영상과 같게, 또는 다르게 적혀 있었습니다.

 

맞는 요약을 읽은 사람은 83.6%가 표지판을 맞혔습니다. 틀린 요약을 읽은 사람은 44.8%만 맞혔습니다. 요약에 나오지 않은 사고 시간대(낮인지 밤인지)는 96.6%가 맞혔습니다. 영상 기억이 통째로 흐려지지는 않았습니다.

 

연구진은 절반에게는 AI가 쓴 요약이라고, 나머지에게는 전문 속기사가 쓴 요약이라고 알려 줬습니다. 실제로는 모두 챗GPT가 쓴 같은 요약이었습니다. 틀린 요약을 읽은 사람의 정답률은 46.3%와 43.4%로 거의 같았습니다. 평소 AI를 얼마나 믿는지, 얼마나 자주 쓰는지에 따라서도 뚜렷한 차이는 나오지 않았습니다. 연구진은 실험에 쓴 영상 두 편을 챗GPT와 제미나이에 맡겨 요약 20개를 받아 보기도 했습니다. 20개 모두에 오류가 있었고, 19개는 차가 사람을 치는 장면을 빼먹었습니다.

 

「마지막엔 내가 확인한다」가 흔들리는 자리

AI를 쓸 때 우리는 보통 이렇게 안심합니다. 초안은 AI가 쓰고, 최종 확인은 내가 한다. 사람이 끼면 AI의 실수를 잡아 줄 거라고들 기대합니다. 연구진은 바로 이 자리를 걱정했습니다. 사람의 기억이 AI의 실수 쪽으로 휠 수 있다고 봤습니다.

 

여기서부터는 제 해석입니다. 확인하는 사람의 기억이 이미 요약 쪽으로 옮겨 갔다면, 확인은 요약을 요약과 맞대 보는 일이 됩니다. 어제 회의에 있었던 사람이 오늘 아침 회의록을 읽는 순서는 이 실험과 꽤 닮았습니다. 먼저 겪고, 하루 이틀 뒤에 요약을 읽으니까요.

 

팀이라면 한 가지가 더 걸립니다. 회의에 있던 사람이 모두 같은 회의록을 읽으면, 서로의 기억으로 서로를 확인하기도 어려워집니다. 다 같이 같은 쪽으로 틀릴 수 있으니까요.

 

1인 사업자는 고객과 통화한 내용을 AI 요약으로 정리하기도 합니다. 긴 계약 메일을 요약만 읽고 답하는 날도 있습니다. 요약에서 납기나 금액 하나가 어긋나면 내 기억도 그쪽으로 기울 수 있습니다.

 

다만 실험은 짧은 영상 두 편으로 했습니다. 틀린 요약도 연구진이 표지판 하나만 바꿔 만든 것입니다. 한 시간짜리 회의나 통화에서도 같은 결과가 나올지는 아직 모릅니다. 요약에서 빠진 내용이 기억까지 지우는지도 이번 실험에서는 재지 않았습니다.

 

요약을 열기 전에, 내 기억부터 적기

아래 세 가지는 논문 밖에서 제가 따로 권하는 방법입니다.

 

첫째, 요약을 열기 전에 내가 기억하는 핵심 세 줄을 먼저 적습니다. 1분이면 됩니다. 그다음 요약과 맞대 봅니다. 서로 어긋나는 곳부터 확인합니다.

 

둘째, 결정에 쓰는 숫자와 날짜, 이름, 약속은 원문에서 한 번 더 확인합니다. 녹취든 원래 메일이든, 그 한 줄만 찾으면 됩니다.

 

셋째, 요약을 맡길 때 부탁을 하나 더 붙입니다. 「이 회의 녹취를 요약해 줘. 끝에 확실하지 않은 내용과 요약에서 뺀 내용을 따로 적어 줘.」 AI가 빠뜨린 것을 다 알려 주지는 못합니다. 그래도 다시 볼 곳을 좁히는 데는 도움이 됩니다.

 

요약은 읽는 시간을 줄여 줍니다. 무엇을 기억할지까지 요약에 맡기면, 확인하는 사람도 같이 틀릴 수 있습니다.