AI가 내 대화를 읽어도 괜찮은 조건

한 줄만 떼어 보면 수상한 점을 알아채기 어려운 사기 문자가 있습니다. 택배가 도착했다는 안내, 은행 담당자의 확인 요청, 오랜만에 연락한 지인의 인사처럼 보입니다. 수상한 것은 흐름입니다. 몇 번 말이 오간 뒤에 링크를 누르게 하고, 돈을 옮기게 합니다. 그래서 이런 사기를 가려내려면 앞뒤 대화까지 살펴야 합니다. 문제는 그 대화가 우리가 가진 기록 가운데 가장 사적인 기록이라는 점입니다.

 

폰 밖으로 나가지 않는 사기 탐지 AI

구글 딥마인드와 싱가포르 정부기술청(GovTech)이 10월 14일 이 문제에 답을 하나 내놨습니다. 구글의 가벼운 AI 모델 「젬마」에 싱가포르에서 실제로 쓰인 사기 수법을 다시 가르쳤습니다. 공공기관과 은행, 현지 유명인을 사칭하는 수법입니다. 학습에는 사기 신고 자료를 익명으로 가공한 데이터를 썼고, 개인을 알아볼 수 있는 정보는 뺐다고 밝혔습니다.

 

작동은 두 단계입니다. 먼저 작은 판별기가 들어오는 메시지를 적은 전력으로 훑습니다. 의심이 가면 젬마 모델이 대화를 더 길게 읽고 진짜 위험인지 헛경보인지 가립니다. 위험하다고 보면 화면에 경고를 띄워, 정보나 돈을 보내기 전에 잠깐 멈추라고 권합니다. 이 과정은 사용자가 동의한 경우에만 휴대폰 안에서 돌고, 싱가포르 정부도 구글도 대화를 볼 수 없다고 합니다. 앱에 넣는 일은 정부와 함께 단계적으로 진행하며 일정은 아직 밝히지 않았습니다.

 

싱가포르 시내 횡단보도를 건너는 사람들

 

많이 볼수록 가까이 있어야 합니다

이 발표에서 눈여겨볼 대목은 AI가 대화를 읽는 자리입니다. 사기를 잘 잡으려면 AI가 대화를 많이 봐야 합니다. 한 줄로는 모자라고 앞뒤 맥락이 있어야 합니다. 그런데 많이 보여 줄수록 맡기기가 꺼려집니다. 쓸모와 불안이 같이 커지는 구조입니다. 이 프로젝트는 「믿어 달라」는 약속 대신, 대화를 처리하는 자리를 바꿔서 그 둘을 풀었습니다. 대화가 휴대폰 밖으로 나가지 않으니, 읽혀도 괜찮은 조건이 생겼습니다.

 

이제 AI를 쓸지 말지보다 먼저 물을 것은, 내 데이터가 어디에서 처리되느냐입니다.

 

대신 막지 않고, 멈추게 합니다

경고하는 방식도 살펴볼 만합니다. 발표에 적힌 동작은 경고까지입니다. 송금을 대신 막는다는 말은 없습니다. 멈추라고 권할 뿐, 결정은 사람에게 남겨 둡니다. 이 경고는 보내기 전에 다시 생각할 틈을 줍니다. 위험한 순간에 AI가 해 줄 수 있는 쓸모 있는 일 하나는 바로 그 틈을 만드는 것입니다.

 

카페 탁자에 둘러앉아 각자 휴대폰을 보는 사람들

 

내 일에 옮기면

같은 질문은 사무실에서도 생깁니다. 고객 상담 기록을 AI에게 요약시킬 때, 계약서를 검토시킬 때, 직원 평가 자료를 정리시킬 때가 그렇습니다. 모두 많이 봐야 잘하는 일이고, 동시에 밖으로 나가면 곤란한 자료입니다. 이런 일을 맡기기 전에 두 가지를 물어보시면 됩니다. 이 일은 AI가 얼마나 많이 봐야 잘할 수 있는가. 그 내용이 회사 밖으로 나가도 괜찮은가. 앞의 답이 「많이」이고 뒤의 답이 「안 된다」라면, 기능을 비교하기 전에 그 자료가 어디서 처리되는지를 먼저 따져 볼 차례입니다.

 

「멈추게 한다」는 생각은 회사 일에도 그대로 옮길 수 있습니다. 거래처에 돈을 보내는 순간을 떠올려 보시기 바랍니다. 「계좌가 바뀌었으니 오늘 안에 이쪽으로 보내 달라」는 메일은 문장만 보면 평소 연락과 다르지 않습니다. 수상한 점은 급하다는 말과 바뀐 계좌가 함께 왔다는 흐름에 있습니다. 이럴 때 AI에게 송금을 맡기기보다, 돈을 보내기 직전에 지난 연락과 다른 점이 없는지 한 번 짚어 달라고 하는 편이 낫습니다. 견적서를 밖으로 보내기 전이나 계약서에 서명하기 전에도 마찬가지입니다. 결정은 사람이 하고, AI는 결정하기 전에 생각할 틈을 만드는 역할을 맡습니다. AI의 확인 결과는 참고로 쓰고, 송금과 서명은 사람이 다시 확인하고 결정해야 합니다.

 

AI가 사적인 일까지 들어오려면, 똑똑해지는 만큼 가까워져야 합니다. 오늘 AI에게 맡긴 자료가 지금 어디에 있는지부터 확인해 보시기 바랍니다.