ChatGPT 가상 고객의 설문 답, 보고서에 그대로 옮겨도 될까

기획안이나 마케팅 보고서를 쓰다 보면 ChatGPT에 이렇게 묻고 싶어집니다. 「30대 직장인 고객이라고 생각하고 답해 줘.」 몇 초 만에 그럴듯한 반응이 나오고, 조금만 다듬으면 퍼센트 숫자까지 만들 수 있습니다. 미국 여론조사 기관 퓨리서치센터가 9월 30일에 낸 보고서는 이 습관을 다시 보게 만듭니다.

 

실제 사람인 척 답한 AI, 평균 12%p 어긋났습니다

퓨리서치는 미국 설문 패널의 실제 응답자 한 사람 한 사람의 인구통계와 2025년 정치성향 조사 답을 AI에 넣었습니다. 그리고 AI에게 그 사람인 척 2026년 상반기 설문 세 번에 똑같이 답하게 했습니다. 이른바 「디지털 트윈」 방식입니다. 여러 모델을 시험했고, 따로 밝히지 않은 결과는 Claude Opus 4.6 기준입니다.

 

질문 300개 가까이에서 AI의 답과 실제 사람의 답은 평균 12%p 어긋났습니다. 질문의 약 28%는 차이가 15%p를 넘었습니다. 더 곤란한 점은 어느 쪽으로 틀릴지 미리 짐작하기 어려웠다는 사실입니다. 생활비 걱정을 물었을 때 AI는 의료비와 소비재 걱정은 조금 부풀리고, 전기요금 걱정은 크게 낮춰 잡았습니다. 데이터센터에 대해 「많이 들어 봤다」고 답한 사람은 실제로 25%였는데, AI 응답자는 3%였습니다.

 

틀리는 모양에도 버릇이 있었습니다. 「잘 모르겠다」 보기가 있는 질문에서 사람은 AI보다 그 보기를 약 4배 더 골랐습니다. 질문의 절반 가까이에서는 AI 응답자가 아무도 고르지 않은 보기가 하나 이상 있었습니다. 한 집단에서 꽤 흔한 생각을 거의 모두의 생각으로 키우기도 했습니다. 히스패닉 성인 가운데 월드컵을 어느 정도라도 챙겨 볼 것 같다는 사람이 AI 응답에서는 97%, 실제로는 43%였습니다.

 

내 보고서의 숫자에서 달라져야 할 것

이 결과를 회사 일로 옮겨 보면 문제가 분명해집니다. 가상 고객에게 받은 숫자는 실제 고객 숫자와 크게 벌어질 수 있고, 실제 고객의 답과 맞춰 보기 전에는 어느 방향으로 벌어졌는지 보고서를 쓰는 사람도 알기 어렵습니다. 망설이는 고객의 답과 소수 의견은 숫자에서 통째로 빠지기 쉽습니다. 「우리 타깃은 대부분 이걸 원한다」는 결론이 AI가 키운 고정관념일 수 있습니다.

 

모델에 따라 그림이 바뀐다는 점도 기억해야 합니다. 일부 질문으로 두 모델을 견줘 보니 GPT-5.1은 실제보다 극단적인 여론을, Claude Opus 4.6은 실제보다 무난한 중간 여론을 그렸습니다. 퓨리서치는 어느 쪽 결과를 읽어도 다른 방향으로 오해하게 된다고 정리했습니다. 같은 기획안이라도 어떤 AI에게 물었느냐에 따라 결론이 달라질 수 있습니다.

 

그렇다고 AI를 손에서 놓을 필요는 없습니다. 퓨리서치도 실제 사람이 쓴 열린 질문 응답을 분류하거나 분석 코드를 짜는 데는 AI를 계속 쓴다고 밝혔습니다. 사람 대신 답하게 하는 일과 사람의 답을 정리하게 하는 일은 다릅니다. 그래서 가상 고객은 질문지를 다듬고, 놓친 가설을 뽑고, 고객이 헷갈릴 만한 문장을 찾는 데까지만 쓰기를 권합니다. 보고서에 들어갈 숫자는 실제 사람에게 받아야 합니다.

 

내일 바로 해 볼 네 가지 확인

가상 고객 답을 이미 받아 두었다면 다음 네 가지를 살펴보십시오. 퓨리서치가 내놓은 절차가 아니라 이 보고서를 읽고 뽑은 점검이고, 이것만으로 숫자가 맞는지 판정할 수는 없습니다.

 

첫째, 「모르겠다」가 거의 없는지 봅니다. 실제 사람은 생각보다 자주 망설입니다. 망설임이 사라진 결과라면 실제보다 확신에 찬 그림일 가능성이 큽니다.

 

둘째, 아무도 고르지 않은 보기가 있는지 봅니다. 0%가 보이면 실제 고객 중에도 정말 그렇게 생각하는 사람이 없는지 따로 확인합니다. AI가 그 의견을 지운 것일 수 있습니다.

 

셋째, 한 집단이 거의 한목소리로 답했는지 봅니다. 앞의 월드컵 숫자처럼 쏠린 숫자일수록 고정관념이 부풀려졌을 수 있으니 한 번 더 의심합니다.

 

넷째, 같은 질문을 다른 모델에 넣어 봅니다. 그림이 크게 바뀐다면 그 숫자는 고객의 생각보다 모델의 버릇에 가깝습니다.

 

숫자는 사람에게, 준비는 AI와

AI 응답자는 상식 문제를 실제 사람보다 훨씬 잘 맞혔습니다. 수정헌법 1조 질문에서 실제 정답률은 52%였는데 AI는 98%였습니다. 모른다는 답도 사람보다 훨씬 덜 골랐습니다. 바로 이 지점이 함정입니다. 아는 것이 많다고 해서 사람이 실제로 어떻게 느끼고 답하는지까지 아는 것은 아닙니다. 퓨리서치의 결론도 같습니다. AI 설문은 지금으로서는 실제 사람을 제대로 조사하는 일을 대신하지 못합니다. 내일 보고서를 쓸 때 가상 고객의 답은 초안 메모에 두고, 숫자 칸은 실제 고객의 목소리로 채우는 편이 안전합니다.