홈페이지 리뉴얼을 앞두고 고객 설문이나 인터뷰를 진행하려면 시간과 비용 부담이 커서, 최근에는 AI가 가상의 응답자처럼 답하는 합성 사용자 조사를 활용하는 경우가 늘고 있습니다. 그런데 실제 사람 604명과 합성 응답자 120명에게 같은 질문을 던진 비교 연구를 보면, 두 집단이 도달한 결론은 같아도 응답의 다양성에서 뚜렷한 차이가 나타났습니다. 합성 사용자 조사를 쓰더라도 큰 방향만 확인하는 용도로 한정하고, 세부 인사이트는 실제 고객 목소리로 보완해야 하는 이유입니다.
합성 응답이 비슷한 답만 내놓는 이유
합성 사용자는 대규모 언어 모델이 기존 데이터를 학습해 실제 사람처럼 답변을 생성하는 가상 응답자입니다. 연구에서는 실제 응답자와 합성 응답자 모두 'UX'라는 용어를 가장 많이 썼다는 동일한 결론에 도달했지만, 합성 응답자 쪽이 특정 표현에 훨씬 쏠려 있었고 전체적으로 단조로운 답변 패턴을 보였습니다.
이는 머신러닝에서 흔히 나타나는 모드 붕괴(모델이 훈련 데이터에서 가장 흔한 답만 반복해서 내놓는 현상) 때문입니다. 실제 응답자는 50개가 넘는 다양한 용어를 썼지만 합성 응답자는 12개 안팎의 용어에 머물렀고, '디지털 매니지먼트'나 '비즈니스 분석'처럼 특정 직군만 쓰는 전문화된 표현은 아예 등장하지 않았습니다.
우리 홈페이지 기획에 생기는 영향
홈페이지 리뉴얼 전 고객 조사는 메뉴 구성, 카피 문구, 자주 쓰는 검색어를 파악하는 데 쓰입니다. 합성 사용자 데이터만으로 조사를 끝내면 큰 트렌드는 맞을 수 있어도, 실제 고객이 쓰는 다양한 표현이나 특정 직군만 쓰는 용어를 놓쳐 사이트 안의 용어 선택이나 FAQ 구성이 단조로워질 위험이 있습니다.
| 구분 | 실제 응답자 | 합성 응답자 |
|---|---|---|
| 참여자 구성 | 직군이 다양하게 섞임 | 특정 성향(전문가 비중)에 쏠림 |
| 사용 용어 수 | 50개 이상으로 다양 | 12개 안팎에 집중 |
| 응답 형태 | 짧고 간결한 설문 응답 | 장황한 인터뷰식 응답 |
합성 사용자 활용 전 점검할 네 가지
- 조사 목적부터 구분합니다 빠르게 방향을 확인하려는 조사인지, 세부 문구나 메뉴명을 정하기 위한 조사인지 먼저 정하고 목적에 따라 합성 데이터의 비중을 다르게 가져갑니다.
- 소수라도 실제 고객 인터뷰를 병행합니다 합성 응답으로 큰 틀을 잡은 뒤, 실제 고객 몇 명과 짧게라도 인터뷰해 특수한 표현이나 요구를 추가로 확인합니다.
- 합성 데이터는 가설 생성 단계에만 씁니다 합성 응답에서 나온 결론을 최종 결정으로 쓰지 않고, 실제 데이터로 검증하는 절차를 거칩니다.
- 응답에 등장하는 용어의 폭을 확인합니다 합성 응답이 10여 개 용어에만 머문다면 다양성이 부족하다는 신호이므로 추가 조사를 고려합니다.
합성 사용자 조사에서 흔히 하는 오해
- 통계적으로 유의미한 차이를 곧바로 실무적으로 중요한 차이라고 착각하는 경우가 있습니다.
- 합성 응답의 장황한 설명을 실제 설문 응답과 같은 형식으로 보고 그대로 비교하는 경우가 있습니다.
- 질문을 합성 사용자 플랫폼이 임의로 재구성해도 원래 설문과 똑같은 조건이라고 가정하는 경우가 있습니다.
한 줄 정리 합성 사용자 조사는 큰 방향을 빠르게 확인하는 데는 유용하지만, 실제 고객의 다양한 표현과 소수 의견까지 담으려면 사람이 참여하는 조사를 완전히 대체할 수 없습니다.