회원가입 없이 공유한 견적서 링크나 협업용 임시 페이지가 네이버·구글 검색 결과에 뜬 적이 있다면, 설정 하나가 잘못됐을 가능성이 큽니다. 구글이 스팸 방지 가이드에 '검색용이 아닌 콘텐츠' 항목을 새로 추가하면서, 공유 목적 페이지를 올바르게 숨기는 방법을 구체적으로 정리했습니다.
검색 노출을 막는 두 가지 방법의 차이
페이지를 검색 결과에서 빼는 방법은 크게 두 가지입니다. 하나는 페이지 안에 '이 페이지는 색인하지 마세요'라는 noindex 태그를 넣는 방법이고, 다른 하나는 robots.txt 파일로 아예 로봇이 그 페이지에 접근하지 못하게 막는 방법입니다. 문제는 이 둘을 동시에 적용하면 noindex 태그 자체를 로봇이 읽을 수 없게 되어, 의도와 반대로 페이지가 검색에 노출될 수 있다는 점입니다.
견적서·공유 링크·임시 페이지가 위험한 이유
고객에게 보내는 견적서 링크, 회원 간 공유되는 게시물, 특정 작업을 위해 임시로 만든 유틸리티 페이지는 애초에 검색에 노출될 필요가 없는 콘텐츠입니다. 하지만 robots.txt로만 막아둔 경우 다른 사이트가 그 URL을 링크하면, 구글이 페이지 내용은 못 읽어도 주소만으로 검색 결과에 노출시킬 수 있습니다. 반대로 noindex만 걸어두고 robots.txt 차단까지 겹쳐 있으면 noindex 지시 자체가 전달되지 않아 역시 노출될 위험이 있습니다.
우리 홈페이지에서 확인해야 할 것
워드프레스나 자체 제작 홈페이지에 회원 전용 페이지, 견적 요청 결과 페이지, 설문·이벤트 응모 페이지가 있다면 지금 설정을 점검할 필요가 있습니다. 구글 서치 콘솔의 '페이지 색인 생성' 보고서에서 'robots.txt에 의해 차단되었지만 색인됨' 상태가 있는지 확인하는 것이 가장 빠른 방법입니다.
| 상황 | 구글의 처리 | 필요한 조치 |
|---|---|---|
| noindex만 적용 | 크롤러가 읽고 색인 제외 | 정상, 유지 |
| robots.txt만 적용 | 내용은 못 읽지만 URL 노출 가능 | noindex 병행 또는 비공개 처리 |
| 둘 다 적용 | noindex 지시 전달 안 됨 | robots.txt 차단 해제 후 noindex만 유지 |
지금 점검해야 할 네 가지
- 공유·임시 페이지 목록 정리 회원 전용, 견적서, 설문 결과처럼 검색에 노출될 필요 없는 페이지 유형을 먼저 목록으로 뽑아둡니다.
- robots.txt 중복 차단 여부 확인 해당 페이지들이 robots.txt에도 등록돼 있는지 확인하고, noindex를 쓸 페이지는 robots.txt 차단 목록에서 빼야 합니다.
- 서치 콘솔 색인 보고서 점검 Page Indexing 보고서에서 '차단되었지만 색인됨' 항목이 있는지 주기적으로 확인합니다.
- 알림 설정으로 급증 감지 특정 사용자가 대량으로 페이지를 생성하거나 색인 수가 갑자기 늘어나는 경우를 알아챌 수 있도록 모니터링 체계를 마련합니다.
자주 하는 오해와 실수
- robots.txt로 막으면 완전히 숨겨진다고 생각하지만, 외부 링크를 통해 URL만 노출될 수 있습니다.
- noindex 태그를 넣었다고 안심하고 robots.txt 차단까지 함께 걸어두면 태그 자체가 무효화됩니다.
- 사용자 생성 콘텐츠가 많은 사이트일수록 신규 페이지의 색인 설정을 수동으로 하나씩 확인하기 어려우므로, 템플릿 단계에서 기본값을 정해두는 것이 안전합니다.
한 줄 정리 검색에 노출될 필요 없는 공유·협업 페이지는 noindex 태그만 적용하고 robots.txt 차단과 겹치지 않도록 설정을 분리해야 합니다.