국내 사이트 119곳의 robots.txt를 직접 열어보고, 이 중 정상 확인된 99곳을 집계했습니다.
이 파일 한 장이 AI가 우리 사이트를 읽어갈지 말지를 정합니다. 지난 글에서 GPTBot은 학습용,
OAI-SearchBot은 ChatGPT 검색 답변용이라 서로 다른 봇이라고 말씀드렸는데,
그 구분을 실제로 하는 회사가 몇이나 되는지 궁금했습니다.
9곳이었습니다.
그리고 예상 못 한 걸 하나 발견했습니다. AI 봇이 막혀 있는 곳 상당수가, 막을 생각이 없었는데 막혀 있었습니다.
먼저 한계부터
업종을 섞어 임의로 고른 표본이라 업계 전체를 대표하지 않습니다.
robots.txt는 요청이지 강제도 아닙니다. 조사일은 2026년 9월 21일입니다.
119곳 중 20곳은 확인하지 못했습니다. 이 중 6곳은 robots.txt 자리에 홈페이지 화면이 돌아왔습니다.
크롤러가 규칙을 읽으러 왔는데 규칙 대신 화면을 받아가는 상태입니다.
AI 봇 이름을 적어둔 곳은 30%
99곳 중 30곳뿐이었습니다. 나머지 69곳은 GPTBot이든 ClaudeBot이든 이름이 아예 없습니다.
막지도 열지도 않은 게 아니라, 결정한 적이 없는 상태입니다.
차단 숫자는 GPTBot 24곳, ClaudeBot 21곳, OAI-SearchBot 17곳이었습니다.
17곳은 ChatGPT 검색 답변에서 빠져 있습니다
OAI-SearchBot을 막으면 ChatGPT가 검색해 답변할 때 그 사이트를 보여주지 않습니다.
OpenAI 문서에 그렇게 적혀 있습니다.
그런데 이 17곳을 나눠보니 둘로 갈렸습니다. 이름을 직접 적어 막은 곳이 7곳, 이름이 없는데도 막힌 곳이 10곳입니다.
막을 생각이 없었는데 막힌 10곳
이런 모양의 파일들입니다.
User-agent: Googlebot
User-agent: Yeti
User-agent: Daum
Allow: /
User-agent: *
Disallow: /
허용할 검색엔진만 목록에 넣고 나머지는 막는 방식입니다. 오래 쓰인 합리적인 설정인데,
이 파일을 만들 땐 AI 봇이 없었습니다. 목록에 없으니 지금은 자동으로 차단 대상이 됩니다.
규격상으로도 그렇습니다. 구글 문서와 국제 표준 RFC 9309 모두,
크롤러는 자기 이름 그룹만 따르고 없으면 별표 그룹을 따른다고 규정합니다. 두 그룹은 합쳐지지 않습니다.
카카오뱅크, 직방, 호갱노노, 정부24, 서울시 홈페이지 등이 이 방식이었습니다.
구분해서 설정한 9곳
학습 봇은 막고 검색 봇은 열어둔 곳입니다.
11번가, G마켓, 옥션, 지그재그, 사람인, 센드버드, 조선일보, 경향신문, 매일경제입니다.
업종도 갈렸습니다. 언론 11곳 중 5곳, 이커머스 9곳 중 4곳이 막은 반면 제조 10곳, 교육 5곳, 병원 3곳은 한 곳도 막지 않았습니다.
참고로 llms.txt는 14곳(약 12%)이 갖고 있었습니다. 200 응답은 41곳이었지만 27곳은 파일이 아니라 홈페이지 화면이었습니다.
3분이면 확인합니다
주소창에 회사 도메인 뒤에 /robots.txt를 붙여보세요.
□ 텍스트 파일이 나오는가, 화면이 뜨는가
□ GPTBot과 OAI-SearchBot이 이름으로 적혀 있는가
□ 허용 목록 방식이라면 그 목록에 AI 봇이 있는가
막는 게 정답도, 여는 게 정답도 아닙니다. 콘텐츠로 버는 회사는 막는 쪽이 맞을 수 있고, 고객이 찾아와야 하는 회사는 여는 쪽이 맞습니다. 문제는 99곳 중 69곳이 그 결정을 아직 안 했다는 점입니다.
5분 명세서에 운영 중인 사이트와 AI 노출에 대해 원하시는 바를 평소 쓰는 말로 적어보세요
robots.txt에 넣을 규칙부터 개발 요구사항으로 정리해 드립니다.
5분 명세서 이용해보기 👇
조사 방법과 참고 자료
• 국내 119곳(업종 혼합, 임의 선정)의 /robots.txt와 /llms.txt를 직접 요청, AI 크롤러 11종의 루트 차단 여부를 집계 (2026. 9. 21.)
• OpenAI, Overview of OpenAI Crawlers
• Google, robots.txt 사양 해석 / RFC 9309 (2.2.1)
• llms.txt 채택률: SE Ranking 30만 도메인 조사. 구글 미지원 및 존 뮬러 발언은 업계 매체 보도 기준