AI 크롤러용 robots.txt 생성기

GEO(귀하의 콘텐츠가 AI에 의해 인용되도록 하기 위한) 첫 단계는 콘텐츠 작성이 아니라먼저 AI 크롤러를 차단하지 않았는지 확인하세요많은 CDN, WAF 및 프레임워크의 기본 템플릿은 AI 크롤러를 바로 block합니다. 콘텐츠를 아무리 잘 작성해도 크롤러가 오지 않으면 소용없습니다. 이 도구는 40개 이상의 주요 AI 및 검색 크롤러를 한 줄씩 명시적으로 선택할 수 있도록 제공하며, 동시에 백엔드 및 관리자 콘솔을 차단합니다.

무료 · 로그인 없음 로컬 생성 · 콘텐츠를 업로드하지 않음 덮어쓰기 · 40개 이상의 AI 및 검색 크롤러

1사이트 정보

사이트 주소

기본적으로 비공개 경로(전부 차단 권장) /admin 백그라운드 /console 콘솔 /admin.html /api/ 내부 인터페이스

추가로 차단할 경로(한 줄에 하나씩, 선택 사항)

2크롤러 목록(체크 = 허용)

기본적으로 전부 허용합니다. 차단하려면 체크를 해제하세요

출력robots.txt

0행

—

사이트 루트 디렉터리에 배치하세요 https://your-domain/robots.txt. 수정 후 curl로 직접 점검하세요: curl --noproxy '*' https://your-domain/robots.txt

자가 진단자기 자신을 차단하지는 않았나요?

이 함정은 우리가 이미 밟아봤습니다

1 · 기본 템플릿은 모든 AI 크롤러를 block합니다.많은 CDN/WAF 및 웹 프레임워크의 robots.txt 템플릿에서 AI 크롤러는 기본적으로 거부됩니다. 결과적으로 콘텐츠는 그대로 존재하지만 GEO 효과는 0입니다—왜냐하면 아예 아무도 크롤링하지 않기 때문입니다.

2 · GPTBot과 OAI-SearchBot는 두 개의 서로 다른 User-Agent입니다.GPTBot만 허용해도 OpenAI의 검색 크롤러는 여전히 접근할 수 없습니다. 마찬가지로 ClaudeBot / Claude-User / Claude-SearchBot 각각 따로입니다.

3 · robots.txt는 단지 "신사적 약속"일 뿐입니다.그것은 규칙을 따르지 않는 크롤러를 막지 못합니다. 백엔드를 진정으로 보호하려면 robots.txt가 아니라 인증(basic auth/로그인)을 사용하세요.

4 · robots.txt만 수정하는 것으로는 부족합니다.순수 프론트엔드 렌더링(SPA) 사이트의 경우, 크롤러가 가져오는 것은 빈 껍질입니다. 우리는 Vue 사이트에 외부 링크를 추가할 때 이 문제를 겪었습니다: 반드시동시에JS 배열(실제 사용자용)과 387개의 사전 렌더링 스냅샷 페이지(크롤러용)를 모두 수정해야 합니다. 한쪽만 수정하면 무의미합니다.