검색 크롤러와 AI 크롤러의 접근 범위를 골라 파일을 만듭니다. 브라우저에서 바로 동작합니다.
색인이 안 되는 사이트에서 가장 흔한 원인이 robots.txt입니다. 개발 중에 막아둔 설정이 그대로 남아 있는 경우가 많습니다.
허용하면 ChatGPT·Perplexity 같은 서비스가 답변에서 내 사이트를 인용할 수 있습니다. 막으면 인용되지 않습니다.
쉼표로 구분해 입력하세요. 관리자·로그인·검색결과 페이지는 보통 막습니다.
robots.txt는 검색 크롤러가 사이트의 어디까지 수집할지 정하는 파일입니다. 색인이 안 되는 사이트에서 가장 흔한 원인이 여기입니다. 개발 중 막아둔 Disallow: /가 그대로 남아 전체를 막고 있는 경우가 많습니다. 위 도구로 검색·AI 크롤러 허용 범위를 골라 파일을 만든 뒤 사이트 최상위(내주소/robots.txt)에 올리고, 브라우저에서 열어 실제로 보이는지 확인하세요. 네이버는 Yeti, 구글은 Googlebot이 크롤러 이름입니다.