내 사이트의 robots.txt를 받아와 크롤러가 막혀 있는지 바로 확인하고, 새 파일도 폼으로 만듭니다.
색인이 안 되는 사이트에서 가장 흔한 원인이 robots.txt입니다. 개발 중에 막아둔 설정이 그대로 남아 있는 경우가 많습니다.
주소를 넣으면 실제 robots.txt를 받아와 구글·네이버·AI 크롤러가 막혀 있는지, 사이트맵이 선언돼 있는지 보여드립니다.
허용하면 ChatGPT·Perplexity 같은 서비스가 답변에서 내 사이트를 인용할 수 있습니다. 막으면 인용되지 않습니다.
쉼표로 구분해 입력하세요. 관리자·로그인·검색결과 페이지는 보통 막습니다.
robots.txt는 검색 크롤러가 사이트의 어디까지 수집할지 정하는 파일입니다. 색인이 안 되는 사이트에서 가장 흔한 원인이 여기입니다. 개발 중 막아둔 Disallow: /가 그대로 남아 전체를 막고 있는 경우가 많습니다. 위 도구로 검색·AI 크롤러 허용 범위를 골라 파일을 만든 뒤 사이트 최상위(내주소/robots.txt)에 올리고, 브라우저에서 열어 실제로 보이는지 확인하세요. 네이버는 Yeti, 구글은 Googlebot이 크롤러 이름입니다.
전부 가입 없이, 브라우저에서 바로 동작합니다.