sitemap.xml이 잘못되면 생기는 일

글은 계속 올리는데 검색에 안 나온다면, 콘텐츠 문제가 아니라 배관 문제일 수 있습니다. 가장 흔한 원인이 사이트맵입니다.

사이트맵이 하는 일

사이트맵은 검색엔진에게 건네는 주소 목록입니다. "우리 사이트에 이런 페이지들이 있습니다"라고 알려주는 파일이죠. 크롤러는 이 목록을 우선적으로 따라갑니다.

자주 발생하는 네 가지 문제

① 옛날 목록이 남아 있음
사이트를 개편했는데 사이트맵은 그대로인 경우입니다. 크롤러가 죽은 주소들을 계속 방문하고, 정작 새 페이지는 목록에 없어 발견되지 못합니다. 개편 후 색인이 사라졌다면 여기부터 보세요.

② 캐시된 옛 파일이 서빙됨
사이트맵을 고쳤는데도 CDN이나 서버 캐시가 옛 파일을 계속 내보내는 경우가 있습니다. 브라우저에서 확인할 때는 최신인데 크롤러는 옛 걸 받아가기도 합니다. 주소 뒤에 ?v=2 같은 값을 붙여 확인해보세요.

③ 사이트맵에 없는 페이지들
블로그 글은 자동으로 들어가는데 진료안내나 상품 카테고리 같은 페이지가 빠져 있는 경우입니다. 수동으로 만든 사이트맵에서 자주 발생합니다.

④ robots.txt와 충돌
사이트맵에는 있는데 robots.txt에서 막고 있으면 크롤러가 들어가지 못합니다. 개발 중에 막아둔 걸 안 풀었을 때 흔합니다.

확인하는 방법

• 도메인.com/sitemap.xml을 브라우저에서 열어봅니다
• lastmod 날짜가 최근인지 봅니다. 몇 달 전이면 갱신이 멈춘 것입니다
• 목록의 주소 서너 개를 직접 눌러봅니다. 404가 나오면 오래된 목록입니다
• Search Console의 사이트맵 메뉴에서 오류를 확인합니다

고치고 나면

Search Console에서 사이트맵을 재제출하고, 중요한 페이지 몇 개는 색인 요청을 따로 넣으세요. 신생 도메인이 아니라면 보통 며칠 안에 반영이 시작됩니다.

사이트맵은 만들어두고 잊기 쉬운 파일입니다. 그런데 여기가 막히면 아무리 좋은 글을 써도 발견되지 않습니다. 분기에 한 번은 열어서 확인하세요.