서치콘솔 색인 생성 요청 거부, robots.txt 오류 및 엑세스금지(403) 해결

 

 

정확히는 2024.06.28일부터 시작된 구글 서치콘솔 색인 요청 오류!

그동안 저는 티스토리를 운영하며 글을 발행할 때마다 무조건 네이버 서치어드바이저와 구글 서치콘솔에 색인 요청을 해왔습니다.

그리고 대부분 '색인 생성 요청이 거부됨'을 경험하지 않고 무사히 반영이 되었는데요.

딱 저 날짜를 기준으로 아무리 시간차를 두고 색인 요청을 해보아도 네이버 서치어드바이저와 구글 서치콘솔에서 모든 오류가 나타나고 있더라고요.

그리하여 카카오 고객센터를 통해 접수를 넣었고 지금은 무사히 반영이 완료된 상태가 되었습니다.

 

 

 

 

1. 네이버 서치어드바이저 서버오류

 

먼저 이번 에러는 2군데 모두 시작되었습니다.

네이버 서치어드바이저의 경우 해당 사이트를 진단해 보면 robot.txt 에 문제가 걸려 있었는데요.

이 문제를 해결하고자 로봇 수집 파일을 다시 다운로드 하여 티스토리 스킨편집에 재 등록을 해보았지만 아무 소용이 없었습니다.

그리고 모든 걸 삭제하고 나서 재 등록한 결과 역시 robot.txt 부분에서 오류로 뜨더라고요.

다른 분들은 다시 robot.txt를 등록하고 수집요청을 누르면 해결이 되었다는데 저는 그렇지 않았습니다.

 

 

 

 

 

 

 

2. 구글 서치콘솔 색인 생성 요청 거부

 

또한 구글 서치콘솔에서 색인 요청을 등록하면 검색은 되지만 '색인 생성 요청이 거부됨'이라는 메시지가 떴습니다.

게시글은 발행한 지 5시간이 넘어 등록을 시도해 보았고 그 이후에 pc나 모바일 환경에서 모두 시도해 보았지만 별다른 차도가 없었습니다.

 

그리고 이 상황에서 사이트맵과 rss를 살펴보니 '가져올 수 없음'이라는 오류 메시지 역시 확인할 수 있었습니다.

다시 rss와 sitemap.xml를 제출해 보아도 결과는 똑같았습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3. 구글 서치콘솔 엑세스 금지(403)

 

'색인 생성 요청이 거부됨' 메시지를 받고 나서 대체 어떤 오류인지 체크해 보았습니다.

그랬더니 엑세스 금지(403)이라는 문구가 뜨더라고요.

저와 같은 문제를 겪고 있는 다른 분들의 후기를 살펴보니 이건 티스토리 다음의 서버 문제라 어쩔 수 없이 기다려야 한다고 하였습니다.

그러나 이런 오류가 대체 언제 해결될 지 모르고 마냥 기다리기엔 답답함이 컸습니다.

 

 

 

 

 

 

4. 카카오 고객센터 요청 후 해결

 

그래서 저는 카카오 고객센터에 요청을 했습니다.

지난 번부터 구글 서치콘솔에 색인 요청을 하면 이러한 에러가 발견되고 있다, 네이버 서치어드바이저 또한 마찬가지다 라는 의견을 주니 카카오 고객센터에서는 잠시 기다려 달라고 하였습니다.

제 티스토리 주소를 알려주니 몇 시간 뒤 답변이 도착했습니다.

 

역시나 '검색 관련 봇이 일시적으로 티스토리로 접근하지 못해 발생한 문제'가 원인이었습니다.

그리하여 다시 네이버 서치어드바이저와 구글 서치콘솔에 색인 등록을 요청하니 무사히 반영이 되었다는 메세지를 보게 되었습니다.

고객센터에 문의를 하지 않았다면 앞으로 며칠을 더 기다려야 했을지 모릅니다.

 

저와 같은 문제가 요즘 계속 일어나고 있다고 하는데 답답하신 분들은 마냥 기다릴 게 아니라 고객센터에 요청해 보시는 게 좋지 않을까 싶습니다.

왜냐하면 이 오류는 사용자에 따른 문제가 아닌 티스토리 서버에 관한 문제였기 때문입니다.