검색로봇을 효율적으로 활용하여 사이트의 색인 효율성을 개선하는 방법에 대해 설명드리겠습니다. 사이트 개선을 통해 다음과 같은 문제를 해결할 수 있습니다.
1. HTML 내용이 없는 경우
네이버 검색로봇은 HTML 마크업, CSS, 이미지 리소스, 자바스크립트로 구성된 웹페이지를 해석합니다.
일부 웹페이지는 HTML 마크업 대신 자바스크립트만을 사용하여 웹 페이지를 이동하는 경우가 있습니다.
자바스크립트만으로 이루어진 페이지는 검색로봇이 해석할 수 없으므로, 색인에서 제외될 수 있습니다.
이를 방지하기 위해 자바스크립트 대신 HTTP 응답코드 중 301 또는 302 방식을 사용하여 페이지 이동을 권장합니다.
2. 소프트 404 (혹은 소프트 데드)
사이트의 오류 페이지는 올바른 HTTP 응답코드를 유지해야 합니다.
예를 들어, 자료 없음, 잘못된 URL, 옛날 URL의 경우 404 (Not Found) 코드를 사용해야 합니다.
로그인 사용자만 이용할 수 있는 페이지인 경우 403 (Forbidden) 코드를 사용해야 합니다.
사이트가 다른 도메인으로 이전되었을 경우 301 (Moved Permanently) 코드를 사용해야 합니다.
사이트 점검이나 웹 호스팅 기한 만료 등의 상황에서는 503 (Service Unavailable) 코드를 사용해야 합니다.
위와 같은 오류 상황에서 HTTP 응답코드 200(OK)을 사용하면 검색로봇이 정상적인 콘텐츠로 인식하여 색인에 포함시킬 수 있습니다. 그러나 이로 인해 불용문서가 검색에 노출될 수 있으며, 이는 사이트의 신뢰성에 좋지 않은 영향을 미칠 수 있습니다.
3. 리소스와 링크 관리를 위한 최적화 요소 안내
접근 제한된 리소스 존재
리소스 (javascript)에 접근이 제한되거나 차단되어 페이지 구성에 문제가 발생할 수 있습니다.
robots.txt에 의해 접근이 제한된 경우, 해당 리소스에 대한 접근 권한을 변경하거나 페이지를 수정하여 문제를 해결할 수 있습니다.
robots.txt에 의해 접근 불가한 경우
robots.txt 파일에서 disallow 설정으로 인해 접근이 제한된 경우, 해당 설정을 allow로 변경하거나 페이지를 수정하여 문제를 해결할 수 있습니다.
예를 들어, A URL에 필요한 B, C URL이 있지만 /resource는 접근이 제한되어 C URL만 수집되는 경우, disallow 설정을 변경하거나 페이지를 수정하여 A URL이 완전한 상태로 구성되도록 할 수 있습니다.
검색로봇 IP 차단인 경우
검색로봇 IP가 차단되어 있는 경우, 네이버 검색로봇 확인 방법 가이드를 통해 해당 IP를 확인하고 차단을 해제해야 합니다. 검색로봇의 IP 차단을 해제함으로써 사이트의 수집량이 증가할 수 있습니다.
요소의 href 속성에 자바스크립트 호출
요소의 href 속성에 자바스크립트 호출 방식이 사용되는 경우, 정상적인 링크로 구성되지 않아 사이트 수집량이 감소할 수 있습니다.
href 속성에는 정상적인 페이지 URL을 입력하도록 하여 네이버 검색로봇이 새로운 페이지 URL을 발견할 수 있도록 해야 합니다.
프로토콜이 다른 내부 링크 존재
HTTPS 사이트에서 프로토콜이 다른 리소스 링크를 삽입하는 경우, 해당 리소스의 프로토콜을 변경하여 일관성을 유지해야 합니다.
예를 들어, 프로토콜이 http인 리소스 링크를 HTTPS로 변경하여 문제를 해결할 수 있습니다.
이와 같은 최적화 요소를 고려하여 리소스와 링크를 관리하면 네이버 검색로봇의 원활한 사이트 수집을 도모할 수 있습니다. 이를 통해 검색 결과에 노출되는 페이지의 완전성과 수집량을 향상할 수 있습니다.