Google search console에서 크롤링이 제대로 되지 않는 이슈에 대해.

오랜만에 구글 서치콘솔에 들어가서 티스토리 상태를 확인해보니 크롤링이 안된 포스트가 상당히 늘어나있는 것을 확인했습니다.

그래서 특정 포스트에 대해서 크롤링 시도를 해보니 아래와 같은 내용이 노출되더라구요.

특정 조건이 충족되는 경우에만 URL의 색인이 생성됩니다.

이 것이 무엇인지 잘 몰라서, GPT o1에게 물어봤습니다.

---

일부 게시글은 색인(index)되는 반면, 다른 게시글은 색인되지 않는 현상은 여러 가지 이유가 있을 수 있습니다. Google은 모든 URL을 무조건 색인하지 않으며, 자체 알고리즘 및 품질 기준에 따라 우선순위를 매겨 색인을 진행합니다. 또한 “특정 조건이 충족되는 경우에만 URL의 색인이 생성됩니다.“라는 메시지는 Google이 단순히 크롤링 요청만으로는 해당 페이지를 반드시 색인하지 않는다는 원칙을 보여줍니다. 이를 종합해보면 다음과 같은 원인과 개선책이 있습니다.

색인이 되지 않는 대표적 이유들

1. 콘텐츠 품질 및 중복성:

• 비슷한 주제나 동일한 내용을 담은 페이지가 다수 존재한다면, Google은 품질이 낮다고 판단한 페이지를 색인에서 제외할 수 있습니다.
• 짧거나 부실한 콘텐츠, 방문자가 얻을만한 정보가 빈약한 콘텐츠, 지나친 광고나 스팸성 요소가 있는 경우 색인 제외 가능성이 높아집니다.

2. 기술적 이슈(robots.txt, noindex 태그 등):

•  robots.txt에서 특정 URL을 차단하고 있거나, 메타 태그에 noindex를 설정해 놓았다면 해당 페이지는 색인이 불가능합니다.
•  URL 구조에 문제가 있거나, 내부 링크가 거의 없어 구글이 크롤링하기 어려운 구조라면 색인 우선순위에서 밀릴 수 있습니다.

3. 신뢰도 및 사이트 권위(Authority):

• 사이트가 개설된 지 얼마 되지 않아 도메인 권위가 낮거나, 외부 링크(백링크)가 거의 없는 경우 상대적으로 색인 속도가 느려질 수 있습니다.
• 동일한 주제 분야의 권위 있는 사이트들과 비교했을 때, 특별히 차별화된 컨텐츠가 없다고 판단되면 색인 제외될 가능성이 큽니다.

4. 크롤링 빈도 및 리소스 할당:

• 구글은 웹 전체를 대상으로 크롤링 리소스를 할당합니다. 만약 사이트가 과거에 자주 업데이트되지 않았거나, 낮은 신뢰도로 인해 크롤링 우선순위가 낮게 책정된다면 새로 발행된 포스트가 빨리 크롤링/색인되지 않을 수 있습니다.
• 요청을 통해 강제로 색인할 수 있는 것은 한계가 있으며, 요청했다고 반드시 색인해주는 것은 아닙니다.

 

색인율을 높이기 위한 구체적인 대책

1. 고품질 콘텐츠 제공:

• 방문자에게 가치 있고 유용한 정보를 담은 콘텐츠를 지속적으로 생산하세요.
• 글의 길이보다는 정보의 밀도, 신뢰도, 차별화된 관점 제공에 초점을 맞추세요.

2. 사이트 구조 개선 및 내부 링크 최적화:

• 사이트맵(sitemap.xml)을 Google Search Console에 제출하여 크롤러가 사이트 구조를 명확히 파악할 수 있도록 합니다.
• 중요한 게시글은 메인 페이지나 관련 포스트에서 내부 링크를 통해 연결해, 크롤러가 쉽게 접근할 수 있도록 합니다.

3. 기술적 문제 점검:

• robots.txt나 메타 태그에 noindex, nofollow 등의 지시어가 있는지 확인합니다.
• 모바일 친화적 페이지, 빠른 로딩 속도 등 기술적 최적화를 통해 구글이 사이트를 긍정적으로 평가하도록 합니다.

4. 외부 링크(백링크) 확보:

• 신뢰할 수 있는 관련 분야 웹사이트나 SNS, 포럼 등에 유용한 정보를 제공하면서 자연스럽게 링크를 유도합니다.
• 다른 사이트로부터 참조되는 링크가 늘어나면 도메인 신뢰도 향상과 함께 색인 속도도 개선될 가능성이 있습니다.

5. 구글 가이드라인 준수 및 정책 점검:

• Google 검색 기본 가이드라인을 준수하고, 저품질/중복 콘텐츠, 스팸성 요소를 제거합니다.
• 일정 기간 동안 꾸준한 업데이트를 통해 구글이 사이트를 신뢰할 수 있도록 관리합니다.

정리:

색인은 ‘요청’한다고 해서 바로 되는 것이 아니라, 검색엔진이 해당 URL을 ‘가치 있는 페이지’로 판단했을 때 이루어집니다. 따라서 우선적으로 콘텐츠 품질을 높이고, 사이트 구조를 개선하며, 검색엔진에 친화적인 환경을 조성하는 것이 중요합니다. 내부 링크, 사이트맵 제출, 백링크 확보 등을 통해 검색엔진이 페이지를 쉽게 찾고 긍정적으로 평가하도록 만드는 전략이 필요합니다.

---

## 본인 생각

결국 고품질의 포스트를 작성하라는 것이었습니다. 여기서 고품질이란 단순히 이미지를 첨부하고, 글을 길게 쓰고, 독창적인 내용일뿐만 아니라 특정 섹션에 맞추어서 머릿말이라던지 본문이라던지의 스타일을 맞춰서 작성해야할 것으로 이해했습니다.

글쓰기도 참 어렵네요~ 일단 이러한 형식으로 작성하구 크롤링이 개선되는지 지켜봐야겠습니다.