색인은 되는데, 노출이 안되는 현상에 대한 분석

어떤 점이 문제일까, 현재 닥쳐 있는 문제다. 2024년 내가 해결해봐야하는 문제라 보고.

SEO에 대한 지식 지혜를 키워가는 가닥으로 보려 한다.

 

 

웹사이트에 문제가 발생했다. 노출이 안되는 것이다.

색인은 되지만, 노출이 안되는 현상이 발생했다.

 

 

 

 

구글 노출 문제 어떻게 접근해야 하나.

 

색인은 정상적으로 되는편이다. 다만 이전보다 크롤링 속도가 느리다.

 

외재적인 문제인가를 먼저 생각해볼 수 있는데(구글의 정책변경, 업데이트, 데이터 센터끼리의 색인 동기화 문제 등)

이 부분의 문제를 제외하고 내 스스로 종합적으로 내 웹사이트의 문제를 판단하는게 중요했다.

 

Google Search Status Dashboard

Google Search Status Dashboard

의외로 구글 콘솔 및 데이터센터 장애에 대한 과정이나 주기 또한 빈번하게 바뀐다. indexing, ranking 등 듀레이션이 돌때마다 순환하듯 도는 느낌이기도하고, 홍콩, 타이완 등지에 아시아 서버가 있는 것 기준으로 보면 (한국은 서울 IP가 찍히기도 있긴하지만서도) 각국에 배치된 데이터센터의 색인동기화 간격은 상당수 있는편. GMT 시간을 기준으로 항상 색인관점을 보면, 아시아인 우리나라와 일본의 경우 09:00(오전)이 정시 초기화 기점을 꼭 상기하면서 봐야한다.

 

Google 검색 상태 대시보드를 사용하는 방법 | Google 검색 센터  |  지원  |  Google for Developers

Google 검색 상태 대시보드를 사용하는 방법 | Google 검색 센터  |  지원  |  Google for Developers

지원센터에 검색 상태에 대한 지원, 명세 등 내용을 좀 더 상세하게 볼 수 있다.

 

같은 현상이 있는 사람들이 있는가 찾아봤다.

요즘은 Google 커뮤니티에 공식적으로 답변하지만, 사실상 Expert 분들도 손쉽게 답을 주진 못한다.

각자의 서버상태, 서비스로직, 데몬상태, HTML마크업, 레이아웃, 콘텐츠 질, 광고배치, 웹서버 샌딩조건, HTTP Header 세팅 등 점검해줘야할 사항이 한둘이 아니기 때문.

색인은 생성되었는데 검색 결과에 노출이 안 됩니다 - Google 검색 센터 커뮤니티

 

구글의 색인 사고 관련한 이야기도 찾아봤었다.

색인 생성 시 발생하는 문제: 색인 생성 문제에서 Google 검색을 복구한 방법과 그 과정에서 얻은

 

구글 노출 문제에 대한 생각에서는 여러 행위적인 부분이 내게 있었는가를 검토해야한다.

솔직히 있었다 본다. 스팸 정책 안내서이다. 여러 종류가 있는데 중요한 점은 내 사이트에서 그런 점이 있는지 봐야하고.

해당 문제가 있다면 색인 부터 문제일 것이다. 그러나 색인은 정상적으로 잘된다면, 노출이 왜 그런지를 점검해야 한다.

 

 

Google 웹 검색의 스팸 정책 | Google 검색 센터  |  문서  |  Google for Developers

 

 

보통 site: 내 도메인을 검색한다. 노출에 색인이 정상적으로 되고 있다면, 위 말한 스팸정책과는 거리가 좀 있고.

따로 정책관리에서 문제 없음이라고 뜬다면 정말 맨땅에 헤딩하듯 문제를 알아서 찾고 해답을 찾으러 떠나야 한다.

 

---

여러가지 문제점을 생각해보기

가만히 있었는데 문제가 터지지 않는다. 뭔가 일이 터져있다.

 

보통 구글의 품질 주기는 3개월로 보고 있다. 이를 샌드박스 기간이라고 통칭하지만 웹사이트 전체에 대한 품질검사 또는 품질 자체에 대한 EEAT를 준수하고 있는지, 얼마나 생장했는지를 본다 생각한다.

 

여기서 웹사이트 권위는 다른 문제다. 백링크 판매업체의 말을 따라 백링크를 인위적으로 구축해서 권위를 만든다는 것은 언발에 오줌누기와 다름 없고, 잘못됐다. 왜 내 발에 오줌을 누는가.

 

이게, 다른 플랫폼에서 접근한건 점수화 하지 않는다. 오직 구글에서 기준이다.

구글 검색을 통한, 구글 이용자들을 통한 유효한 정보 기반으로 처리하기에. 이점을 골자로 생각해야 한다.

 

보통 검색해도 정답을 이야기해주는 사람이 1도 없다. 아마 정답을 풀면 풀수록 검색결과의 상위노출 경쟁자가 심화될 것이다라는 생각이 많겠지만, 그럼에도 인터넷은 좋은 정보를 교류하는데 초점을 두어야 한다. 요즘은 GPT가 인기다보니 더 공유를 안하는느낌도 있다. 나만 알면돼 보다는 좋은 정보는 교류하는게 맞다 본다.

 

영상에 보면, 색인은 하지만, 해당 색인을 최종적으로 품질 평가 이후 최종 색인구간으로 등록해줄 때 스팸검사를 하게 되는 과정에서 품질을 최종적으로 검사하는 과정 즉 최종 소비자의 환경에 올바르게 노출할 수 있는 콘텐츠인가까지 검수한다는 사실을 느낄 수 있다.

 

내 웹사이트, 내 콘텐츠 문서에 대한 올바른 설정만이 답인데, 왜 그런지 원인 분석 없이는 올바르게 노출 되는 과정이 왜되는건지도 감으로만 알 수 있는거라 보고.

 

최종 노출할 색인 페이지에 적합한지를 검사하는 주기는 약 3주로 본다. 근데, 문제가 생기면 그즉시 색인에서 제외된다 본다.

 

직접 당해보니 알겠다. 등록되서 검색노출되는데 시간은 상당히 오래걸리지만 빠지는 것은 귀신같이 빨리 빠진다.

영상출처 : https://www.google.com/search/howsearchworks/how-search-works/detecting-spam/

스팸 감지: Google 검색의 작동 방식

---

 

대처한 부분

하여, 아래와 같은 조처를 하고 있다.

나와 다른 문제를 겪고 있는 사람이라면 아마 추가적인 문제가 더 있을 터...

 

1. 언어적 캐노니컬 문제가 없었는지 점검중이다. 캐노니컬의 중복화 문제

- 서브도메인을 와일드카드형태로 쓴다면 301 이나 redirect 처리해서 메인도메인으로 몰아줘야한다.

2. 캐노니컬 중복화 + 사이트맵 명시적 색인 선언 누락문제

3. 애드센스의 민감한 카테고리 사용문제(전체 다 사용안함 처리함)

4. 애널리틱스 기본 사이트 테마 설정 구간의 문제

5. 색인 문서 내 인바운드 링크의 수 또는 질적 문제

6. 색인될 문서의 사이즈, 구조화된 콘텐츠 손질

7. Meta데이터에 대한 개선

8. 동적사이트맵 생성에 대한 오류 해결(캐노니컬 중점적)

9. 대부분의 URL, slug화 처리

10. 사이트맵계열은 no-cache선언 해주기.

 

위와 같은 작업을 마쳤다. 이외 문제에 있어서는.

 

1) 티스토리를 사용하는경우, 티스토리 입장에서도 트래픽이 너무 많이 소진되는 블로그의 경우 무료 호스팅의 한계가 있을수 있다 본다. 최적화를 해야하고, 리소스 사용도 최소화 하며 콘텐츠를 전달하는데 목적을 두어야 한다 생각한다.

도메인수준의 색인 범주 변화가 있는 경우, 티스토리도 도메인 검수를 구글에 받기 때문에 내 색인의 변화가 좀더 큰 플랫폼의 변화에 출렁일 수 있다는 점이 있는것도 외재적 문제기도 하다. (나의 사이트맵 등록과 티스토리에서 제공하는 기본적인 사이트맵이 다른경우 캐노니컬 문제로 급 사이트 색인이 내려가는 문제가 발생할 수도 있다 본다.)

PC, 모바일 서로 다른 URL이지만, 동일하게 같은 콘텐츠를 보여주는경우 사이트맵에서 중복화를 해결해두지 않으면 색인자체가 안되고, 수동색인을 하라라는 글이 많지만 결론적으로 중복화를 해결하지 않으면 계속 같은 문제가 발생할 것이기에 이런점은 위 대처 1항에 중요한 부분으로 보고 점검했어야 했다.

 

2) 워프인경우 같은 호스팅을 사용하는 도메인중에서 사고가 나거나, 해당 서브넷 마스크의 외적 문제일 수도 있다.

같은 아이피를 사용하는 서버라면 함께 즐겁게 막히는 경우도 종종 있던 것 같다. 위 명시한 대처는 국지적인 내 웹사이트 기준으로 처리할 수 있는 개인적 대처방안이다.

 

 

---

 

마무리

상황을 지켜봐야겠지만, 사이트맵 색인의 과정도 크롤러 방문주기라든지 이부분에 대해서 면밀하게 점검중이다.

 

향후 추가적으로 글을 쓸땐 해결했느냐에 글을 써보려한다.

보통은 방치해두고 바뀔때까지 기다리는데, 아마도 이건 해결책이 아닌듯 싶다.

몇년을 걸쳐서 해결됐다 한들 문제를 해결하지 않고서는 다시 또 락이 걸릴 것인게 자명하다.

 

서비스 개발할때 next.js나 워프를 안쓴다. 직접 만드는게 더 좋고, 원리 원칙, 기초적인 기술적 문제를 해소하는 것을 즐기는 편인지라 아래 문제를 스스로 풀어보려고 노력중이다. 아무도 알려주지 않는다.