구글 색인 노출 문제 해결, 노출순위 복구 방법

구글의 서치콘솔에 등록한 내 웹사이트의 색인이 노출이 안되는 문제가 발생.
구글 검색 노출 0상태가 수 개월 지속.
티스토리 구글 유입 없음, 저품질 블로그 사유 발생

 

노출순위 하락 문제도 발생한다면 문제점을 분석해보고 해결 방법을 알아보도록 합시다.

 

구글 크롤러, 웹사이트 크롤링 예산이 과거 보다 1,000분의 1수준으로 줄어듦.

 

 사이트를 구글 서치 콘솔에 등록하였거나, 레이아웃 변경, 티스토리 스킨 변경, H, P 태그 변경하였다면 해당 문제 같은 증상을 보일 것 입니다.

 

과거 색인은 되는데 노출이 안되는 현상이 발생한 시점은 올해 1월 1일이였습니다. 티스토리 갤러리 또는 애드센스 포럼, 한국 구글 서치콘솔 커뮤니티 등에서는 작년 2023년 07월 이후의 웹사이트가 공통적으로 발생되는 현상이 있었다 합니다.

---

 

해당 글은 아래와 같은 증상이 있으셨던 분들의 문제와 현상 이해, 해소 방법을 설명합니다.

 

• 롱테일 키워드에 대응한 콘텐츠 발행 웹사이트
• DA가 상대적으로 낮은 웹사이트
• 백링크가 적었던 웹사이트 또는 블로그 등
• 스팸웹사이트 또는 스팸 웹문서가 지속적으로 달려, 콘텐츠 탈취가 이뤄지는 블로그 등
• 신생 도메인, 새롭게 사이트 등록한 웹마스터 분들의 웹사이트 또는 티스토리 블로그 등에서 지속적으로 발생 되고 있습니다.

올해 초 발행했던 현상에 대한 분석에 따른 대응 그리고 6개월간의 과정, 증상이해, 해결방안 후기 등을 담고 있습니다.

 

색인은 되는데, 노출이 안되는 현상에 대한 분석

 

---

구글 색인 노출이 안되는 이유, 미노출 원인

 웹사이트의 레이아웃을 크게 변경한 경우 구글이 감지하게 됩니다. 2024년 구글의 웹바이탈 도입이 강화된 이후로 스킨 변경에 따른 레이아웃 변경을 민감하게 보는 패치가 단행 되었습니다. 따라서 레이아웃을 변경하시거나 서비스의 경로(URL) 등의 변화를 줄 때는 주의해야 합니다.

• 사이트맵을 변경한 경우.
• 구글 애드센스의 광고 배치를 변경한 경우.
• 애드센스 자동 광고 배치를 변경한 경우.
• H 또는 P 태그 등의 내용을 모든 문서의 템플릿에서 공통적으로 변경한 경우.
• 사이트맵 인덱스의 변화 또는 카테고리 증설.
• 과도한 태그 경로(Slug) 추가.
• 중복 콘텐츠, 공통 레이아웃 구간의 중복된 문구 발생.
• 기존 서비스 URL 경로가 변경 된 경우.
• HTTP Code 가 301 또는 302 등 리디렉션이 걸린 경우.
• 대부분의 페이지가 4xx 또는 5xx 에러를 보여준 경우.
• 사이트를 리뉴얼 한 경우.
• 페이지 또는 사이트를 이전한 경우.
• 스패머들에게 과도하게 많은 웹문서를 탈취 당한 경우.

 이런 패치를 단행하게 된 이유는 스팸성 페이지와 웹사이트가 구글에 색인, 노출 되는 것을 차단하기 위함입니다. 따라서 이런 스팸성 페이지로 오인 또는 오판정 되는 것을 방지하기 위해서는 주의 해야 합니다.

 

구글 웹문서 노출 안됨. 2024년 04월 03월 20일 ~ 03월 21일 사이에는 기존 알고리즘으로 변경하였으나 하루도 채 안되어 노출 기준치를 다시 상향으로 돌림으로서 노출 문제가 유지 되고 있습니다.

 

아쉽게도, 스패머를 해결하기 위한 스팸 패치를 단행하였으나 2024년 04월 08일, 현재까지도 스패머들의 웹사이트는 기존 DA(도메인권위), PA(페이지 권위) 방식을 악용하여 크롤링, 색인, 유효성 검사, 노출, 재색인 구글의 모든 예산을 잠식하는 중 입니다. 

2024년 3월 20일 즈음, 구글에서 신생 또는 밀려있던 유저들의 콘텐츠를 반영하려 했던 모양이지만 스패머들의 활동 때문에 알고리즘을 높혀 되돌렸습니다. (만료된 도메인을 통한 스팸 웹사이트 등록, 이미지 크롤러를 악용한 스팸 페이지 등록, DA가 높은 웹사이트에 스팸 쿼리를 뭍히는 행위 등)

 

---

 

구글 서치콘솔 크롤링(수집 빈도) 속도 변경 기능 제거

 구글 서치콘솔에서 도메인 예하의 속성의 크롤링 속도 변경 기능을 제거 하였습니다. 이로 인해 과거보다 변경된 레이아웃을 새롭게 판정하고, 재수집하는 빈도와 횟수가 매우 줄었습니다. 

 

 스팸성 웹사이트의 과도한 크롤링 요청으로 인해 구글 크롤러 예산을 소모하는 것을 방지하기 위해 제거 되었습니다. 따라서 구글 색인 노출에 대한 내 웹사이트의 변경점을 신속하게 다시 색인하고 노출하는 것이 불가능해졌습니다.

 

 과거의 경우 변경이 되었더라도 빠르게 재수집하여 문제유무를 판단하고 올바른 개선이였다면 빠르게 노출을 해주었습니다. 그러나 웹바이탈 기능과 높아진 DA 검증, 백링크 검증 때문에 노출이 안되는 문제가 생기고 있습니다.

 

이로 인해 과거(2023년 12월 이전)보다는 다른 방식으로 검증 절차가 진행되고 있습니다.

 2024년 04월 현재로서는 DA(도메인 권위)가 높은 점수를 부여 받았던 웹사이트 또는 PA(페이지 권위)가 높았던 또는 외부 링크가 건강하게 잡혀있는 웹페이지를 보유한 블로그는 빠르게 회복되는 편입니다.

 

 그러나, 외부링크 없이 고립되거나 신생 블로그의 경우 낮은 DA와 PA를 가지고 있고 노출이 전혀 진행되지 않은 상태임으로 구글에 재색인이 되지 않습니다. 백링크 적은 웹문서를 많이 보유한 블로그인 경우 가꾸었던 콘텐츠를 무단으로 수집하여 스팸성 웹문서로 만드는 스팸 웹사이트의 무단 크롤링 때문에 무작위로 만들어진 스팸 문서와 섞여 검색엔진 내에서도 노출을 유보 당하게 됩니다.

 

---

구글 웹문서 노출 해결을 위한 방법

구글에서는 현재 2024년 04월 기준, 코어 업데이트를 단행하고 있습니다. 현재로서의 노출 복구 방법은 구글에 명시된 스팸웹문서 가이드를 참조하여 글쓰기 또는 콘텐츠 생산을 해야 합니다. 또한 고정된 레이아웃을 사용해야 합니다.

 

구글 웹바이탈 체크 웹사이트, 구글은 2024년 04월 현재, CLS 지수 검사를 통해 스팸 행위를 차단했습니다. 웹바이탈 체크를 통한 코어 업데이트 개선을 진행중입니다.

 

고정된 레이아웃이란 웹바이탈 평가 지수에서 CLS(레이아웃 변경횟수)가 0에 가까워야 합니다.

서버사이드 랜더링이라는 기술로 서버에서 사용자측 브라우저에 전달되는 레이아웃이 틀어짐 없이 전달될 수록 올바른 콘텐츠를 독자에게 전달했다라고 판정 합니다. 이는 스팸성 페이지들 또한 해당 규칙을 철저하게 지킵니다.

 

이런 결정을 하게 된 이유는

 

• 접속후 비동기 방식을 통한 전혀 다른 콘텐츠를 전달.
• 클라이언트 사이드 스크립트를 통한 전혀 다른 웹사이트의 이동.
• 제공해야하는 콘텐츠와 다른 콘텐츠를 제공.
• 콘텐츠보다 광고 노출이 비정상적으로 노출되어 콘텐츠를 가리거나 광고만 노출 시키는 행위 등

비정상적인 스팸 활동을 감지하기 위함 입니다.

 

따라서 노출 복구를 위한 방법 중 가장 먼저 해야할 일은 확정된 레이아웃을 결정해야 합니다.

레이아웃은 크게 4가지가 있습니다. 아래 4가지 레이아웃은 사이트 전체를 재평가 해야한다라는 판정과 함께 노출을 0 상태로 만들거나, 사이트가 안보이게 됩니다. 웹사이트 마스터를 위해서 site: 키워드만 접근이 가능하게 유보 됩니다.

 

1. 데스크톱, 모바일 뷰포트 레이아웃.
2. 사이트맵, 사이트맵 인덱스, RSS 레이아웃.
3. 사이트 디렉토리 경로 레이아웃.
4. Article 또는 Posting 내의 H, P 태그 템플레이트 레이아웃.

여기서 가장 큰 데미지를 주었던 것은 3번입니다. 보통 최근 콘텐츠의 제목 또는 식별 가능한 정보를 URL에 담아 표기하는 slug 방식을 선호한 콘텐츠 제작기법이 선호 되고 있습니다.

 

 작은 띄어쓰기, 대소문자 구별, 한글 또는 UTF8, UTF16과 같은 언어셋에 따른 URL 틀어짐은 접근이 불가능하거나 404, 301 등 HTTP Code를 연동하지 않으면 문서 안됩니다. 또한 디렉토리 배열 구조가 다중언어 또는 단일언어에 따라서 구성과 구조점이 달라졌습니다. 경로의 변화 또한 레이아웃으로 간주 됩니다.

 

 티스토리 또한 기존 숫자방식의 글번호 방식 보다 한글 slug 방식의 콘텐츠를 발행하는 쪽으로 변화되다보니 빈번하게 문제가 발생하고 있습니다. 신생 문서로 도입시 잘 노출 되었다가 이후 제목 또는 내용을 수정시 노출 순위가 추락됩니다.

 

가장 빈번한 사고는 4번입니다. 규칙성과 템플릿 배열을 변경하다 사고가 납니다. 문서수가 많다면 전체 검증시간이 배로 증가하게 됩니다. 과거보다 구글 크롤러의 방문 빈도와 방문횟수가 줄어 과거 구문서에 대한 전체 검증과 친절한 가치 평가를 하지 않습니다.

 

따라서 4가지의 작업인 레이아웃 변경 하시고, 추가적인 변경 없이, PA가 높은 콘텐츠를 만들어 발행해야 합니다.

레이아웃의 변경 주기는 약 28일로 웹바이탈 유저 검증 주기와 일치 합니다.

28일 주기 내에 변경하여 틀어짐의 점수가 높다면 다시 28일이 소요될 수 있습니다. 최장 90일 ~ 180일이 소요 될 수 있습니다. 이는 웹문서 캐싱 보유주기로 최초 캐싱된 시간인 180일 전 콘텐츠가 오래된 상태로 색인이 되었다면 강제적으로 확인하러 들어오는 경우가 있지만, 매우 오랜 시간이 소요 됩니다.

 

---

 

구글 웹문서 노출순위 복구를 위한 방법

 PA가 높은 문서는 웹사이트를 알릴 수 있고, 구글로 하여금 유입이 될 수 있는 공개망 웹사이트에 내 웹사이트가 알려져야 합니다. 다시 말해 고립된 내 웹사이트를 살릴 수 있는 경로가 재색인이 되어야 합니다.

 

 페이지랭크 알고리즘이 높은 웹사이트 또는 도메인 권위, DA가 높은 웹사이트에 내 웹사이트의 주소가 올바르게 추천을 받거나 연결이 되어야 합니다. 이를 부정한 방법으로 연결한 경우 스팸 사이트로 오인 됩니다.

 

내 웹사이트에 전달하려는 가치를 공유 할 수 있는 공간에 티스토리 블로그를 노출 해야 합니다.

 

현재 제 웹사이트의 경우 색인 중 18%정도 복원이 되었습니다. 유입량은 소폭 증가한 경우가 있지만 100% 복구가 되지는 않았습니다. 이는 구글에 과거의 레이아웃을 그대로 캐시문서로 보관되어 있기 때문 입니다. 상당한 시간이 걸리거나, 구글의 크롤러 봇의 정상적인 수집, 재색인 스케쥴이 복원이 될 때 가능할 것으로 보입니다. 중도 레이아웃을 변경하거나 라우팅을 변경하게 된다면, 다시 색인 작업이 처음부터 들어가는 수가 있습니다.

 

레이아웃과 최적화가 마쳐졌다면, 가급적이면 발행과 운영에 초점을 맞춘 업무를 보시길 바랍니다.

 

보통 티스토리 노출순위 복구하는 과정은 의외로 간단합니다. 구글 크롤러가 자주 상주하고 방문하고 시간당 또는 분당 방문을 하는 장소에 내 웹 사이트가 정상적으로 노출 되어야 하며, 링크가 오랫도록 보존 되어야 합니다.

올린 뒤 바로 삭제되는 경우라면 오히려 독이 될 수 있습니다.
따라서 유용한 내 티스토리의 글이여야 한다는 것을 의미 합니다.

 

구글 웹문서 미노출, 색인은 되었는데 노출이 안되는 문제가 계속 발생된다면 자주 레이아웃과 콘텐츠 형식의 변화를 주었는지, 변경된 웹사이트가 구글이 상주하여 색인하는 웹사이트에서 유입이 이루어 지고 DA 높은 사이트에서 추천을 받고 유저가 지속적으로 유입될 창구를 만들어 냈는지를 꼭 확인하십시요.

투명하고 권위 있는 백링크 없는 웹사이트
특정 검색엔진의 유입 의존도가 높은 웹사이트의 경우 노출 순위가 매우 느리게 또는 복원이 안될 수 있습니다.

 

---

 

마무리의 말

 구글의 검색엔진 코어 업데이트가 5월 전에는 마무리 될 것으로 보입니다. 이번 업데이트 기준으로 보다 더 깐깐한 웹사이트 검증이 계속 될 것으로 보입니다. 스팸 웹페이지들의 활동이 여전하기 때문 입니다.

2024년 04월, 구글 스팸 웹문서, 이미지 크롤러쪽으로 집중된 모습 (티스토리, 워드프레스, 나무위키, 정부기관, 심지어 구글 웹페이지를 긁어 스팸웹문서를 재양산)

 

 따라서 현재 노출이 안되는 것에 포기하지 마시고, 내 블로그의 지수가 낮고 신생이라면, 콘텐츠에 대한 방향성을 잡으십시요. 유용함을 담아 DA, PA가 높은 웹사이트에 전파할 수 있도록 준비하는 시간을 갖으십시요. 위 언급한 스팸보다 정성적 부분은 말할 것도 없지만 정량적인 관점에서도 충분히 가치를 담고 있을 것이다 생각합니다.

 

 이미 DA가 높은 상태의 노출이 제한된다면 연결이 끊어지거나 오류가 나는 페이지를 정리하셔서 28일간의 구글의 서비스를 통한 유입량을 증대 시키면서 바이탈 점수를 올바르게 이끌어나가야 합니다.

 

힘내십시요. 반드시, 잘 될 것입니다.

 

복구 또는 분석에 유용한 사이트 및 링크

웹페이지 신고 : https://search.google.com/search-console/report-spam
피싱사이트 신고 : https://safebrowsing.google.com/safebrowsing/report_phish/?hl=ko
링크거부 등록 : https://search.google.com/search-console/disavow-links
수집/색인 공부 : https://developers.google.com/search/docs/crawling-indexing?hl=ko
순위/노출 공부 : https://developers.google.com/search/docs/appearance?hl=ko
크롤러 정책 공부 : https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=ko
Google IPRanges : https://www.gstatic.com/ipranges/goog.json
Amazon IPRanges : https://docs.aws.amazon.com/vpc/latest/userguide/aws-ip-ranges.html
라이트하우스 익스텐션버전 : https://chromewebstore.google.com/detail/lighthouse/blipmdconlkpinefehnmjammfjpmpbjk
리치콘텐츠 테스터기 구글버전 : https://search.google.com/test/rich-results
Schma.org의 표준버전 빙 또는 네이버에 도움 되는 툴 : https://validator.schema.org/
중복화 검증체크 : https://www.siteliner.com/
CLS 점검 : https://pagespeed.web.dev/
TTFB D-C-S-S-W-R 체크 : https://www.bytecheck.com/