yeti crawler(네이버 검색봇)가 트래픽을 처먹고 있다

Category
he's story, 블로그 이야기
Posted
2014-11-19 14:16
세월호 참사 1주기 결코 잊지 않겠습니다.

블로그를 새로 만든 덕분에(?) 이제 슬슬 유입량이 조금씩 늘어나면서 이것저것 확인 및 테스트를 할 겸해서 간만에 awastats 로그 분석을 보는데 "검색로봇/스파이더 방문" 항목에 유독 꽤 많은 전송량을 차지하는 봇이 눈에 띄었다.


바로 yeti 라는 봇인데, 봇 주제에(?) 무려 82.47MB의 전송량을 냠냠하고 있었다. 그것도 이달 18일 동안…

이게 뭔 봇인가 싶어 로그파일을 확인을 했더니…

HTTP/1.1 Mozilla/5.0+(compatible;+Yeti/1.1;++http://help.naver.com/robots/)

네이버다… 썩을…

정말이지 네이버는 이해를 할래야 이해를 할 수가 없다.
이 포스트를 작성하는 현 시점에서 네이버에는 블로그 RSS 등록이 되어 있지 않다. 네이버가 컨텐츠가 적다며 등록을 거부한 까닭이다.
네이버에는 오로지 사이트 검색등록만이 되어 있고 일단 색인이라도 잘 되라고 네이버 신디케이션 API를 통해 블로그 글 작성에 대한 핑을 날리고 있는 상황이다.

이쯤 되면 검색 등록 되어 있고 핑도 날리고 있으니 봇이 들어오는게 당연한거 아닌가 하겠지만, 실제로 네이버에서 검색 했을 때 노출 결과를 두고 비교해 보면 썩을… 이란 말을 이해할 수 있을 듯하다.

현재 동일 기간 동안 구글봇의 수집은 1,031건의 조회에 10.34 MB의 전송량이 발생되었다.
그리고 테스트 삼아 "안드로이드 크로스브라우징"이라는 검색어로 검색을 하면 구글 검색 결과에서 1순위로 노출이 되어지고 있다. ( 훗… = _=V )

동일 기간 동안 다음의 경우는 34회의 조회에 404.93 KB의 전송량이 발생되었다.
"안드로이드 크로스브라우징"이라는 검색어로 검색을 하면 다음 검색 결과에서 역시 1순위로 노출이 되어지고 있다.

솔직히 정말 잘 해 놓은건 아니지만 검색엔진최적화도 나름 신경썼기 때문에 검색엔진에 어느 정도 노출이 되는게 당연하다 생각하고 있다.
그런데 네이버의 경우는 "안드로이드 크로스브라우징"로 검색을 하든 심지어 "멀더끙"으로 검색을 해도 지금 보고 있는 이 블로그는 검색 결과에 노출이 거의 잘 안되고 있다.
검색결과 노출도 제대로 안되면서 제일 많이 접속하고 제일 많은 트래픽을 처먹고 있는거다. (검색 결과에 잘 나오기라도하면 말을 안하지…)

검색을 하다보니 yeti가 이전부터 지나친 크롤링으로 악명이 높았다한다.
근데 뭐 이건 여전한거같다. 아오 저걸 차단해놓을수도 없고 증말… ㅡㅡ^

Authored By 멀더끙