작년 말쯤 부터 레퍼러 정보중에 정상적인 레퍼러로 생각하기 힘든 로그들이 남는 것을 발견했다. 마이크로소프트의 라이브 서치(Live.com) 검색 결과 페이지로 부터의 레퍼러 였는데, 키워드가 아주 비정상적이었다. "january", "february", "april", "august", "september", "october", "november", "december" 들이 주류였고 물론 "hyeonseok"이나 "pmwiki" 같은 키워드들도 있었다. 재미 있는 것은 이러한 레퍼러를 보내고 있는 IP가 마이크로소프트 ISP 소유였다는 것이다.

정상적인 접근으로 생각할 수가 없어서 처음에는 그냥 이러한 레퍼러들을 보내는 IP를 스팸으로 생각하고 막아버렸다. 그런데 오늘 이 레퍼러 조금만 바뀌어서 다시 찍히기 시작했다.

• http://search.live.com/results.aspx?q=august&form=QBHP
• http://search.live.com/results.aspx?q=tistory&form=QBHP
• http://search.live.com/results.aspx?q=select&form=QBHP
• http://search.live.com/results.aspx?q=hyeonseok&form=QBHP

이런 레퍼러들이 다시 등장했다. 역시나 마이크로소프트 ISP에서 나온 로그였다.

다른 사람들은 이런 현상을 어떻게 생각하나 궁금해서 검색을 해 보았다. 마이크로소프트에서 이런 스팸질을 할리는 없다고 생각한 기대에 어긋나게 마이크로소프트에서 이런 이상한 로봇을 돌리고 있다는 공식적인 포스트를 발견했다. 클록킹을 찾기 위해서 이러한 로봇을 사용하고 있다는 것인데, HTML만 분석하는 로봇이 아니라 데스크탑 브라우져와 비슷한 기능을 가지고있는 것으로 생각된다.

물론 레퍼러라는 것이 조작이 가능하고 신뢰할 수 없는 데이터이기는 하지만, 이런식으로 로봇을 사용하는 것은 분명히 올바른 방법은 아니다. 그리고 많은 사람들이 문제를 리포팅 했음에도 불구하고, 방법적인 개선보다는 "눈에 안띄게 할께(most webmasters should notice the referrer traffic dropping to almost nothing)"라는 소극적인 해결안 만을 얘기하고 있는 것도 답답하다.

마이크로소프트는 항상 이런식이다. 잘하는 부분도 있는 반면에 어떤 부분은 비상식적이다. 전사적인 철학이 없다는 느낌이다. 그리고 스팸질 좀 그만 했으면 좋겠다. 잘 아는 전문가들이 왜 이런식으로 로봇을 만들었는지 참...

p.s. 구글 애드센스를 공격하고 있다고 말하는 사람들도 있다.