クローラーロボット君
最近アクセスログ解析ソフトのAnalogがどうもピンとこなくて、生ログを見てるんだが、いろんなロボット君が来てるのね。先日言ってたNaver、Google、ja_Archiver、MSN、blogWatcher_Spiderなどなど。まぁ最近見始めたからどんな周期でどいつがどこまで見てるのかよくわからんけど、海外のロボット君も多いのね。
今回はなんかすげーうっとうしいのを見つけた。Mozilla/5.0(compatible;Yahoo!Slurp;http://help.yahoo.com/help/us/ysearch/slurp)、こいつ！。ロボット君のクセにMozillaを名乗りやがる。しかも、5，6台でほぼ全ページ集めてやがる。もしかしてはじめてのお越しですか？。yahooへ登録依頼は出してませんが。
さらにMozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;.NETCLR1.1.4322)これはどなた？。.NetCLRってなに？。しかもMozilla/4.0を名乗ってるし。WindowsXPのIEかと思ったけど、ページの読む速度が早すぎる。robots.txtも読みにいってるし（ないけどw）な。巡回ソフトかなんかなのかね？。
ほかには"http://www.technorati.com/"ってところのロボットが来てた。行ってみると、ベータ版の検索サイトみたいだね。海外ロボット君多いね。英語ページは一切ないんですけど。
ちなみにGoogleBot君はrss.xmlやらindex.rdfやらを要求して帰っていきます。・・・どっちもないです（爆）。rss.xml出力するかぁ。。
Category:Other
|