行儀の悪いcrawler
FTNSのネットワークはInternetとADSLで接続されている。
このADSLの上り帯域は、1.5Mbps程度しかない。
またプロバイダの転送量制限もあるので、上りのトラフィックが気になってしょうがない。そこでawstatsでトラフィック解析してみた所、興味深い結果が出てきた。
awstatsの画面の下の方に、アクセス回数の多いホストとその月の累計トラフィックの表がある。そこを見ていると妙に大きな累計トラフィックが幾つかある。どうやら行儀の悪いcrawler＝相手のweb鯖の負荷を考えない迷惑な奴らが沢山いるらしい。生ログと突合わせて調べたところ、次のような結果が得られた。
awstatsの画面の下の方に、アクセス回数の多いホストとその月の累計トラフィックの表がある。そこを見ていると妙に大きな累計トラフィックが幾つかある。どうやら行儀の悪いcrawler＝相手のweb鯖の負荷を考えない迷惑な奴らが沢山いるらしい。生ログと突合わせて調べたところ、次のような結果が得られた。
なお、この調査は各月の初めにやると、効果的に迷惑crawlerを見つけることができる。
単なるユーザならその時期の転送量は大した事無いが、迷惑crawlerは2～3日で1Ｍｂｙｔｅ以上 ダウンロードする事もあるため、非常にわかりやすい．
なおawstatsは非常に強力なログ解析プログラムであるが、脆弱性も沢山見つかり続けている． awstats.plを直接操作する場合は、apacheの方でアクセス制限をかけ、他人には絶対にURLを 教えてはならない。