で、一応方向性としては

　・ 今はApacheのその日の普通のaccess.logを全部読み込んで
　　 IPアドレス順に並べたり抜き出したりして数えてる
　　（もっと早い軽いプログラムがあればそれを使ってもいい）

　・ (昨日の)access.logを自動で解析して今日の悪い人一覧とか抜き出して
　　その鯖の.htaccessに反映させたりしたい

　・ 溜まった.htaccessの不要なdenyは定期的に掃除できると便利かも

という感じでよろしいんでしょか。
まとめておくとだれかｽｰﾊﾟｰﾊｸｧｰな人が名乗り出てくれるかもしれないし。

>>567
でもrobots.txtは一度設定しておけばどんな紳士的ロボットに対しても有効。
メンテナンス不要なんだし併用を検討してもいいんじゃないかなとゆー意見。
ただ、robots.txtは一応Webサーバ上のただのasciiファイルなんで、
アクセスする際の負荷がある以上無問題とまではいかないんだけど。まあ未来へのお守りというか。