>>541は一面的には正しい。
GoogleBotの類に対してはrobots.txtを自動で読ませて自力で帰ってもらうようにしたほうが
いちいちIPアドレスを調べてこちら側で範囲を推測して.htaccessを設定するよりもずっと手間は楽なはず。

大手検索エンジンのクローラ以外にもrobots.txtを読んでくれるやつがもしかしたらあるかもしれないし、
ファイル置くだけで勝手に帰ってくれるんだから置いておくことについてはいいことじゃん。と思う。