>>677
Googleはおりこうさんだからrobots.txtに拒否と記述すれば回避してくれるよ。