>>65
クロールされてるからおかしいんじゃなくて、技術もないのに必死に
クロールをさせないようにあれこれ弄って結局自分らでサーバー壊して
るんじゃないかな？

ログ速やぐーぐるさんもクロールなんて四六時中してるんだから、
クロール自体放っておけばいいのにと
（どうせ現状でも防げてないんだし、時間と資源のムダ
＋利用者の不便が生じているのかも？）。

必死になる必要はそもそも無いと思うんだよね。
クロールされること自体は何の実害もないんだし。

クロールした内容をあちらで公開されてるから？
ログ速とかその他と何が違うのだろう？