>>927
同意。


robots.txtでレス抽出したりしてみたが、なんでああいう結論になるのかわからない。
robots.txtと.htaccessを併用するべきだと思うんだけどな