>>332
2chに貼られたアドレスはgooglebotが画像としては認識できない
ttpのものはただの文字列 httpのものはimenuにリダイレクトされるため
2次サイトはそれを直リンクに直してるためbotが画像として認識する
c.2ch.netとかもそう
今後仕様が改造された場合はこの限りではないかも
(ぐぐるが2chを直に拾わないのは多分検索結果からの削除処理が煩雑だからかも)
>>337
アーカイブ系ではなくニュースを拾うようなものだと一定期間でクロール停止する模様
サイトによるとしか
あまりクロールしまくると負荷も大きいしな
質問・雑談スレ337@運用情報板
■ このスレッドは過去ログ倉庫に格納されています
340動け動けウゴウゴ2ちゃんねる
2014/01/12(日) 19:39:56.22ID:EXA0en9X0■ このスレッドは過去ログ倉庫に格納されています