0840動け動けウゴウゴ2ちゃんねる
2014/03/08(土) 16:19:24.75ID:HVg7yAH50FOXが去った後にメンテしてたのはトオルで、彼いわく
> ブラジルは、find.2ch.net のために、定期的に2ちゃんねるのログを取ります。
> 従って、そのアクセス数は以上に多いんですよね。
> システムログに書きだすだけでも負荷が馬鹿にならないくらいの量です。
> だから今まで、ブラジルのIPはホワイトリストに入れられて、ログにも出力していませんでした。
> そのIPをホワイトリストから外したら、どうなるか、、、素人さんでも想像できるのでは?
> maguroは新しいサーバなので、データも同時に全部新しくなったため、
> クローラーは最初にできるだけたくさん読みに行きます。
> また、ホワイトリストに入っている間は、ログの記録がされていませんでしたが、
> そこから外された途端、クロールする度に大量のログが発生します。
> だから公式クローラーをホワイトリストから外すという負荷は重大なんです。
まぁこのログってのがApacheじゃないログかもしれんし、そもそも大嘘(なんのため?)かもしれんけど