まぁ,当面を乗り切る対策と,抜本的に仕組みを作り替えることと,分けて考えてもいいかもですね.

で,この前の雪だるまでの Squid 導入作戦の時に,c-docomo5 で使っているらしき
squid.conf が雪だるまフロントにコピーされていたので,それを見てみると,
今はディスクキャッシュは用いておらず,メモリキャッシュが 128MB ってことになってるっぽいですね.
となると,全 dat が 128MB に収まりきるとも思えないので,あふれた分は BG に取りに逝く,
で BG が忙しく働き,ついには死亡と......

であるなら,RAM をもっとたくさん積んだ鯖を導入してメモりキャッシュ領域をもっと拡大するとか,
あるいはディスク I/O の性能の優れた鯖を導入してディスクキャッシュを使えるようにするとか,
そういうことにより今の仕組みのままでもかなり改善されそうな気はしますね.
逆に言うと,新たに自力での差分取得+キャッシュの仕組みを作ったとしても,
ものすごい量の dat をディスクに蓄えることになるわけで,
そうなるとディスク I/O がそれに耐えうるだけの性能がないと,
いずれにせよ結局死亡ってことになりかねない,と......