ん〜 collapsed_forwarging を off にしちゃうと
refresh_stale_hit の効果もなくなっちゃうっぽいですねぇ.
ってことで,collapsed_forwarding はとりあえず on のままにして,
その代わり timeout を設定してみてはどうかと......

connect_timeout 10 seconds
read_timeout 10 seconds
request_timeout 10 seconds
persistent_request_timeout 10 seconds

とりあえずこれぐらいで......