例えば

SetEnvIf User-Agent "p2" Bakugeki

<Directory　ほにゃらら>
Order Allow,Deny
Allow from all
Deny from env=Bakugeki
</Directory>

とかしちゃったら駄目？

p2のUser-Agentを変更する人は出てくるだろうけど
一番問題のp2を公開で設置しっぱなしのところとかへの対策には
なると思うんだけど