unlink($src) while -f $src;
してみるとか？

Rock54方面で、わざわざこんなことした覚えがあるです。。。＠FreeBSDだとちゃんと消してくれないようなふいんき？