日本語をそのまま読んだ場合、

「板の回復には興味ないんだよな？」の方は、
YESと答えた場合「その通り」つまり「板の回復には興味ない」
NOと答えた場合「そんなことはない」つまり「板の回復に興味ある」

となる

「違うならば、違うと意思表示しろ」という文脈からしてもこの文意は明らかで、
反対に捉えることは普通は出来ない