> HAT が悪さしたり、そもそも高速動作に問題があったり。
ピンを兼用したから HAT に付いてしょうがない

”高速動作 うんぬん”　に関しては、完全にカーネル&U-Boot側のドライバの問題
腕に覚えが有るならコードを追ってみ、そうすれば解かる

動かないカードが結構有る　-> 高速動作に問題あり
短絡すぎだよ。