電気的に逸脱したところがあると、認識は始まるけれど、ちゃんと認識できずに不明な
デバイスになることがあります。

電源が弱いとか、GNDを含めたケーブル接続が弱いとかも。

USBは本来は、クロック周波数の要求が厳しくて、セラミック振動子だと、それなりに
精度が高いものでないと動作保証ができないことがありました。(水晶の方が高精度)
今のUSBデバイスは、いろいろ工夫されていて、ホストのクロックに合わせるみたいな
しくみもありますが、32U4はそういう意味では昔のデバイスだと思います。

俺が持ってるUNO3は、本体はセラミックなのに、USB I/Fの方は水晶だし、
Leonardo は水晶を使ってます。

まだ解決してないようなら、水晶も検討してみて。