>>675
D2から電流が流れ出してきてトランジスタが勝手にONになるのでしょうね。
D2を切り離し、PNPトランジスタを追加してPNPのエミッタを+5V、コレクタを
今D2がつながっているところにつなぐ。
+5VとPNPのベース間に1kΩ、PNPのベースとD2間に1kΩをつなぐ。
スイッチを押して起動したらD2をLOWで保持、D2をHIGHにして電源オフになる。

マイナス側は基準の電位グランドになっているので外部に回路を追加すると
更にトラブルを抱え込むことになるから、回路を逆にして+5V側でArduinoを
オン／オフした方がいいと思う。