みなさん、アドバイスありがとうございます。
子供の方も父親とずっと一緒に居たいと言っています。一緒に住んでた記憶が無いからかと思います。
旦那の性格も問題ありだし、私には実子が居て、そこに小学生の連れ子だと全員が不幸になりますよね。
ちなみ旦那は子供は天使で嘘なんてつかないと言っている様な世間知らずの馬鹿者です…