遅レスですが改めて書き込ませて頂きます。
皆様色々とご意見有難うございます。
一つ、、大きなことを書いていませんでした。

実は私と妻の出会いは所謂性風俗店で、ノリで付き合ってそのまま居心地がよく結婚した、という流れでした。
完全なる自業自得ですが、やはり何かモメることがあるとどこかで、なんでこんな女と結婚してしまったのだろう、と出会いの場所に起因する蔑みに近い感情を持ってしまいます。そのような状況で、この歳（36歳）で再出発して、新しい家庭が築けるのか全く自信がありません。
同じような経験・状況の方はおられないと思いますが、少なくとも再婚に成功された方からのご意見をお伺いできればと思いました。