人生相談と言うか恋愛相談しかも別れたほうが良いのかそうだとしてうまく別れる方法を教えてほしいです。

51男と47女。僕は発達障害とか対人恐怖症・うつで彼女は知的障害と統合失調症です。
同じ作業所で家も同じ団地の同じ建物です。

彼女があちこち行きたがるので僕がプラン立てて連れて行くんですが、非常に困った状況になりやすくて困ってます。
例えば飲食店に入ったって黙って食べるわけにもいかずすぐ近くに人のいる状況で会話しないといけない。
最近は多少なれたとはいえまだまだ苦痛です。僕が恥ずかしがって人混みで手をつなぐのを拒否すると大声で抗議する。もう恐怖です。

そういうことが重なってついに出かけるのが苦痛だと彼女に伝えたら急に具合が悪くなってしまって作業所スタッフに心配されるほどでした。

肝心な恋愛感情は僕には多分ない。1年半付き合ってるので情は移ってるかも。彼女の方は愛してるを連発します。
が僕が拒むのですでにセックスレスです。相手は結婚願望強いが僕ははっきり断ってます。

恋愛抜きでも彼女は僕と二人でいても楽しそうじゃないです、話もすぐ尽きる。他の友達とはすごく楽しそうにしてます。

正直別れたほうがお互いのためと思うのですが恋愛経験ほぼない僕には判断できない。

どうしたら良いでしょうか。