相談お願いします。

私には約4年間付き合った方がいます。（22歳同士）
趣味の話で盛り上がり、素直に一緒にいて楽しい人です。

1年前にうつ病になり迷惑をかけて以降、日常的な会話について話したときはそっけない返事のように感じて、
それに悲しんだり謝ったりして余計に怒らせてしまうということを繰り返しています。
（趣味の話ではいつも通り盛り上がり、問題なく明るく話せます）

また、相手が日常の連絡みたいなラインに苦手意識をもっていてどう返信したらいいかわからないといいます。
頻繁ならばわからんでもないですがやっぱり寂しさが上回って私自身のことは好きじゃなく、趣味の話をする私しか好きじゃないのかなと思いこんでしまいます。
愛情表現も(愛情表現をする自身に)気持ち悪くなってしまうのか、最近は全然好きと言ってくれなくなりました。

私も私で寂しさが強くなりすぎて相手を束縛するような発言など、冷静になればおかしいとわかる発言も何度かこちらからしてしまいその都度謝っています。
相手のためにも別れるべきかと思い何度か自分からそう問いかけても、
「今までなんとかなってきたから別にいいんじゃないか」
「こっちのためとか決めつけるな」と言われてきました。

これ以上縛り付けたくないし、また酷いことを言ってしまうのが目に見えているので本当に申し訳なくてしょうがないです。
4年積み上げたものは重く感じ、正直別れたくはないのですが繰り返し上記のことで言い合いになるのももうやめたいです。
意識の改善をしたいのでどうかアドバイスをお願いします。