質問というか相談なんだけど

家族構成〜俺、１歳の子供、義兄、義母〜
現在進行形で妻の家族と住んでいるが去年妻が亡くなって
現在、義母に子供を見てもらいながら俺一人が働いている状況
ただ義母も精神的にやられ気味になってて
義兄は数年前から鬱からのニート
住んでる家は義兄がローン組んで建てた家だけど現在進行形で俺以外働いていないので俺が払ってる感じ
現在進行形で嫁の財産食いつぶし中（俺以外）

正直家族を見捨てて子供を二人で住もうかガチで悩んでるんだけどみんなならどうする？？