悩みというか半分愚痴かもしれません。ごめんなさい。

30男です。去年の夏に父がなくなり、親族が他にいないため天涯孤独のような身になりました。
ようやく寂しさも癒えてきたところで、相続の関係で借金を負いそうです。

父は死亡保険等もなく、正直むしろ葬式の費用等マイナスで、相続の手続きをとっても確実にマイナスなので相続放棄しました。
父はかなりボロボロでもう何も価値のないような一軒家に住んでいて(土地は別の地主が持っているため父のものではありません)
正直その家をどうすることもできないと思ったので、相続放棄すれば何も手をつけずに済むと思っていました。
(父にそう言われたのを鵜呑みにしていました)

ところが一軒家というのは相続放棄をしたとしても相続にあたる人が管理をしなければならない決まりがあるらしく
相続放棄したのに、家の管理をし続けるか、それが無理なら最悪解体の費用を全額負担しなければいけないと国から言われました。
ちなみに、土地主は別のため、父は毎月土地主に土地代として8000円払っていたそうです。

最悪50万くらいなら何とか…と思いましたが、父の住んでいる土地の場所的に、解体に利用する工事車が入れないらしく
手作業での解体作業になるため、費用はすべて諸々含めて200万から250万かかるだろうと言われました。

正直払えません…
お恥ずかしながらこの年齢で手取り17万で、前妻との子の養育費もあるため貯蓄も皆無です。
このような場合、放置したらどうなるのでしょうか…。
土地主には何も責任はないのでしょうか?