仕事が続かない旦那。私の妊娠がわかった時も仕事を辞めてしまいました

私も悪阻がひどく、このまま働いていても迷惑に
なるだけだったので融通のきくパートに転職し、
悪阻がひどく重いものも持てない時に
すごく良くして頂いたのでしばらくは続けたいと思ってます。
なのですが、また最近旦那が仕事を辞めたいと言い出していてすごく困っています。
もう地元に帰りたい、ついてきてくれと言われます。

旦那実家は新幹線で4時間ほどかかる距離なので、

年に2～3回ほど行くのですが、ウトメがこちらに出向いてくれた事は一度もありません。
時々娘や旦那に物資を送ってくれたりすることはありますし、

出産祝いも頂いたので良い関係は築けてると思うのですが、
同居となるとまた話が違います。
それに今は私実家が近距離別居なので何かあった時には頼れるので、

私としてはここで生活基盤を整えていきたいのですが、
旦那と私実家が不仲なので板挟みになるのもなかなかしんどいです。
本当はどちらかが歩み寄ってくれればいいのですが、

無理に強要もしたくないし、仲良く出来ないなら
それはそれで構わないと思っているので、
旦那と私父母はもうしばらく顔を合わせていません。
しかし私は娘を連れて時々遊びに行くので、

旦那はそれがあまり面白くないようです。
旦那曰く、
「世帯はこっちなんだからこっちに合わせるべき。
私ちゃんばかり実家に行って、俺だって自分の実家に
帰りたいのにずるいと思わないのか。」と言われます。
私にも悪いところはあると思います、

しかしそんなに実家が好きならそもそも
上京してこなきゃ良かったじゃん！という思いも強いです。
それに私父母は旦那のことを快く思ってないので、

もし地方について行くなら絶縁するとまで言われてしまいました。