家買い替えについて

[ビギナーさん]

2800マン円で新築戸建てを買いました。
３年経ちます。
２６００万ローン残です。線路から４ｍ道路挟んだ家で１００万かけて防音工事済みです。
20坪です
近所に４０坪２５００万で日当たりのよい物件でています。１年売れてなくて５００万以上値下がりしています。
買い替え無謀ですか？というより

できますか？

夫年収５００万
子供４才0才
妻 専業

補足 貯金は600万です
当方妻です。
主人にこんなこと言ったらものすごく怒られます。お金にシビアな主人。損するのはわかっていますがここをどうしても好きになれずストレスで病気になり胆嚢摘出までになってしまいました。こんな気持ちでいることに申し訳なく思います。