違約金について教えて下さい

[むむ]

ある大手住宅メーカーで仮契約をし、プランもほぼ出来上がった状態だったのですが当初予定していた自己資金が家庭の事情でだせなくなってしまい、解約を申し出ましたが解約をすると違約金が発生すると言われてしまいました。契約金として100万円をすでに支払っており、その中から実費とキャンセル料をとられるのかと思っていましたが（それはこちらの都合なのでしょうがないとあきらめるつもりでした）契約金100万＋違約金300万円〜500万円かかると言われ、支払ってもらえなければ弁護士をたてて裁判すると言われました。「違約金」という言葉を聞いたのもはじめてですし約款にもそういう記載はありませんのでこちらとしては納得できません。400万〜600万円のお金を捨てるよりは予定していた自己資金分を借り入れして建てたほうが得ですよと言われました。100万円は捨てる覚悟でいます。それでも違約金を支払わなければいけないのでしょうか？