スウェーデンハウスに違約金を没収された

[みなみ]

私は、スウェーデンハウスと締結した請負契約の解約を申し入れましたが、契約書に従って違約金、具体的には契約時に支払った100万円を没収されました。
以下の状況により、私は違約金を支払う必要はないと考え、その旨、折衝を行いましたが、返却はありませんでした。

・当契約は土地が決まっていない段階で締結され、契約書に記載の工事場所は私が購入予定のない土地でした（つまり架空の土地で、土地代金が確定されていませんでした）

・当契約は先方の期末に、値引き幅を最も大きくできるという説明により締結しました

・値引き幅を大きくするためには請負金額は高い方が有利で値引率を据え置いたまま仕様変更できる、との説明があり、最も高くなるように仮設計をして算出されました（つまり架空の設計で、建築代金が確定されていませんでした）

・万一キャンセルの場合は、契約時に支払う100万円は返却するという説明を受けていました

・その後、土地が決まり具体的な設計に入りましたが、結果として予算オーバーとなることが判明して解約を申し入れました

・未だ着工はおろか設計も終わっていないので、工事の中止による損害は何も発生していません

私も何も決まっていないことはわかっていて契約した訳ですが、値引き幅を最も大きくできるという話に誘導され、万一キャンセルの場合はお金は返却するという安心感を与えられて契約しましたので、納得できません。
皆さんはどう思われますか？