最初の見積もりで契約？手付金５０万円

[ぴっとん]

９月末に積水ハウスに手付金５０万円を支払いました。
他のメーカーに魅力を感じず、積水ハウスで建てたいと思いましたが、私達の予算が低予算だったため無理だろうとお話ししたところ「積水ハウスでも建てれます！きっちり２３００万で建てます！」とおっしゃったので間取りを考えていただきました。
最初に提示された間取りはいたって普通だったのにもかかわらず予算を７００万オーバーしていました。これでは建てられないと言うと「最終見積もりであわせますから」とのこと。
どこをどうやって削るのか不安なまま、契約し、手付金５０万を支払いました。
見積もり金額、間取りにかなり不安があったため、支払う時に「万が一、このお話がなかったことになったら、５０万は返金されますか？」と聞いたら「もちろん返金します」とのことでした。

その後打ち合わせを何度もしていますが、一向に金額は減らず、新しい間取りを提示して欲しいと希望してもスルーされています。
５０万を支払った後から営業さんの態度も大きくなったのも不愉快です。

着工時期も、私達の都合などお構いなしで、今年の年末に着工しますと一方的に話が進んでいますので
これが積水ハウスさんのやり方なら、キャンセルしたいと思います。

ただ、頭金が十分でないため５０万円でも貴重な資金ですので、先日支払った５０万は返金していただきたいのですが、契約書には「施主の都合でキャンセルとなった場合は返金しません」と書かれています。口頭では「返金します」と言われたのですが…。
こういう場合、返金されるのでしょうか？
過度のストレスにより、私自身の体調が悪くなってしまい、今はこれ以上積水さんと打ち合わせをする気力も体力もない状態です。