住友不動産との解約について教えてください。

[購入検討中さん]

今、住友不動産との解約について悩んでいます。
５月２９日に戸建請負契約を締結し、５月３０日に保証金２００万円を振り込みました。
当初の設計図面も気に入ってなく慌てて購入するつもりはありませんでしたが、６月になると材料代が１割程度値上がりすると営業の方から締結を切迫されていたからです。契約してから設計は変更していきますとの言葉を信じて・・・。
但し、次の打合せの日程も決まらず、設計者との打合せも「また連絡します」との返事で楽しみにしていた家が、住友不動産へのイライラへ変わりました。
それで、６月２日に契約解除の申し入れを行い、その際には、お預かりしている保証金は精算して返金しますと営業の方は言ってくれました。
その後、１ヶ月待っても何も連絡が無く、こちらから電話しても月末で忙しいとの返事。
そこで内容証明郵便を送ったところ、返金する意思は無いと電話にて言い渡されました。

契約書にも、契約してから工事着工に至るまでに要した損害賠償の他実費精算します。と明記されています。
損害賠償額や違約金などの明記は記載されていません。４日間の解約で200万円も損害賠償金が発生するのでしょうか？

住友不動産の言い分は、こっちが勝手に解約したのでなんで返金する必要があるんだ！と言っておりました。

今後、どうしたらよいか助言をお願いします。

[65: 検討者さん]

営業に対し不信感が募り、解約を考えています。解約の場合、どんな理由があろうと施主が申し出た＝施主都合の解約になり、違約金が発生しますか？
違約金なし、手付金全額返金はありえませんかね？
解約例を伺えますでしょうか。