建築条件付き土地の解約について教えて下さい。

[Suika]

建築条件付き土地の解約について教えて下さい。

皆さんどんな些細な事でも構いませんのでアドバイスお願いします。

7月に建築条件付きの土地を手付金百万円、
「買主を手付金を放棄することにより契約を解除することができる。」、
「3ヶ月以内に買主が住宅を建築しないことが確定したとき、
または請負契約が成立しなかったときは、契約は効力を失い、
売主は受領済みの手付金等を含む全額を速やかに買主に返還する。」等の項目で
土地売買契約をハウスメーカーと結びました。
その後、家の間取りや仕様について打ち合わせを行い、
ハウスメーカーはこちらの希望に沿うようにプランを提示してくれます。
しかし、土地面積等がこちらの希望する間取りには狭ようで、
なかなか納得いくプランが出てこず、契約を解除したいと考えております。

土地売買契約から3ヶ月が過ぎましたが、
こちらから契約解除を申し出ても手付金は返還されますでしょうか?
それとも手付金は放棄しないといけないでしょうか?
手付金の放棄せず、契約を解除する方法をご教授下さい。

経験者や法律に詳しい方、どんな些細な事でも構いませんのでアドバイスお願いします。