着工後の解約について

[契約済みさん]

建築条件付土地に着工後、約1ヶ月半が経過します。
現在の進行度合いは、外壁のサイディングが間もなく
すべて取り付けられようとしているところです。
完成予定は4月中旬です。

数週間前に現地に行ってみると、某ガラスの窓を選択したところが
別の窓になっていたので担当者に電話して確認したところ
「すぐに直します」との返答。未だ直ってませんが・・・

次に先日、現地に行ってみると
打ち合わせとは異なるサイディングが取り付けられていました。
外観だけで早くも2箇所も注文と間違った状態に…

正直、呆れたというか、こんなことで大丈夫なのか不安に
なりました。。。
今後の内装への不安、これまでの基礎部分は大丈夫なのか。。
はっきりいって信用できなくなりました。
何度もメーカーに足を運んで、時間と労力を使って打ち合わせした
結果、こんなずさんなことに。

そこで重要事項説明書を読んでみると
「損害賠償の予定又は違約金に関する事項」というのがあり
「買主又は、売主が契約の履行に着手した後、その一方が本契約に
　違背したとき、又は著しく不信用な事態に陥り本契約を存続し
　難いと認めたときは、相手方に対し催告の上本契約を解除すること　が出来る。この場合、違約したる相手方に対して売買総額の2割
　相当額を支払うものとする」
とありました。
こちらは精神的にもかなり参っています。
ただ、これくらいのメーカー側のミスでは解除は難しいのでしょうか？どなたかご教授下さい！