契約解除したいとおもっています。

[契約済みさん]

ある工務店から建て売りを購入しようと思い、契約しました。
（仲介業者がはいっています）
（物件価格：2850万+諸経費150万　計3000万）
しかし、契約後建物の構造上問題があるのでは？と知人に言われ解約を考えています。
そんな中、ロ−ンの審査も通りました。（借り入れは2850万です）
（ローンは通ったものの、仲介業者が火災保険等
を抑えて諸経費150万でやります！と言い切ったものの、銀行から火災保険はFULLで入れといわれ、諸経費240万になりました。）
諸経費分の150万は、親から借りるなどしてなんとかできるかも・・・と最初に話してしまっています。
ただ、150万とはっきり言ったのではなく100万+αならかりれるかも）。

契約後なので、違約金が発生するのかと思い困っています。
ただし、構造上の疑問があり図面（はりの図面？）をほしいといってもなかなかくれません。
断る理由として
①図面がもらえないので、構造上に不安があり購入できない。
②ローンは通ったものの、合計金額3000万が3090万になりました。
　3090万は最初の条件と違うから払えない。
③諸経費分240万は借りれない。
以上３点から断ろうと思っていますが、やはり違約金は発生してしまうでしょうか？