分譲地購入について

[匿名さん]

去年の７月に建築条件付の土地を購入しました。
南側に同じ大きさの土地があったのですが既に契約済み。しかし南側には老夫婦が住み平屋を建築しますとの事でした。それだったら日当たりもそんなに悪くならないしと思い購入を決意。
その後建築が始まり４月上旬に引渡しが完了。しかしそのときも南側の土地は更地のままだったのでハウスメーカーの営業に聞いたら、実は老夫婦とは金額で折り合わずにキャンセルになってしまい、仕方がないので建売（２階建て）で販売する事になったと聞かされました。
これって話違いますよね？南側に平屋が建つからと言われ購入したのに、実際に住み始めてからそんな事言うなんておかしくないですか？
何か法的な手段で建売を平屋にするか契約を破棄することは可能でしょうか？
その事に関する書面でのやり取りはなく、口頭での説明だけです。