境界ブロック…この場合どちらが設置するべきですか？

[悩んでます]

建築条件付で３棟並びの真ん中を契約し、現在建築中です。
仮に向かって左からA号棟、B号棟、C号棟とし、我が家はB号棟とさせて頂きます

我が家のB号棟とC号棟は同じくらいに契約し、工事も同じくらいに始まりました。
A号棟だけはなかなか売れず、しばらく更地の状態でした。しかし突然A号棟だけは
別のHMで建築すると聞かされたのです。
当初「建築条件付」で３棟同じ工務店で建てると聞いていただけに、その時点で
少し疑問が生じました。
後に聞いた話ですとこのA号棟の施主と不動産屋でかなり揉めて不動産屋が
「勝手にしろ」的な感じで建築条件を外したそうです。


しかしここで問題が発生しました。
契約時はA号棟と我が家のB号棟の境界ブロックはお互いの真ん中で設置となっていました。
でも今回A号棟は別のHMで建てることになり、相手はどのように考えているのかわからない
と言うのです。しかもそれでは相手の方と一度ご相談させてくださいと言うと、
「もう話もしたくない相手ですし、こちらが先に建てたのだから、B号棟寄りに
ブロックを建てるのが筋だと思います」
と、とんでもない事を言い出しました。
ただでさえお隣りとの境界が狭い上に（４０センチくらいです）ウチ寄りでブロックを
建てたら更に狭くなってしまいます。
その事を指摘すると「ではこの際ブロックはなしでいかれたらどうですか？」と
またもや意味不明な事を言われました。
契約の際に何度外溝の件は確認し、それで了承し契約したのに、なんだか腑に落ちません。

私たちは素人な上に法律的なことは分からないのですが、この場合不動産屋が言うとおり
先に建てた私たちがウチ寄りで設置するのが筋なのでしょうか？
不動産屋は「隣地の方との話し合いは普通は行われない」とも言っていたのですが、
本当にそんなものなのでしょうか？
なんだか不動産屋の都合で勝手に片付けられているようで腹立たしいのですが、
通常、上記のような場合はどのように設置するべきなのでしょうか？