隣人トラブルに悩んでいます

[なんた]

一昨年の年末に2世帯住宅を建てました。
隣が賃貸マンションで、そこのベランダから我が家の庭がちょうど見下ろせるようになっています。

去年の夏に庭で花火をしていると、マンションの3階の40代くらいの男性にベランダから怒鳴られました。その直後に家に怒鳴り込んで来たのですが、「気をつけます」と言うと、帰っていきました。
その後も家の庭でちょっとした話し声や音がするたびに、ベランダからにらんでくるような状態が続いています。
クレームの内容は、「早朝7時から夜中（10時くらい）まで一日中子供の泣き声がうるさすぎる（虐待をしていると）」ということです。ちなみに子供は3歳です。

気候のいいときは朝から窓を開けたりしていたので、確かにうるさかったかもしれないので窓はできるだけ閉めるようにはしました。また、煙が上に昇って嫌だったかもしれないので、花火等の煙が出るものは表の道路ですることにしました。

冬の間はほとんど窓を締め切って、庭にも出ずすごしていましたが、最近暖かくなってきたので、久しぶりに子供が庭に面する窓を開け、庭に出て私と話をしていると、10分も経ってないくらいでしょうか、例の方がベランダから睨んできました。
時間はお昼前です。また怒鳴られるのはいやなので、子供にはごまかしながら家に入ってもらったのですが、庭に出るのもびくびくしながら出ないといけないので、精神的にとてもしんどいです。平日の昼間は仕事に行っているので、それほど気にならずにすんでいるのかもしれません。

それで、マンションとの間に3階までの高さの高い木塀を立てようかと考えています。
（すでに3M程度のコンクリートの塀があります）マンションから見ると南側にあたるのでマンションは確実に日当たりが悪くなるのですが、問題ないのでしょうか。
また、問題があるならばやはり我慢するしかないのでしょうか。男性はベランダから怒鳴り、家にもやってきて怒鳴るような方なので、話し合いをしてくれそうな方ではありません。