地盤改良について

[想定外]

第一種低層の地域で現況山林の土地（既に更地で前後に住居あり。住宅地です。）を購入しました。地盤調査をしてみると、あまりいい数値がでず、５ヶ所調査でＮ値が1.0という場所が２ヶ所ありました。改良しないとダメでしょうか？隣近所で改良した家はないので安心していたのですが…。この場所（私の土地）だけ弱い、ということもあるんでしょうか？判断に困ってます。アドバイスをお願いします。