柱固定しなくても大丈夫なのでしょうか？

[ビギナーさん]

教えてください。
本日建築現場を見に行ったのですが、二階の外周の柱と床が金具などで固定されなかったので、大工さんに質問してみたのですが特に固定はしないとの回答でした。
素人考えだと、地震などでズレたりはずれたりしそうで怖いのですが本当に大丈夫なのでしょうか？
写真は横にして撮ったので見にくくてすみません。
溝のような隙間もあり、そこも気になります・・・。