土地のみ先に購入について

[購入検討中さん [男性 30代]]

現在、住宅を探しております。
当方、土地もないため、土地探しもしなければなりません。HMにいくと土地探しも手伝いますと言ってくださいますが、土地と建物は分けて考えたいと思っています。
やりたい仕様の住宅を立てるために必要な広さはそれほどではなく、先に土地を確保してもやりたい仕様ができないというリスクはほぼありません。そうであれば、土地を確保してゆっくり立てた方が気分的にも焦りませんし、HMを比較しやすいのではないかと思います。
ただ、当方が考えられていないようなリスク、マイナス面がないか気になります。先に土地を購入された方、ご経験から何かあれば教えて頂けないでしょうか？

なお、予算としては総額4000万円程度の現金払いで土地には1600～2000万円くらいを想定してます。