Eh trabajado con HDRIs varias veces, y te digo, por lo menos en los que yo tengo, claro que varía la posición en cuál los colocas, tienes que tener en cuenta que es como una fotografía, por lo cual teóricamente debería iluminar más de un lado que de otro, por el sol, supuestamente.
Mira hace una prueba y anda rotando el HDRI y verás cómo te va iluminando más en otras zonas.
De hecho, muchas escenas que hecho (infoarquitectura) las he tirados sin ninguna luz, solo con un HDRI bien orientado, eso sí no tendrás las sombras marcaditas.
Pero te digo, todo depende del HDRI que tengas. Saludos.