Hombre, todo es relativo, puedes tener un cubo con sus míseros 6 poligonitos y que el tiempo de render sea alto debido al material e iluminación, aunque no sea una escena pesada de mover en un visor.
O puedes tener un par de millones de polígonos y que no lo muevas bien en el visor, pero el render ser rápido si no pones materiales que requieran cálculos excesivos.
Si es por mover la escena en los visores creo que depende sobre todo de la gráfica y el render sólo del procesador.
De todas formas, mírate el tema de las gráficas, porque dependiendo de quién fabrique el chip y quién la tarjeta se va mucho el rendimiento y te puedes encontrar gráficas de 512 que te rindan como las de 1024, preguntalo en el subforo de hardware que seguro que alguien te lo responde de forma más precisa.