En el menú principal superior, ve a rendering / render setup. En la ventana que te aparece, selecciona la pestaña common, y baja hasta la persiana assing renderer. En el campo production haz click sobre el recuadro con puntos suspensivos [.] y selecciona Vray en la lista que aparece. Pulsa ok y dale al botón de abajo que dice save as defaults si quieres que sea el motor de render por defecto al abrir max.
Una vez hecho esto, puedes trabajar con los materiales de Vray en el editor de materiales (para abrirlo pulsa m, la ventana de Maxscript no tiene que ver con eso).
Espero te sirva, un saludo.