Dependiendo de para que vaya a ser el trabajo, elige un método de compresión u otro. Si es para la presentación a un cliente, evidentemente no va a llevar la misma compresión que si fuera para colgarlo en web. Como se ha dicho varias veces por aquí, no renderices el video en 3dsmax, sino imágenes sueltas (por ejemplo, en formato tga), y luego en un programa de edición de video ya eliges la compresión.
El video se te ve a saltos porque no está comprimido, y el PC no está preparado para representar ese flujo de datos por segundo.
A mí me parece un tiempo más que suficiente el minuto y medio por frame. Piensa que la mayoría de animaciones o trabajos, este tiempo se dispara y el tiempo de render por cuadro es mucho mayor. Y lo de que tarde días en renderizar, bueno, es normal. Por eso es sacar el render en imágenes individuales: si hubiera cualquier problema, lo que has renderizado ya no lo pierdes, en cambio, el video sí.
Otra cosa es que te recomendaría que no renderizaras videos a 800 por 600. El tamaño PAL (el de la televisión) es de 720 por 576. Como decía, dependiendo que para que sea el video, usa un mayor o un menor tamaño. Si dieras más datos, podría ser más concreto.
Para acelerar los tiempos de render, un microprocesador más potente. Saludos.