Cuando rendericesz en 3dsmax aseguraté de renderizar el canal alfa, luego al importar tu escena en After, te lo detectara y te dará una serie de opciones, si no sabes que hacer tiene un botón que dice guess(mi After está en inglés) que te pone la opción recomendada.
Respecto al formato, yo suelo usar secuencia tif o tga (si lo quieres con alfa el (*.tga) tiene que ser de 32bits). Recuerda al importar tu secuencia al After, seleccionar el primer archivo de tu secuencia y marcar la pestaña tif secuence,tga secuence o png secuence. Saludos.