-exportar fbx.
El unwrap sirve para, como su propio nombre indica, desenvolver. Es como la piel de tu objeto. Con geometría simple como cajas, te va a servir hacer un custom pack, porque 3ds Max crea algunos seams por defecto en estas figuras. Pero cuando hagas un pack con geometría más compleja el resultado va a ser una intersección y solapado. Esto produce que unas partes se muestran sobre otras y creen en UE4 el conocido problema del overlapping.
Cambiar al canal 2 es una leyenda urbana. El problema radica en que el mapeado está solapado, y por consiguiente UE4 no va a poder texturizar e iluminar de forma correcta. Te recomiendo que estudies cómo hacer unwrap en condiciones, y algún workflow que te permite forzar al pel de 3ds Max para agilizar el proceso y evitar exponer la textura a demasiados cortes.
Cuando comprendas lo del unwrap te vas a dar cuenta, si compensa o no, crear un determinado espacio a partir de modulos.
Regularmente se usa.fbx para exportar a Unreal Engine 4 porque dicho formato conserva la asignación de materiales de 3dsmax. Separando, en UE4, cada material como una parte del objeto. De este modo se pueden asignar materiales distintos a un mismo objeto, sin utilizar máscaras.