Lo que te pasa es normal el Normal Map altera o crea nuevas normales que, alteran el especular, ya que el especular depende directamente de la normal de cara, esto es el funcionamiento super básico del normal.
Los reflejos no se ven demasiado alterados por los normal por que estos no tienen en cuenta las normales para calcularse, y solamente se suman al difuso, ahora viene lo jodido, y esto ya es una simple suposición mía.
Un Fresnel (perpendicular paralelo) hecho por max es más o menos el resultado del producto escalar del Vector de cámara (dirección del espectador) y z (eje de la normal de la cara a la que se aplica un Fresnel), esto no hace falta que se entienda, yo realmente no lo pillo del todo, el problema es justamente de dónde se saca la información de z, ese z se calcula directamente de la normal de la cara, pero de la cara geométrica, o sea, se hace la media entre los 4 vértices y ya está, el Normal Map nos lo pasamos por el forro, con lo cual si hay alguna alteración en las normales de esa cara el Fresnel ni se entera y por lo tanto el reflejo no se ve alterado por el normal, con lo cual al sumarse ese reflejo (plano) al Diffuse se pierde el efecto del Normal Map.
En fin, me ha quedado super pedante, y no sé si el problema es realmente ese, lo supongo por que cuando haces un shader en DirectX y usas la instrucción Fresnel o creas un Fresnel en este caso sí tienes la opción de decirle que las normales (valor z) se vean alteradas por un Normal Map. Saludos y siento no explicarme mejor.