Taka-taka-taka

Lo que te ocurre es normal, puedes comprobarlo si observas fotogramas sueltos de un video real que haga un movimientos de cámara semejantes a los que tú estas haciendo.

La solución es la que ya has encontrado, el Motion Blur (en tu caso concreto el image Motion Blur). Si la animación se va a visualizar en una televisión también podría ayudarte hacer el render por campos. Un saludo.