CameraPivot двигается когда голова стоит на месте

Я пытаюсь сделать так чтобы камера следовала за головой персонажа (персонаж с анимациями). Pivot прикреплён к голове и в pivot'е находится камера. Единственное что влияет на камеру это её поворот мышью, позиция камеры никак не меняется. У меня почему-то Pivot меняет свою позицию когда позиция головы не меняется (у головы меняется только вращение из-за анимации) и из-за этого камеру сильно трясёт при анимациях. (Сам скрипт игрока вращает камеру и персонажа по оси Y, я пробовал делать вращение именно pivot'a - ничего не изменилось)

FollowHead.cs

public class FollowHead : MonoBehaviour
{
    public Transform headTransform;

    void LateUpdate()
    {
        if (headTransform != null)
        {
            transform.position = headTransform.position;
        }
    }
}

Иерархия