Почему при небольшой скорости объект начинает странно отталкиваться?

Всем привет! Делаю игру, в которой объект должен постоянно отталкиваться. Реализовал так:

private void FixedUpdate()
{
    rb.AddForce(rb.velocity * normalSpeed, ForceMode2D.Impulse);
    rb.velocity = Vector3.ClampMagnitude(rb.velocity, normalSpeed);
}

Но возникает проблема, если скорость объекта поставить меньше 2-х, то он начинает двигаться совсем плохо: прилипать к стенкам, не отталкиваться. С чем это может быть связано и как это можно исправить?