Как найти разницу двух координат разных кадров opencv

Есть захват руки с помощью mediapipe. Идет захват координаты большого пальца(точка 4), мне нужно вычислить разницу координаты 'y' при движении руки вниз. Т.е мы держим большой палец перед камерой, двигаем всю руку вниз, и нужно вычислить какое расстояние преодолела точка 4. Упираюсь в то, что не могу реализовать нахождение координаты точки 4 на прошлом кадре, как и впринципе запоминание прошлого кадра