Перемещение объектов при пакетном рендеринге

Мне необходимо реализовать возможность размещения моделей на сцене, т.е. каждой из них я должен задавать положение раздельно (например, кликнуть мышкой и перетащить). Я использую батчинг и у меня возникла проблема со скоростью работы.

Сейчас алгоритм действий такой:

1. Выделяю память на 100000 вершин.
2. Загружаю в память две модели, каждой из которой задаю свое смещение
3. Отрисовываю две модели за один вызов glDrawElements

Из-за того, что каждый кадр мне приходиться пройти по всему мешу и пересчитать позицию каждой вершины производительность сильно снижается (1 модель содержит ~10к вершин).

Как избежать этой проблемы?