Ваша цель:

Я работаю над проектом, в котором нужно создать модель нейросети для генерации движений танца на основе музыки.

Проблема:

Я пробовал различные комбинации моделей, такие как LSTM и Attention, но модели всегда перестают обучаться.

Как я понял вопрос

Исходя из Ваших условий, могу предположить, что Вам вероятно просто недостаточно данных для обучения реккуретных архитектур. Если вы используете какую-либо кастомную архитектуру, лучше заменить ее на варианты предобученных сетей, чтобы была возможность, именно дообучить, а не обучить сеть.

В целом оценить ситуацию о проблеме обучения сложно, если бы Вы предоставили графики обучения, по которым можно было бы оценить переобученность или наоборот недообученность сети.

Опять же LSTM и GRU предназначены для предсказывания последовательностей данных (или их классификации в зависимости от поставленных задач). В Ваших целях явно прослеживается задача по генерации, но не предсказывании.

Лирическое отступление

Если вспомнить о нашумевших генераторах изображений, таких как Stable Diffusion или нововышедшей SORA (генератор видео), то они по большей части основаны на подходе Unet (закаленная в боях архитектура, которая победила в соревнованиях по сегментации медицинских снимков на kaggle и начала набирать популярность) в ее основе заложен главный принцип работы этих генераторов. Изображения кодируются признаками (визуальными патчами), которые затем декодируются обратно в изображение. Так вот всем чем они отличаются это тем, что происходит со скрытым пространством, как раз этими визуальными патчами в процессе обучения.

Генераторы разделены на две составные части, одна из которых генерирует, а вторая проверяет насколько данные соотносятся с действительными (обучающей выборкой). Та вторая часть обычно представляет из себя стандартный кодировщик-классификатор. Шум, который генерируется после каждой иттерации генератором все больше начинает походить на наше изображение, за счет уменьшения ошибки (обычный loss по типу кроссэнтропии).

В сложных архитектурах (Stable Diffusion), где есть текстовые подсказки для генерации замешивают в скрытое пространство шума дополнительно кодированный текст (NLP). Или используют другие техники, например, механизмы внимания, генерация не чисто шума, а добавление в шума в обучающее изображение (диффузия) с обучением сети очищать этот шум (что-то вроде Auto-Encoder подхода).

GAN можно, конечно, использовать не в контексте изображений, а в контексте любых числовых данных (в этом и прелесть нейронных сетей).

Что я предлагаю

Все же для такой ситуации было бы уместно начать с GAN-архитектур по части генерации координат, которые будут конвертироваться в удобный Вам формат (vmd MMD).

То есть генерируете тензор шума с помощью генератора. Затем кодируете шум с помощью слоев свертки (CNN), получая таким образом скрытое пространство движений Вашей модели (девушки). По пути кодируете ваши мел-спектограммы, извлекая из них патчи, которые замешиваете с Вашим шумом в процессе обучения, таким образом Вы учтёте аудио-составляющую (какие-то признаки связанные с ритмом, который влияет на то, какое движение будет у модели. После чего оцениваете сгенерированные данные с помощью второй части енкодера-классификатора на соответствие тому танцу, который Вы заготовили в качестве примера (все тот же файл mvd с координатами движений). Можно добавить механизмы внимания, чтобы была запоминающая составляющая. Так же можно не генерировать шум с нуля, а брать ваши обучающие координаты и добавлять в них шум.

В любом случае что бы Вы не предприняли для решения такой специфической задачи, Вам потребуется большое/большее количество данных (и я сейчас имею в виду не растягивание Ваших данных, а увеличения разнообразия, то есть больше видов танцев, аудио-сопровождения), так как все эти подходы очень прожорливы. Посмотрите набор данных AIST++