Trainer в transformers на Python

Прогнал пять эпох, т.к. датасет маленький, модель обучилась плохо. Снова запустил trainer.train() и после первой эпохи на валидации все съехало. Переопределил датасеты, запускаю обучение, перестали метрики меняться, они тупо одинаковые до последнего знака после запятой. Получается надо сбрасывать ядро и сразу выставлять увеличенное количество эпох?