Скачки увеличения ошибки при обучении нейронной сети

При обучении сети ошибка может возрастать. На графике можно заметить, что она периодически подскакивает. Почему это происходит?