Как настроить обучение нейронной сети?
Увлекся изучением нейронных сетей и наткнулся на вот эту статью(так же на других сайтах есть ее дубликаты). Я попытался повторить метод обучения который там описан. Сама нейросеть выдает правильные результаты, но я заметил что после ее обучения некоторые веса и нейроны смещения выходят за пределы 0 и 1, иногда очень существенно. Поискав в интернете что-то похожее, наткнулся на такое понятие как переобучение. Попробовал изменить количество эпох и скорость обучения, как результат нейросеть недообучилась. Подозреваю что параметры весов вообще не должны выходить за пределы 0 и 1, насчет нейронов смещения не уверен. Не могу понять, ошибка с математической стороны или со стороны реализации. Возможно есть другой пример, либо о чем-то не договорили в этой статье? Подскажите пожалуйста куда копать?
Повторял на c#, проблема с выходом значений за диапазон есть как в оригинале так и у меня.
Ответы (1 шт):
Во - первых, если бы реально веса были бы от 0 до 1(не учитывая bios - смещения), то это было бы безумно грустно. В вашей же статье как пример приводится вес связи с нейроном, равный 1. Совпадение?
Во - вторых, если даже было бы так, что веса действительно не могли бы быть больше 1, то если ответ верный, в чём проблема?
В - третьих, как можно заключить о недообучении, если сетка даёт хорошие результаты?
P.S. ПОЖАЛУЙСТА!!!! Изучите мат.часть.