Паралич сети

Если один из весов при обучении получает слишком большое значение, то при обычных значениях этого входа выход нейрона окажется в насыщении, т.е. будет близок к предельному значению функции активации. Выход нейрона будет мало зависеть от w, и поэтому производная ∂ E/∂w = 0. Обучение по этому весу будет очень медленным, т.к. изменение веса пропорционально производной. Выходной сигнал нейрона будет мало зависеть не только от веса, но и от входного сигнала x данного нейрона, а производная по x участвует в обратном распространении ошибки. Следовательно, предшествующие нейроны тоже будут обучаться медленно. Такое замедление обучения называется параличом сети.

Чтобы избежать паралича при обучении, можно предпринять следующие действия:

1. Уменьшить размер шага по W и Θ. При этом увеличится время обучения.

2. В области больших весов отказаться от зависимости , т.е. считать, что длина шага связана с модулем градиента.

3. Применять эвристические правила для ограничения роста весов. Эти правила пока не систематизированы, нет выкладок, оправдывающих тот или иной выбор ограничений.

Дата добавления: 2014-01-06