Обучение Коши

Лекция 8.Обучение Коши. Метод искусственной теплоемкости. Комбинированный метод обратного распространения и обучения Коши.

В методе Коши при вычислении величины шага распределение Больцмана заменяется на распределение Коши. Распределение Коши имеет, как показано на рис. 22, более длинные «хвосты», увеличивая тем самым вероятность больших шагов. действительности распределение Коши имеет бесконечную (неопределенную) дисперсию. С помощью такого простого изменения максимальная скорость уменьшения температуры становится обратно пропорциональной линейной величине, а не логарифму, как для алгоритма обучения Больцмана. Это резко уменьшает время обучения. Эта связь может быть выражена следующим образом:

T(t) = To/(1 + t).

Распределение Коши имеет вид

P(x) = T(t)/[T(t)²+х²],

где Р(х) есть вероятность шага величины х.

Рис. 22. Распределение Коши и распределение Больцмана.

В уравнении Р(х) может быть проинтегрирована стандартными методами. Решая относительно х, получаем

Xc = r{T(t) tg[P(x)]},

где р - коэффициент скорости обучения; х - изменение веса.

Теперь применение метода Монте Карло становится очень простым. Для нахождения х в этом случае выбирается случайное число из равномерного распределения на открытом интервале (-p/2, p/2) (необходимо ограничить функцию тангенса). Оно подставляется в формулу в качестве Р(х), и с помощью текущей температуры вычисляется величина шага.

Дата добавления: 2014-01-11