Трудности с алгоритмом обучения персептрона

Дельта-правило

Важное обобщение алгоритма обучения персептрона, называемое дельта-правилом, переносит этот метод на непрерывные входы и выходы. Чтобы понять, как оно было получено, шаг 2 алгоритма обучения персептрона может быть сформулирован в обобщенной форме с помощью введения величины delta, которая равна разности между требуемым или целевым выходом T и реальным выходом Y

delta = (T - Y).

Случай, когда delta = 0, соответствует шагу 2a, когда выход правилен и в сети ничего не изменяется. Шаг 2b соответствует случаю delta > 0, а шаг 2c случаю delta < 0. В любом из этих случаев персептронный алгоритм обучения сохраняется, если delta умножается на величину каждого входа х_i и это произведение добавляется к соответствующему весу. С целью обобщения вводится коэффициент "скорости обучения" n), который умножается на delta х_i, что позволяет управлять средней величиной изменения весов. В алгебраической форме записи

D_i = n delta x_i,

w(n+1) = w(n) + D_i,

где D_i - коррекция, связанная с i-м входом х_i; w_i(n+1) - значение веса i после коррекции; w_i(n) -значение веса i до коррекции. Дельта-правило модифицирует веса в соответствии с требуемым и действительным значениями выхода каждой полярности как для непрерывных, так и для бинарных входов и выходов. Эти свойства открыли множество новых приложений.

Может оказаться затруднительным определить, выполнено ли условие разделимости для конкретного обучающего множества. Кроме того, во многих встречающихся на практике ситуациях входы часто меняются во времени и могут быть разделимы в один момент времени и неразделимы в другой. В доказательстве алгоритма обучения персептрона ничего не говорится также о том, сколько шагов требуется для обучения сети. Мало утешительного в знании того, что обучение закончится за конечное число шагов, если необходимое для этого время сравнимо с геологической эпохой. Кроме того, не доказано, что персептронный алгоритм обучения более быстр по сравнению с простым перебором всех возможных значений весов, и в некоторых случаях этот примитивный подход может оказаться лучше. На эти вопросы никогда не находилось удовлетворительного ответа, они относятся к природе обучающего материала. В различной форме они возникают в последующих главах, где рассматриваются другие сетевые парадигмы. Ответы для современных сетей, как правило, не более удовлетворительны, чем для персептрона. Эти проблемы являются важной областью современных исследований.

42. Обучение нейронной сети методом обратного распространения ошибки.

http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%B1%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B3%D0%BE_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8

http://www.gotai.net/documents/doc-nn-009-06.aspx

http://habrahabr.ru/post/154369/

http://www.aiportal.ru/articles/neural-networks/back-propagation.html

Дата добавления: 2014-01-04