Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Алгоритм обратного распространения ошибки




Читайте также:
  1. Rete-алгоритм
  2. Адаптивні алгоритми маршрутизації.
  3. Алгоритм
  4. Алгоритм 1. Сортировка выбором.
  5. Алгоритм 2. Сортировка простым включением.
  6. Алгоритм LZ77
  7. Алгоритм LZW
  8. Алгоритм RSA.
  9. АЛГОРИТМ АНАЛИЗА УЧИТЕЛЕМ ПРОВЕДЕННОГО УРОКА
  10. Алгоритм Брезенхема
  11. Алгоритм Брезенхема
  12. Алгоритм Брезенхема растрової дискретизації відрізка

Память нейронной сети содержится в значениях ее синоптических весов, во время обучения нейросети эти значения непрерывно изменяются обучающим алгоритмом, пока не будет удовлетворен заранее установленный критерий. Другими словами, процесс обучения нейронной сети - это процесс модификации синоптических коэффициентов так, чтобы отображение которое реализует нейросеть в ходе данного процесса стремилось к желаемому отображению. В данном случае одним из самых распространенных алгоритмов обучения с учителем является алгоритм обратного распространения ошибки. Данный алгоритм основывается на коррекции ошибок. Синоптические веса настраиваются с целью максимального приближения выходного сигнала нейросети к желаемому в статистическом смысле. При прямом проходе входной вектор подается на сенсорные узлы сети затем распространяется по нейросети от слоя к слою, этот сигнал называется функциональным. В результате генерируются набор выходных сигналов - фактическая реакция сети на данный входной образ. Во время прямого прохода все синоптические веса нейросети являются фиксированными. Во время обратного прохода все синоптические веса настраиваются в соответствии с правилом коррекции ошибок т.е фактический выход сети вычитается из целевого отклика и формируется сигнал ошибки. Поэтому данный алгоритм называется алгоритмом обратного распространения ошибки.

Геометрическая интерпретация алгоритма обратного распространения ошибки.

В алгоритме обратного распространения ошибки, вычисляется вектор градиента поверхности невязок этот вектор указывает направление кратчайшего спуска по поверхности из данной точки. Поэтому если мы будем продвигаться вдоль этого направления, то ошибка будет уменьшаться. Последовательность таких шагов приведет к локальному минимуму либо к глобальному минимуму. Достижение глобального минимума называется сходимостью процесса обучения. Ключевыми проблемами здесь являются:

1. выбор начального приближения для синоптических весов.

2. выбор величины шага.

При большой величине шага сходимость будет более быстрой, но имеется опасность проскочить глобальный минимум, либо если поверхность ошибок имеет сложную структуру уйти в неправильном направлении. Классический. пример этого - ситуация когда алгоритм очень медленно продвигается по узкому оврагу с крутыми склонами прыгая с одной его стороны на другую. При маленьком шаге - наоборот, будет выбрано верное направление, но скорость сходимости алгоритма будет низка - потребуется очень много итераций. Кроме того при этом увеличивается вероятность попасть в локальный минимум а не в глобальный.





Дата добавления: 2014-01-06; Просмотров: 110; Нарушение авторских прав?;


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



ПОИСК ПО САЙТУ:


Читайте также:



studopedia.su - Студопедия (2013 - 2018) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление ip: 23.20.223.212
Генерация страницы за: 0.002 сек.