Слабосвязные (нейронные сети с локальными связями)

Многослойный персептрон

Алгоритмы обучения

Большинство современных алгоритмов обучения выросло из концепций Хэбба [2]. Им предложена модель обучения без учителя, в которой синаптическая сила (вес) возрастает, если активированны оба нейрона: источник и приемник. Таким образом, часто используемые пути в сети усиливаются и феномен привычки и обучения через повторение получает объяснение.

В искусственной нейронной сети, использующей обучение по Хэббу, наращивание весов определяется произведением уровней возбуждения передающего и принимающего нейронов. Это можно записать как

w _ij(n+1) = w (n) + αOUT_i OUT_j,

где w _ij(n) – значение веса от нейрона i к нейрону j до подстройки, w _ij(n+1) – значение веса от нейрона i к нейрону j после подстройки, α – коэффициент скорости обучения, OUT_i – выход нейрона i и вход нейрона j, OUT_j – выход нейрона j.

Алгоритмы обучения, как и вообще искусственные нейронные сети, могут быть представлены как в дифференциальной, так и в конечно-разностной форме. При использовании дифференциальных уравнений предполагают, что процессы непрерывны и осуществляются подобно большой аналоговой сети. Для биологической системы, рассматриваемой на микроскопическом уровне, это не так. Активационный уровень биологического нейрона определяется средней скоростью, с которой он посылает дискретные потенциальные импульсы по своему аксону. Средняя скорость обычно рассматривается как аналоговая величина. Если моделировать искусственную нейронную сеть на аналоговом компьютере, то весьма желательно использовать представление с помощью дифференциальных уравнений. Однако большинство работ выполняется на цифровых компьютерах, в силу чего предпочтение отдается конечно-разностной форме как наиболее легко программируемой.

Искусственные нейроны могут объединяться в сети различным образом. Чаще всего выделяется три основных типа:

- полносвязные сети (рис. 2а);

- многослойные или слоистые сети (рис. 2б);

Рис. 2. Архитектуры нейронных сетей: а – полносвязная сеть; б – многослойная сеть; в – слабосвязная сеть.

Дата добавления: 2014-01-06