Лекция 13. НС. Функции активации

В общем случае входной сигнал, весовые коэффициенты и значения смещения могут принимать вещественные значения. Выход определяется видом функции акитивации и может быть как действительным, так и целым.

Синаптические веса с положительными весами называют возбуждающими, с отрицательными – тормозящими.

Нейрон преобразует полученный суммарный импульс в соответствии с некоторой передаточной функцией . Таким образом, нейрон полностью описывается своими весами и передаточной функцией . Получив набор чисел (вектор) в качестве входов, нейрон выдает некоторое число y на выходе.

На входной сигнал нелинейный преобразователь отвечает выходным сигналом , который представляет собой выход нейрона Примеры активационных функций представлены в табл.1 и на рис.23.

Рис. 23.Примеры активационных функций: а – пороговая; б – полулинейная с насыщением; в – сигмоид (логистическая); г сигмоид (гиперболический тангенс)

Табл.1

Название	Формула	Область значений
Порогоговая		(0,1)
Знаковая		(-1,1)
Сигмоидальная (логистическая)		(0,1)
Полулинейная
Линейная
Радиальная базисная (гауссова)		(0,1)
Полулинейная с насыщением		(0,1)
Линейная с насыщением		(-1,1)
Гиперболический тангенс (сигмоидальная)		(-1,1)
Треугольная		(0,1)

Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид:

Одно из ценных свойств сигмоидальной функции – простое выражение для ее производной:

,

которое используется в некоторых алгоритмах обучения.

Классификация нейронных сетей. Как работает нейросеть

Искусственная нейронная сеть (ИНС) - это набор нейронов, соединенных между собой. Как правило, передаточные функции всех нейронов в сети фиксированы, а веса являются параметрами сети и могут изменяться. Некоторые входы нейронов помечены как внешние входы сети, а некоторые выходы - как внешние выходы сети. Подавая любые числа на входы сети, мы получаем какой-то набор чисел на выходах сети. Таким образом, работа нейросети состоит в преобразовании входного вектора в выходной вектор , причем это преобразование задается весами сети.

Нейронные сети различают по структуре сети (связей между нейронами), особенностям модели нейрона, особенностям обучения сети. По структуре нейронные сети можно разделить (рис.24) на неполносвязные (или слоистые) и полносвязные, со случайными и регулярными связями, с симметричными и несимметричными связями.

Рис.24. Архитектуры нейронных сетей: а – полносвязная сеть; б – многослойная сеть с последовательными связями; в – слабосвязные сети

Неполносвязные нейронные сети (описываемые неполносвязным ориентированным графом и обычно называемые персептронами), подразделяются на однослойные (простейшие персептроны) и многослойные, с прямыми, перекрестными и обратными связями. Классическим вариантом слоистых сетей являются сети прямого распространения (рис.25).

В нейронных сетях с прямыми связями нейроны j -ого слоя по входам могут соединяться только с нейронами i-ых слоев, где j > i, т.е. с нейронами нижележащих слоев. В нейронных сетях с перекрестными связями допускаются связи внутри одного слоя, т.е. выше приведенное неравенство заменяется на j > = i В нейронных сетях с обратными связями используются и связи j -ого слоя по входам с i -ым при j < i. Кроме того, по виду связей различают персептроны с регулярными и случайными связями.

Рис.25. Многослойная (двухслойная) сеть прямого распространения

По способу подачи информации на входы нейронной сети различают:

· подачу сигналов на синапсы входных нейронов;

· подачу сигналов на выходы входных нейронов;

· подачу сигналов в виде весов синапсов входных нейронов;

· аддитивную подачу на синапсы входных нейронов.

По способу съема информации с выходов нейронной сети различают:

· съем с выходов выходных нейронов;

· съем с синапсов выходных нейронов;

· съем в виде значений весов синапсов выходных нейронов;

· аддитивный съем с синапсов выходных нейронов.

Пo организации обучения разделяют обучение нейронных сетей с учителем (supervised neural networks) и без учителя (nonsupervised). При обучении с учителем предполагается, что есть внешняя среда, которая предоставляет обучающие примеры (значения входов и соответствующие им значения выходов) на этапе обучения или оценивает правильность функционирования нейронной сети и в соответствии со своими критериями меняет состояние нейронной сети или поощряет (наказывает) нейронную сеть, запуская тем самым механизм изменения ее состояния. Под состоянием нейронной сети, которое может изменяться, обычно понимается:

· веса синапсов нейронов (карта весов - map) (коннекционистский подход);

· веса синапсов и пороги нейронов (обычно в этом случае порог является более легко изменяемым параметром, чем веса синапсов);

· установление новых связей между нейронами (свойство биологических нейронов устанавливать новые связи и ликвидировать старые называется пластичностью).

По способу обучения разделяют обучение по входам и по выходам. При обучении по входам обучающий пример представляет собой только вектор входных сигналов, а при обучении по выходам в него входит и вектор выходных сигналов, соответствующий входному вектору.

По способу предъявления примеров различают предъявление одиночных примеров и "страницы" примеров. В первом случае изменение состояния нейронной сети (обучение) происходит после предъявления каждого примера. Во втором - после предъявления "страницы" (множества) примеров на основе анализа сразу их всех.

Дата добавления: 2014-01-07