Виды функций активизации

Наиболее распространенные функции активизации представлены в таблице:

Название	Формула	Область значений
1.Пороговая	f(s)= 0,s<0 1,s>=0	0,1
2.Знаковая или сигнатурная	f(s)= 1,s>0 0,s<=0	-1,1
3.Сигмондальная (логистическая)	f(s)=1/(1+e^-as)	(0,1)
4.Полулинейная	f(s)= s,s>0 0,s<=0	0,∞
5.Линейная	f(s)=s	-∞, +∞
6.Сигмондальная (гиперболический тангенс)	f(s)=(e^s-e^-s)/ (e^s+e^-s)	(-1,1)
7.Треугольная	f(s)= 1-│s│,│s│<=1 0,│s│>1	(0,1)

Наиболее распространенной является сигмоидальная логистическая. При уменьшении а сигмоид становится более пологим в пределе при а=0, вырождаясь в горизонтальную линию на уровне 0,5. При увеличении а сигмоид приближается ко внешнему виду к функции единичного скачка с порогом в точке s=0. Важным свойством сигмоида является простое выражение для ее производной через саму функцию f”(s)=a∙f(s)∙[1-f(s)].

Другим важным свойством сигмоиды является то, что она усваивает слабые сигналы лучше, чем большие и предотвращает насыщение от больших сигналов.

На выходе к-s

Искусственно нейронная сеть – набор нейронов, соединенных между собой. Как правило, все активированные функции всех нейронов сети фиксированы, а веса являются параметрами сети и могут изменяться. Отсюда понятно, что обучить нейронную сеть – значит, подобрать веса сигналов так, чтобы сеть давала ответ на вопрос с минимальной ошибкой. Некоторые входы нейронов помечаются как внешние входы, а некоторые выходы – как внешние выходы сети, мы получаем какой-то набор чисел на выходе сети.

Т.о., работа нейросети состоит из преобразования входного вектора Х в выходной вектор У. Причем это преобразование задается весами сети, т.к. обычно функция активации зафиксирована и нейроны между собой также зафиксированы еще в момент построения самой сети.

Практически любую задачу можно свести к задаче, решаемой нейросетью. Например, задачу распознавания букв. Эта задача в обычной постановке звучит так:

Дано: растровое черно-белое изображение буквы размером 30×30 пикселей. Надо определить какая это буква в алфавите из 33 букв.

Данная задача для нейросети формируется след. образом:

Дано: входной вектор из 900 двоичных символов (900=30×30)

Надо построить нейросеть, имеющую 900 входов и 33 выхода, которые помечены буквами. Таким образом, входной вектор Х имеет размерность 900, а выходной У – размерность 33.

При использовании нейросетевого имитатора NeuroPro будем получать некоторые числа. Их надо мысленно соотносить с соответствующей буквой.

Для построения нейросети необходимо решить 2 вопроса: 1.выбор типа (архитектуры сети); 2.подбор весов (обучение нейросети). На 1-м этапе следует определить: - какие нейроны мы хотим использовать (определить число входов, передаточные функции); - каким образом следует соединить их между собой; - что взять в качестве входов и выходов сети.

Данная задача является сложной, если ее делать с нуля. Однако в настоящее время существует несколько десятков различных нейросетевых архитектур, эффективность многих из которых доказана математически. Наиболее популярны такие архитектуры как многослойный персентрон, нейросеть с общей регрессией, сети Кохонена и др. Поэтому следует взять известную архитектуру и использовать ее.

На втором этапе следует «обучить» выбранную сеть, т.е. так подобрать веса синапсов, чтобы сеть работала нужным образом. Необученная нейросеть подобна ребенку и обучить ее можно чему угодно - распознавать цифры, вычислять математические определители, делать прогнозы и т.д.

Для многих архитектур разработаны специальные алгоритмы, позволяющие настраивать веса нужным образом.

Дата добавления: 2015-06-27