Активационные функции

Активационная функция может быть обычной линейной функцией:

OUT = K (NET), (2)

где К- постоянная,

пороговой функцией:

OUT=1, если NET>T,

OUT=0 - в остальных случаях, (3)

где T- некоторая постоянная пороговая величина,

или же функцией, более точно моделирующей нелинейную передаточную характеристику биологического нейрона и представляющей нейронной сети большие возможности.

На рис. 2 блок, обозначенный F, принимает сигнал NET и выдает сигнал OUT. Если блок F сужает диапазон изменения величины NET так, что при любых значениях NET значения OUT принадлежат некоторому конечному интервалу, то F называется «сжимающей» функцией. В качестве «сжимающей» функции часто берется логистическая или «сигмоидальная» (S-образная) функция, показанная на рис. 3.

Рис. 3. Сигмоидальная логистическая функция.

Эта функция математически выражается как

F(x) = 1 / (1+e^-x) (4)

Таким образом,

OUT = 1 / (1+e^-NET) (5)

По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины OUT к вызвавшему его небольшому приращению величины NET. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным.

Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сходна с логистической функцией и часто применяется в качестве математической модели активации нервной клетки.

OUT = th (x) (6)

Рис. 4. Гиперболический тангенс OUT = th (NET).

Подобно логистической функции гиперболический тангенс является S-образной функцией, но он симметричен относительно начала координат, и в точке NET = 0 значение выходного сигнала OUT равно нулю (см. рис. 4). Гиперболический тангенс принимает значения разных знаков, что бывает выгодно для ряда сетей.

Рассмотренная простая модель искусственного нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает синхронизирующей функции биологического нейрона.

Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему.

Дата добавления: 2014-01-11