Принцип функционирования нейронных сетей

Нейронная сеть представляет собой совокупность нейронов, связанных между собой соответствующим образом.

Нейрон – преобразовательный элемент, имеющий некоторое количество входов (синапсов), на которые поступают входные сигналы х_i и один выход (аксон), с которого снимается выходной сигнал у. Каждый синапс имеет вес w_i, на который умножается входной сигнал x_i.

Структура нейрона представлена на рисунке 1. Внутри нейрона можно выделить блок суммирования, определяющий взвешенную сумму всех входных сигналов

и блок функции активации Y = F(U). Таким образом, нейрон функционирует за два такта: 1) суммирование входных сигналов и 2) вычисление Y по функции активации.

Функция активации должна удовлетворять двум условиям: 1) |F(U)| < 1 при любом U, 2) функция должна быть монотонной неубывающей.

Рисунок 1 – Структура нейрона

Наиболее часто в качестве функций активации используются следующие функции:

1) ступенчатая функция ;

2) сигмоидная функция (рисунок 2,а);

а) б)

Рисунок 2

3) гиперболический тангенс (рисунок 2,б);

4) гладкие сжимающие функции ,

где Q – порог (смещение), a - параметр, определяющий крутизну статической характеристики нейрона.

Нейроны образуют нейронные сети путем соединения синапсов с аксонами.

Наиболее распространенными и хорошо изученными являются трехслойные НС, состоящие из трех слоев нейронов: входного, скрытого и выходного (рисунок 3). Нейроны входного слоя имеют только по одному синапсу. Количество нейронов входного слоя соответствует количеству входных переменных сети Х. Задачей нейронов этого слоя является только распределение входных сигналов по нейронам скрытого слоя, суммирования и вычисления функции активации в них не происходит. Количество нейронов в скрытом слое может быть различным и часто подбирается экспериментально. Недостаточное или избыточное количество нейронов в скрытом слое приводит к ухудшению точности аппроксимации. Кроме того, избыточное количество усложняет сеть и уменьшает быстродействие. Нейроны выходного слоя формируют выходные сигналы, их количество соответствует количеству выходов Y. Пример НС с 3 входными, 4 скрытыми и 2 выходными нейронами приведен на рисунке 3. Такая НС для краткости обозначается как (3-4-2). Н_ij – нейроны.

Данные сети относятся к сетям прямого распространения, поскольку в них входные сигналы последовательно проходят через все нейроны и после преобразований напрямую подаются на выходы. Выходной сигнал y_ij каждого j-го нейрона в i-м слое определяется как

,

где n(i) – число нейронов в i-м слое.

Рисунок 3 – Нейронная сеть вида (3-4-2)

Выходные сигналы НС соответствуют , где N_out – число нейронов выходного слоя.

Наиболее популярный класс многослойных сетей прямого распространения образуют многослойные персептроны (MLP), в которых каждый вычислительный элемент использует пороговую или сигмоидальную функцию активации. Многослойный перцептрон может формировать сколь угодно сложные границы принятия решения и реализовывать произвольные булевы функции.

Сети, использующие радиальные базисные функции (RBF-сети), являются частным случаем двухслойной сети прямого распространения. Каждый элемент скрытого слоя использует в качестве активационной функции радиальную базисную функцию типа гауссовой. Радиальная базисная функция (функция ядра) центрируется в точке, которая определяется весовым вектором, связанным с нейроном. Каждый выходной элемент вычисляет линейную комбинацию этих радиальных базисных функций. С точки зрения задачи аппроксимации скрытые элементы формируют совокупность функций, которые образуют базисную систему для представления входных примеров в построенном на ней пространстве.

Дата добавления: 2014-11-06