Нейронная сеть с радиальными базисными функциями

Аппроксимация функций (моделирование) с помощью нейронных сетей (персептронов)

U y

-3 0,4 (25)

2 0,8

Пусть нейронная сеть должна иметь один вход, выходной слой, состоящий из одного нейрона, и не должна включать скрытых нейронов (рис. 9).

Рис. 9

Чтобы пример был более интересным, выберем для этого нейрона нелинейную активационную функцию, а именно сигмоидную (логистическую) функцию. Выход сети тогда будет иметь вид

. (26)

Критерий качества равен

. (27)

С помощью MATLAB/NNET мы можем построить поверхность критерия качества (рис. 10). Инструмент NNET не принимает во внимание коэффициент 1/2 в (27). В процессе обучения веса настраиваются так, чтобы значение критерия качества убывало в соответствии с градиентом. Графическое изображение линий равных значений качества (контур качества) показывает, как перемещается сеть из начальной точки в точку, соответствующую конечному решению. Заметим, что сеть выбирает более или менее крутой спуск.

Значение критерия качества, полученное за каждую эпоху, сохраняется в памяти компьютера, и как оно изменяется в зависимости от номера эпохи показано на рис. 11. Значение критерия качества уменьшается в процессе обучения и обучение прерывается после 70 эпох, когда значение критерия становится меньше предварительно установленного уровня. В этой точке

Рис. 10

значения весов равны .

Рис. 11

Рис. 11

Рассмотрим задачу реализации нелинейных алгебраических зависимостей нейронными сетями. Приведенный выше персептрон может аппроксимировать произвольную гладкую функцию. В качестве примера запишем выходной сигнал сети с одним выходом y и одним входом u, состоящей из одного скрытого слоя с двумя нелинейными нейронами и выходного слоя из одного линейного нейрона (с линейной активационной функцией)

. (28)

Внутренние входы v₁ и v₂ скрытых нейронов определяются выражениями

. (29)

Пусть функция активации f (v) скрытых нейронов является функцией tangh(v) (гиперболический тангенс). При этом график зависимости y=g(u) принайденных в результатеобучения значениях весовых коэффициентов w⁰ , w^h и смещений b^h можно построить, как показано на рис. 8. Здесь =, = - ,==1.

Рис. 8

Изменяя веса и смещения в соответствии с обучающей выборкой,

получаем гладкую кривую, аппроксимирующую вход нейронной сети.

Эффективность использования нейронных сетей устанавливается

теоремой о полноте. Смысл этой теоремы в том (Cybenko, 1989), что

персептрон, по меньшей мере, с одним скрытым слоем, способен

аппроксимировать любую непрерывную функцию с

произвольной степенью точности при условии выбора достаточного числа

нейронов скрытого слоя.

Нейронные сети с радиальными базисными (активационными) функциями (РБФ сети) обеспечивают альтернативный подход в противоположность популярному многослойному персептрону. Подобно другим архитектурам нейронных сетей РБФ сети являются универсальными аппроксиматорами.

Дата добавления: 2014-01-07