Сравнение RBF-сетей и многослойных персептронов

Г

Лекция №12

RBF-сети и многослойные персептроны это не линейные сети прямого распространения. Оба типа сетей обучаются с учителем и являются универсальными апроксиматорами.

1. RBF-сети в свой базовой форме имеют один скрытый слой, а много слойный персептрон может иметь большее количество скрытых слоев. Поскольку RBF-сети моделируют произвольную не линейную функцию с помощью одного промежуточного слоя, они избавляют от необходимости решать вопрос о числе слоев НС.

2. В многослойном персептроне для скрытых слоев и выходного слоя используется одна и та же модель нейрона, в RBF-сети скрытого (шаблонного) слоя могут в корне отличатся от нейронов выходного слоя, и служить разным целям.

3. Скрытый слой с RBF-сети является не линейным, а выходной линейным. В многослойном персептроне который используется в качестве классификатора, скрытые и выходной слой являются не линейными. При использовании многослойного персептрона для решения задач регрессии в качестве выходных нейронов обычно выбираются линейные нейроны. Параметры линейной комбинации в выходном слое RBF-сети можно оптимизировать с применением известных методов линейной оптимизации, эти методы не испытывают трудности с локальными минимумами. Которые мешают при обучении многослойных персептронах с применением алгоритма обратного распространения ошибки. По этому RBF-сеть обучается на порядок быстрее, чем с использованием алгоритма обратного распространения ошибки.

4. Аргумент каждого скрытого нейрона RBF-сети представляет собой евклидову норму (расстояние между входным вектором и центром радиальной функции) Аргумент функции активации каждого скрытого нейрона многослойного персептрона – это скалярное произведение входного вектора и вектора синоптических весов данного нейрона.

5. Многослойный персептрон, в котором не нулевое значения сигмоидальной функции распространяется от некоторой точки в пространстве до бесконечности обеспечивает глобальную апросимакцию нелинейного отображения. RBF-сеть с помощью экспонициально уменьшающихся функции гаусса создает локальную апросимакцию не линейного отображения. Это означает, что при одинаковой точности вычислений для апросимакции с помощью многослойного персептрона может потребоваться меньше число параметров чем для RBF-сети.

6. При наличии в RBF-сетях только одного скрытого слоя а так же тесной связи активности нейрона соответствующей области пространства обучающих данных точка начала обучения оказывается ближе к оптимальному решению чем это имеет место при обучении многослойных персептронах.

7. RBF-сети по сравнению с многослойными персептронами получаются очень громоздкими при большой размерности входного вектора.

Дата добавления: 2014-01-06