Сравнение RBF-сетей и многослойных персептронов

Г

Лекция №12

Этапы обучения НС.

Процесс создания RBF – сети можно рассматривать как задачу аппроксимации кривой по точки пространстве высокой размерности. В соответствии с этим обучения эквивалентно обучению такой поверхности в пространстве, которая наиболее точно соответствует обучающим данным. Обучения RBF – сети происходит в 2 этапа:

1. Определяются центры и отклонения (сигма итое) для радиальных элементов

2. Оптимизируются параметры W_ij линейного выходного слоя.

Расположение центра должно соответствовать кластерам, которые реально присутствуют в исходных данных. Для этого часто используются 2 метода:

1. Выборка из выборки. В качестве центров радиальных элементов берутся несколько случайных точек из обучавшего множества. В силу случайного выбора они представляют распределения обучающих данных в статистическом смысле. Однако при малом числе радиальных элементов такое представление может быть не удовлетворительным.

2. Алгоритм К – средних. Данный алгоритм стремится выбрать оптимальное множества точек, которые являются центройдами кластеров в обучающих данных. При L большое радиальных элементов (нейронов) их центры располагаются так, что бы:

А) Каждая обучающая точка относилось к центру кластера, и лежали к нему ближе, чем к другому.

Б) Каждый центр кластера был центройдом множества обучающих точек относящихся к этому кластеру.

После того как найдены центры необходимо найти отклонения (сигма итое) величина отклонения называется так же сглаживающим фактором, она показывает, на сколько остр будет график функции гаусса.

Функция Гауса

Если графики функции гаусса будут очень широкими то Нс не будет воспринимать мелкие детали. Обычно отклонения (сигма итое) выбирается так, что колпак графика каждой функции гаусса. Методы:

1. Явный (мы сами задаем)

2. Изотропный(берется одинаковое отклонения для всех элементов. Определяется с учетом кол-ва элементов и объема открываемого пространства)

3. К – ближайших (отклонение каждого элемента индивидуально устанавливается элементом до К- ближайших соседей, при этом отклонения меньше где точки расположены густо, следовательно здесь будут хорошо учитываться детали, а где точек мало отклонения будут большими и будет производится интерполяция.)

После того как выбраны центры отклонения нужно оптимизировать параметры выходного слоя. Эти параметры модно оптимизировать параметры выходного слоя.

RBF-сети и многослойные персептроны это не линейные сети прямого распространения. Оба типа сетей обучаются с учителем и являются универсальными апроксиматорами.

1. RBF-сети в свой базовой форме имеют один скрытый слой, а много слойный персептрон может иметь большее количество скрытых слоев. Поскольку RBF-сети моделируют произвольную не линейную функцию с помощью одного промежуточного слоя, они избавляют от необходимости решать вопрос о числе слоев НС.

2. В многослойном персептроне для скрытых слоев и выходного слоя используется одна и та же модель нейрона, в RBF-сети скрытого (шаблонного) слоя могут в корне отличатся от нейронов выходного слоя, и служить разным целям.

3. Скрытый слой с RBF-сети является не линейным, а выходной линейным. В многослойном персептроне который используется в качестве классификатора, скрытые и выходной слой являются не линейными. При использовании многослойного персептрона для решения задач регрессии в качестве выходных нейронов обычно выбираются линейные нейроны. Параметры линейной комбинации в выходном слое RBF-сети можно оптимизировать с применением известных методов линейной оптимизации, эти методы не испытывают трудности с локальными минимумами. Которые мешают при обучении многослойных персептронах с применением алгоритма обратного распространения ошибки. По этому RBF-сеть обучается на порядок быстрее, чем с использованием алгоритма обратного распространения ошибки.

4. Аргумент каждого скрытого нейрона RBF-сети представляет собой евклидову норму (расстояние между входным вектором и центром радиальной функции) Аргумент функции активации каждого скрытого нейрона многослойного персептрона – это скалярное произведение входного вектора и вектора синоптических весов данного нейрона.

5. Многослойный персептрон, в котором не нулевое значения сигмоидальной функции распространяется от некоторой точки в пространстве до бесконечности обеспечивает глобальную апросимакцию нелинейного отображения. RBF-сеть с помощью экспонициально уменьшающихся функции гаусса создает локальную апросимакцию не линейного отображения. Это означает, что при одинаковой точности вычислений для апросимакции с помощью многослойного персептрона может потребоваться меньше число параметров чем для RBF-сети.

6. При наличии в RBF-сетях только одного скрытого слоя а так же тесной связи активности нейрона соответствующей области пространства обучающих данных точка начала обучения оказывается ближе к оптимальному решению чем это имеет место при обучении многослойных персептронах.

7. RBF-сети по сравнению с многослойными персептронами получаются очень громоздкими при большой размерности входного вектора.

Дата добавления: 2014-01-11