Методы обучения РБФ сети

Несколько методов могут быть предложены для настройки параметров РБФ сети, когда она используется для аппроксимации функций. Эти методы могут быть распределены на четыре группы:

1. Центры базисных функций устанавливаются равномерно в пространстве входов.

2. Центры выбираются с помощью набора обучающих данных.

3. Центры выбираются с помощью алгоритмов кластеризации.

4. Центры рассматриваются как параметры в процедуре оптимизации.

При использовании первой технологии центры c_i располагают равномерно в области входов, так что центры образуют решетчатую структуру. Веса w_i настраиваются после того, как выбрано местоположение центров. Центры неявно фигурируют как свободные параметры при минимизации функции стоимости. Этот метод приводит к очень большому числу параметров (к параметризации), особенно тогда, когда имеет место большое число входов.

Центры могут быть выбраны непосредственно из примеров множества обучающих данных. Этот выбор может быть сделан совершенно случайно, но лучше использовать ортогональный метод наименьших квадратов. Основная идея этого метода выбирать центры итеративно один за другим из множества обучающих данных так, чтобы в результате минимизировать квадратичную функцию стоимости.

В третьем методе центры базисных функций находят путем кластеризации векторов обучающих данных. Используют как методы жесткой, так и нечеткой кластеризации. Расположение центров зависит от распределения векторов данных в пространстве входов. Веса w_i настраиваются после того, как выбрано местоположение центров. Этот метод прост, но не гарантирует в общем случае оптимального решения, т.к. расположение центров базируется на данных входа, а не на минимизации функции стоимости.

Все параметры РБФ-сети могут быть определены также путем минимизации функции стоимости E. При этом часто используется градиентный метод наискорейшего спуска. Рассмотрим этот метод.

Учитывая, что

,

(здесь есть координаты центра i -й базисной функции) находим

Для сети с одним выходным сигналом и линейным выходным слоем (n =1) y = f

имеем

.

Обновление центров

Генетические алгоритмы также могут быть применены как методы оценки параметров.

Дата добавления: 2014-01-07