Этапы обучения НС

Математические основы RBF – сети.

Для решения сложных задач классификации образов основная идея заключается в нелинейном преобразовании входных данных в пространстве более высокой размерности. Математическую основу составляет теорема Ковера.

Нелинейное преобразование сложной задачи классификации образов в пространство более высокой размерности повышает линейной разделимости образа. Она базируется на двух основных положениях:

1. Определение нелинейной скрытой функции _i X (фор 3)

2. Высокая размерность скрытого пространства по сравнении с размерностью скрытого пространства. Определяется числом скрытых нейронов L.

Процесс создания RBF – сети можно рассматривать как задачу аппроксимации кривой по точки пространстве высокой размерности. В соответствии с этим обучения эквивалентно обучению такой поверхности в пространстве, которая наиболее точно соответствует обучающим данным. Обучения RBF – сети происходит в 2 этапа:

1. Определяются центры и отклонения (сигма итое) для радиальных элементов

2. Оптимизируются параметры W_ij линейного выходного слоя.

Расположение центра должно соответствовать кластерам, которые реально присутствуют в исходных данных. Для этого часто используются 2 метода:

1. Выборка из выборки. В качестве центров радиальных элементов берутся несколько случайных точек из обучавшего множества. В силу случайного выбора они представляют распределения обучающих данных в статистическом смысле. Однако при малом числе радиальных элементов такое представление может быть не удовлетворительным.

2. Алгоритм К – средних. Данный алгоритм стремится выбрать оптимальное множества точек, которые являются центройдами кластеров в обучающих данных. При L большое радиальных элементов (нейронов) их центры располагаются так, что бы:

А) Каждая обучающая точка относилось к центру кластера, и лежали к нему ближе, чем к другому.

Б) Каждый центр кластера был центройдом множества обучающих точек относящихся к этому кластеру.

После того как найдены центры необходимо найти отклонения (сигма итое) величина отклонения называется так же сглаживающим фактором, она показывает, на сколько остр будет график функции гаусса.

Если графики функции гаусса будут очень широкими то Нс не будет воспринимать мелкие детали. Обычно отклонения (сигма итое) выбирается так, что колпак графика каждой функции гаусса. Методы:

1. Явный (мы сами задаем)

2. Изотропный(берется одинаковое отклонения для всех элементов. Определяется с учетом кол-ва элементов и объема открываемого пространства)

3. К – ближайших (отклонение каждого элемента индивидуально устанавливается элементом до К- ближайших соседей, при этом отклонения меньше где точки расположены густо, следовательно здесь будут хорошо учитываться детали, а где точек мало отклонения будут большими и будет производится интерполяция.)

После того как выбраны центры отклонения нужно оптимизировать параметры выходного слоя. Эти параметры модно оптимизировать параметры выходного слоя.

Дата добавления: 2014-01-06