Алгоритм нейронного газа

Лекция 14 26.04.12

Этапы алгоритма СОК.

Шаг 1: Инициализация

Для исходных векторов синоптических весов выбирается случайные значения.

Единственное требование здесь, это различие векторов для разных значений j = 1,2,3,….M, где М- это общее количество нейронов решётки.

При этом амплитуду значений рекомендуется сохранять малой.

Шаг 2: Подвыборка

Выбирается вектор из входного пространства с определённой вероятностью. Он представляет собой возбуждение, которое применяется к решётке нейронов. Размерность вектора

Шаг 3: Поиск максимального подобия.

На шаге k находится наиболее подходящий (победивший) нейрон i, применяя критерий минимума, Евклидово расстояние

; (14)

j = 1,2,3…M

Шаг 4: Коррекция

В соответствии с формулой (8), корректируются векторы синоптических весов всех нейронов.

(15)

где (этто) – параметр скорости обучения

- функция соседства

Оба этих параметра динамически изменяются в течении обучения с целью получения результата.

Шаг 5: Продолжение.

Возвращаемся к шагу 2, вычисления продолжаются до тех пор, пока на карте признаков не перестанут происходить заметные изменения.

Другим вариантом алгоритма WTM является алгоритм нейронного газа.

Его динамика подобна движению молекул газа.

Опишем этот алгоритм:

На каждой итерации «k» все нейроны сортируются в зависимости от их расстояния до вектора, где входной вектор.

Через обозначит удалённость i-го нейрона который занимает m- ю позицию в последовательности. Эта последовательность возглавляется нейроном победителем «i» при этом нейрон победитель имеет удалённость.

В результате сортировки нейроны размечаются в последовательности, которая соответствует возрастанию удалённости.

(1)

Значение функции соседства для j-го нейрона определяется формулой:

(2)

Где, m(j) – очередность, полученная в результате сортировки.

m(j) = 1,2,….,n-1

(сигма) – параметр, убывающий со временем, он аналогичен уровню соседства в алгоритме Коххонена. (см. пред. Лекцию).

Когда = 0, адаптации подвергается только нейрон победитель. В это случае алгоритм нейронного газа превращается в алгоритм WTA(победитель получает всё)

При, корректировки подлежат веса многих нейронов, при этом уровень уточнения зависит от функции

Чтобы достигнуть хороших результатов самоорганизации процесс обучения должен начинаться с большого значения параметра.

Уменьшения с течением времени может быть либо линейным, либо в соответствии с выражением:

(3)

где, - значение на «k» итерации.

(min и max) – принятые минимальная и максимальное значение сигма соответственно.
Максимально заданное кол-во итераций определяется коэффициентом

Коэффициент обучения j-го нейрона («этта»j(k)), тоже может изменяться либо, линейным способом или в соответствии с формулой:

(4)

где, «этта»j(0) – начальное значение коэффициента обучения.

«этта» (min) – априорно (заранее) заданное минимально значение соответствующее k=k(max).

При реализации алгоритма нейронного газа, можно применить определённое упрощение для сокращения объёма вычисления.

Это упрощение состоит в том, что при сортировке учитываются только нейроны, имеющие наиболее значимую величину функции

При этом, если в формуле (2), m(j)>>1(много больше 1), то значение функции = 0.

При сортировки нейронов а в последующем и при их адаптации можно ограничиться только первыми «K» нейронами, если положить(задать) K=3.

Алгоритм нейронного газа считается одним из наиболее эффективных средств самоорганизации нейронов в сети Кохонена.

Подбирая параметры управления процессом можно добиться хорошей организации нейронной сети, при этом скорость функционирования сети будет превышать достижимую скорость функционирования при применении классического алгоритма Кохонена.

Дата добавления: 2014-01-11