Конкурентное обучение

Лекция №6

Конкурентным обучением выходные нейроны нейронной сети конкурируют между собой за право быть активизированными, при этом в каждой момент времени может быть активным только один нейрон. Благодаря этому свойству конкурентное обучение эффективно применяется для изучения статистических свойств, которые используются в задачах классификации или кластеризации входных образов. Правило конкурентного обучения основано на трех элементах:

1.Множество одинаковых нейронов со случайно распределенными синоптическими весами, приводящими к различной реакции нейронов на один и тот же входной сигнал.

2. Предельные значения «силы» каждого нейрона.

3. Механизм, который позволяет нейронам конкурировать за право отклика на данное подмножество входных сигналов и определяет единственный активный выходной нейрон. Нейрон, победивший в этом соревновании, называется нейроном победителем, а принцип конкурентного обучения формулируется в виде побудитель все. Такой нейрон называется нейроном типа – WTA (Winner Tolces All).

Таким образом, каждый отдельный нейрон нейронной сети соответствует группе близких образов. В этом случаи нейроны являются детекторами признаков различным классов входных образов.

Рассмотрим нейронную сеть, слой выходных нейронов, каждый из которых соединен с входными нейронами, прямыми синоптическими возбуждающими связями. В такой сети могут существовать обратные связи между нейронами в этой архитектуре «рис.1» обратная связь обеспечивает латеральное торможение, когда каждый нейрон стремится затормозить связанные с ним нейроны

Для того чтобы нейрон «К» победил в конкурентной борьбе, его потенциал для заданного входного образа должен быть максимальным среди всех нейронов сети, в этом случае выходной сигнал нейрона победителя «K» принимается равным 1, а остальные проигравшие переходят в состояние 0. Таким образом можно записать , где потенциал представляет собой свободное возбуждение нейрона К от всех входных сигналов и сигналов обратной связи. Обозначим Wkj синоптический вес связи входного нейрона j c нейроном к.

для всех «k».

Тогда обучение нейрона к состоит в смещении синоптических весов от неактивных к активным входным нейронам.

Если нейрон к не формирует отклика на конкретный входной образ, то он и не обучается.

Когда некоторый нейрон выигрывает в конкурентной борьбе, веса связи этого нейрона равномерно распределяются между его активными входными нейронами, а связи с не активными входными нейронами ослабляются. Следствием такой конкуренции становится самоорганизация процесса обучения. Нейроны уточняют свои синоптические веса так, что при предъявлении группы близких по значениям входных векторов, победителем становится один и тот же нейрон.

Согласно правилу конкурентного обучения изменения дельта Wkj

;

Параметры скорости обучения значения которого выбирается из интервала (0,1). Это правило отображает смешение синоптического веса победившего нейрона Wk в сторону входного вектора. На функционирование нейрона победителя оказывает. Предполагает, что входные образы x имеют некоторую постоянную эвклидово-норму. Нормализация вектора выполняется по формуле; где (:= оператор присвоения). Рассмотрим иллюстрацию сущности конкурентного обучения.На (рис 2) в виде точек представляются входные точки, вероятные начальное состояние нейронной сети отмечено на (рис 2(а)) крестиками(синоптические веса). На (рис2 (б)) показано конечное состояние нейронной сети которое получено в результате конкурентного обучения, здесь синоптические веса, отмеченные крестиками каждого выходного нейрона смешены к центрам тяжести соответствующих кластеров. Для получения устойчивого решения этой задачи выходного образы должны формировать достаточно разрозненные группы векторов, в противном случаи в ответ на заданный входной образ будут формировать отклики от различным выходных нейронов и сеть может стать не устойчивой.

Дата добавления: 2014-01-06