Функционирование нейронной сети Хемминга

Сеть MAXNET.

Нейронная сеть Хемминга.

Лекция 16 03.05.12

Нейронная сеть Хемминга была предложена Липпманном. Она является рекуррентной структурой, которую можно считать развитием нейронной сети Хопфилда.

Эта сеть позиционируется как специализированное запоминающее устройство.

рис 1

x1

x2

y1

y2

обратная связь

Архитектура сети Хемминга

Из рисунка (1) видно, что сеть Хемминга состоит из двух слоёв, 1 и 2 слои имеют по m – нейронов, где m – число образов.

Нейроны 1-го слоя имеют по n - синапсов соединённых с входами сети, которые образуют фиктивный нулевой слой. Первый слой сети Хемминга имеет однонаправленное распространение сигналов от входа к выходу. Кроме того, этот слой имеет фиксированное значение весов.

Нейроны 2- го слоя связаны между собой ингибиторными, то есть отрицательными обратными синоптическими связями. В отличии от структуры Хопфилда, единственный синапс с положительной обратной связью, для каждого нейрона, соединён с его же аксоном. 2 слой, это слой – MAXNET.

Нейронная сеть MAXNET (находит нейрон победитель) - это конкурентная нейронная сеть. Она может применяться для нахождения нейрона сети, ввод которого оказывается максимальным. Каждый нейрон соединяется с самим собой, а так же со всеми другими нейронами, двунаправленными взвешенными связями, по принципу каждый с каждым.

Значения всех весовых коэффициентов устанавливаются между собой, кроме веса автосвязи, который равен 1.

(1)

где

n – Количество нейронов сети

Значение активности нейрона устанавливается равным вводу, если ввод оказывается больше 0. В противном случае значение активности равно 0.

Нейрон получает взвешенный сигнал, от всех других нейронов и от самого себя. Он не изменяет свою активность до завершения итерации. Обновляются все нейроны, при этом обновление происходит до тех пор, пока останется не более одного нейрона с ненулевой активностью, таким образом, нейроны функционируют в режиме WTA. В этом режиме, в каждой фиксированной ситуации, активизируется только один нейрон, а остальные нейроны прибывают в состоянии покоя.

Основная идея функционирования сети Хемминга, состоит в минимизации расстояния Хемминга (см. Лекция 15), между тестовым вектором, подаваемым на вход нейросети и векторами обучающих выборок, которые закодированы в структуре сети.

Сеть Хемминга, по сравнению с сетью Хопфилда, характеризуется меньшими затратами на память и меньшим объёмом вычислений.

Процесс функционирования сети Хемминга состоит из 3 фаз:

Фаза 1: На вход сети Хемминга подаётся вектор, после предъявления этого вектора на выходах нейронов первого слоя, генерируются сигналы, которые задают начальные состояния нейронов 2 слоя.

Фаза 2: Инициировавшие 2 слой сигналы, удаляются. При этом, из сформированного ими начального состояния, запускается итерационный процесс внутри слоя MAXNET. Итерационный процесс завершается, когда все нейроны перейдут в нулевое состояние, кроме одного нейрона победителя, имеющего выходной сигнал = 1.

Нейрон победитель, с не нулевым сигналом, становится представителем класса данных, к которому принадлежит входной вектор

Фаза 3: Тот же нейрон победитель формирует на выходе нейронной сети, отклик в виде вектора, который соответствует возбуждающему вектору. Сеть должна выбрать образ с минимальным расстоянием Хемминга, до неизвестного входного сигнала, в результате чего будет активирован всего один выход сети соответствующий этому образу.

Следует отметить, что достоинство нейронной сети Хемминга, считается небольшое число связей между нейронами.

Пример:

100-входовая (n=100, x от 1 до 100) сеть Хопфилда, которая кодирует 10 различных векторных классов, должна содержать 10000 (W) взвешенных связей с настраиваемыми значениями весов. При построении аналогичной сети Хемминга, кол-во взвешенных связей = 1100, то есть 1000 весов находится в 1 слое, и 100 в слое MAXNET(во 2 слое).

Нейронные сети Хопфилда и Хемминга позволяют эффективно решить задачу воссоздания образов по неполной и искаженной информации. Однако они имеют невысокую ёмкость, то есть число запоминаемых образов. Это объясняется тем, что данные сети не просто запоминают образы, а позволяют проводить их обобщение.

Кроме программной реализации сетей Хопфилда и Хемминга, существуют аппаратурные реализации, на основе стандартных элементов микроэлектронной технологии.

Лёгкость построения программных и аппаратных моделей, способствует практическому применению этих нейронных сетей.

Дата добавления: 2014-01-11