Многослойный персептрон

НС прямого распространения сигмоидального типа.

Здесь речь пойдет об персепейтронах, понятие вот этого как первой модели возможности обучения вел в 1958 году Френк Розенблат.

Персептрон это однонаправленная Нс или сеть MLP. Состоит их нейроном сигмоидально типа, передача сигналов от исходного типа происходит от входа к выходу. Простейшей формой Нс которая предназначена для класиффикации линейно разделах сигналов когда образы разделяются некоторой гиперплоскостью является персептрон роземн-блата. Персепторон состоит из одного нейрона с синаптическими весами и порога.

При этом он формирует поверхность решений по форме гипер плоскости разделяющий эти два класса. Персейптрон построенный на одном нейроне(рис 2) выполняет задачу разделения только двух классов, каждый логичный уровень 1 или 0 будет обозначать отдельный класс. При увеличении размерности выходного размера персептрона включившего в него несколько нейронов можно решать задачи классификации на большее число классов. На двух выходах можно закодировать четыре класса. Примером нелинейной проблемы является проблема моделирования отношения хор(исключающее или) логическая функция хор при выводе дает 1 только тогда когда одно из выводимых значений дано 1 иначе 0. Покажем ограниченный возможности однослойных сетей на примере реализации двух-входовой. Не возможно провести единственную линию разделяющую пространство данных на два класса.

Лекция №10 05.04.12

Данное условие не может быть выполнено при применении для разделения пространства, единственной прямой. Независимо от параметров этой прямой. Следовательно, однослойный персептрон, не в состоянии реализовать однослойную функцию хор. Для первого нейрона будем иметь: V1=W11x1+W12x2+W10>0 и V1=W11x1+W12x2+W10<0 (формула 1) V2=W21x1+W22x2+W20>0 и V2=W21x1+W22x2+W20<0(формула 2) настройка синоптических весов 1 и 2 обеспечивает разделение пространства представленное на (рис.2) Добавим на выходе нейросети еще один нейрон, т.е выходной слой состоит из одного слоя, тем самым реализуется функция логического суммирования, которая выделяет общую часть подмножеств V1>0 V2>0 окончательная архитектура нейронной сети которая выполняет логическую функцию ХОР представлена на (рис.3)

В настоящее время наиболее популярная нейросетевая архитектура - многослойная сеть прямого распространения. Она состоит из нескольких слоев: множество сенсорных элементов, которые образуют входной слой; одного или нескольких скрытых слоев и одного выходного слоя нейронов. С точки зрения топологии, нейронная сеть является полносвязной, это значит что каждый нейрон в любом слое сети, связан со всеми нейронами предыдущего слоя. Входной сигнал распространяется по нейронной сети в прямом направлении, при этом выходы нейронов предыдущего слоя, являются входами для нейронов последующего слоя. Такие сети, называются многослойными персептронами. Многослойные персептроны имеют три отличительных признака:

1. Каждый нейрон сети имеет нелинейную функцию активации, это нелинейная передаточная функции является гладкой, всюду дифференцируемой, в отличие от пороговой функции, которая используется в персептроне Розентбланта. Наиболее распространенная функция активации, это сигмоедальная определяемая логистической функции. Наличие нелинейности очень важно, т.к в противном случае отображение вход выход нейросети можно свести к обычному однослойному персептрону.

2. Нейронная сеть содержит один или несколько слоев скрытых нейронов, которые не являются частью входа или выхода сети. Скрытые нейроны позволяют нейросети обучаться сложным задачам, последовательно извлекая наиболее важные признаки из входного образа x.

3. Нейронная сеть имеет высокую степень связности. которая реализуется посредством. синоптических соединений.

Путем комбинации данных свойств наряду со способностью к обучению на собственном опыте, обеспечивается вычислительная мощность многослойного персептрона. Очень важным является определение наилучшей структуры нейросети. Нейронная сеть с двумя скрытыми слоями обладает лучшей способностью к обобщению., чем нейронная сеть с одним скрытым слоем. Однако в большинстве приложений достаточно нейросети с одним скрытым слоем. После определения числа скрытых слоев необходимо определить число нейронов в них, очень малое кол-во нейронов, приводит к недостаточной способности нейронной сети к обобщению. С другой стороны очень большое число скрытых нейронов, приводит к увеличению времени обучения и времени реакции (отклика) обученной сети. Имеются методы, которые позволяют определить число скрытых нейронов, одни из методов основаны на том, что скрытые нейроны добавляются во время обучения т.е идет наращивание нейронной сети, другие методы используют удаление скрытых нейронов в ходе процесса обучения т.е происходит редукция нейросети.

Дата добавления: 2014-01-11