Многослойный персептрон

В настоящее время наиболее популярная нейросетевая архитектура - многослойная сеть прямого распространения. Она состоит из нескольких слоев: множество сенсорных элементов, которые образуют входной слой; одного или нескольких скрытых слоев и одного выходного слоя нейронов. С точки зрения топологии, нейронная сеть является полносвязной, это значит что каждый нейрон в любом слое сети, связан со всеми нейронами предыдущего слоя. Входной сигнал распространяется по нейронной сети в прямом направлении, при этом выходы нейронов предыдущего слоя, являются входами для нейронов последующего слоя. Такие сети, называются многослойными персептронами. Многослойные персептроны имеют три отличительных признака:

1. Каждый нейрон сети имеет нелинейную функцию активации, это нелинейная передаточная функции является гладкой, всюду дифференцируемой, в отличие от пороговой функции, которая используется в персептроне Розентбланта. Наиболее распространенная функция активации, это сигмоедальная определяемая логистической функции. Наличие нелинейности очень важно, т.к в противном случае отображение вход выход нейросети можно свести к обычному однослойному персептрону.

2. Нейронная сеть содержит один или несколько слоев скрытых нейронов, которые не являются частью входа или выхода сети. Скрытые нейроны позволяют нейросети обучаться сложным задачам, последовательно извлекая наиболее важные признаки из входного образа x.

3. Нейронная сеть имеет высокую степень связности. которая реализуется посредством. синоптических соединений.

Путем комбинации данных свойств наряду со способностью к обучению на собственном опыте, обеспечивается вычислительная мощность многослойного персептрона. Очень важным является определение наилучшей структуры нейросети. Нейронная сеть с двумя скрытыми слоями обладает лучшей способностью к обобщению., чем нейронная сеть с одним скрытым слоем. Однако в большинстве приложений достаточно нейросети с одним скрытым слоем. После определения числа скрытых слоев необходимо определить число нейронов в них, очень малое кол-во нейронов, приводит к недостаточной способности нейронной сети к обобщению. С другой стороны очень большое число скрытых нейронов, приводит к увеличению времени обучения и времени реакции (отклика) обученной сети. Имеются методы, которые позволяют определить число скрытых нейронов, одни из методов основаны на том, что скрытые нейроны добавляются во время обучения т.е идет наращивание нейронной сети, другие методы используют удаление скрытых нейронов в ходе процесса обучения т.е происходит редукция нейросети.

Дата добавления: 2014-01-06