Архитектура связей

Типы обучения нейросети

Таблица 1. Сравнение режимов обучения нейросетей

Вид обучения:	С "учителем"	С "подкреплением"	Без "учителя"
Что подается в качестве обучающих примеров	Набор пар входов-выходов	Оценка выходов сети	Только набор входных значений
Что требуется от сети	Найти функцию, обобщающую примеры, в случае дискретных - классифицировать входы. В целом – научиться реагировать схожим образом в схожих ситуациях.	Научиться заданной “правильной” линии поведения.	Найти закономерности в массиве данных, отыскать порождающую данные функцию распределения, найти более компактное описание данных.

Способ обучения, при котором действительный выход нейросети сравнивают с эталонным, называют обучением с учителем. Сеть обучается на наборе примеров (пар входов-выходов).

Иногда выходная информация известна не полностью. Например, вместо эталонных ответов известно лишь хуже или лучше данная конфигурация сети справляется с задачей (вспомним детскую игру “холоднее-горячее”). Этот тип обучения называют обучением с подкреплением (reinforcement learning).

Вообще говоря, возможен и такой режим обучения, когда желаемые значения выходов вообще неизвестны, и сеть обучается только на наборе входных данных:

Такой режим обучения сети называют обучением без учителя. В этом случае сети предлагается самой найти скрытые закономерности в массиве данных. Так, избыточность данных допускает сжатие информации, и сеть можно научить находить наиболее компактное представление таких данных, т.е. произвести оптимальное кодирование данного вида входной информации.

На способ обработки информации решающим образом сказывается наличие или отсутствие в сети петель обратных связей. Если обратные связи между нейронами отсутствуют (т.е. сеть имеет структуру последовательных слоев, где каждый нейрон получает информацию только с предыдущих слоев), обработка информации в сети однонаправлена. Входной сигнал обрабатывается последовательностью слоев, и ответ получается через число тактов, равное числу слоев.

Наличие же обратных связей может сделать динамику нейросети (называемой в этом случае рекуррентной) непредсказуемой. В принципе, сеть может "зациклиться" и не выдать ответа никогда. Вообще говоря, то, что нейроны в рекуррентных сетях помногу раз принимают участие в обработке информации, позволяет таким сетям производить более разнообразную и глубокую обработку информации. Но в этом случае следует принимать специальные меры к тому, чтобы сеть не зацикливалась (например, использовать симметричные связи, как в сети Хопфилда, или принудительно ограничивать число итераций).

Таблица 2. Сравнение архитектур связей нейросетей

Сравнение сетей:	Без обратных связей (многослойные)	С обратными связями
Преимущества	Простота реализации. Гарантированное получение ответа после прохождения данных по слоям.	Минимизация размеров сети - нейроны многократно участвуют в обработке данных. Меньший объем сети облегчает процесс обучения.
Недостатки	Требуется большее число нейронов для алгоритмов одного и того же уровня сложности. Следствие - большая сложность обучения.	Требуются специальные условия, гарантирующие сходимость вычислений.

Дата добавления: 2014-01-11