Обучение нейронной сети

Обучение нейронной сети можно разделить на несколько этапов:

· Сбор данных для обучения;

· Подготовка и нормализация данных;

· Выбор топологии сети;

· Экспериментальный подбор характеристик сети;

· Экспериментальный подбор параметров обучения;

· Собственно обучение;

· Проверка адекватности обучения;

А. Сбор данных для обучения

Выбор данных для обучения сети и их обработка является самым сложным этапом решения задачи. Набор данных для обучения должен удовлетворять нескольким критериям:

· Репрезентативность — соответствие характеристик выборки характеристикам популяции или генеральной совокупности в целом. Репрезентативность определяет, насколько возможно обобщать результаты исследования с привлечением определённой выборки на всю генеральную совокупность, из которой она была собрана.

· Непротиворечивость — противоречивые данные в обучающей выборке приведут к плохому качеству обучения сети.

Б. Подготовка и нормализация данных;

Исходные данные преобразуются к виду, в котором их можно подать на входы сети. Каждая запись в файле данных называется обучающей парой или обучающим вектором. Обучающий вектор содержит по одному значению на каждый вход сети и, в зависимости от типа обучения (с учителем или без), по одному значению для каждого выхода сети. Обучение сети на «сыром» наборе, как правило, не даёт качественных результатов. Существует ряд способов улучшить «восприятие» сети.

Нормировка выполняется, когда на различные входы подаются данные разной размерности. Например, на первый вход сети подаются величины со значениями от нуля до единицы, а на второй — от ста до тысячи. При отсутствии нормировки значения на втором входе будут всегда оказывать существенно большее влияние на выход сети, чем значения на первом входе. При нормировке размерности всех входных и выходных данных сводятся воедино.

При обучении нейронной сети в Matlab нормировка проводится автоматически.

В. Выбор топологии сети;

Выбирать тип сети следует, исходя из постановки задачи и имеющихся данных для обучения. Для простых задач достаточно будет нейронной сети прямого распространения, данная сеть представлена на рисунке 1.

Г. Экспериментальный подбор характеристик сети

После выбора общей структуры нужно экспериментально подобрать параметры сети. Для предложенной нейронной сети это будет выбор количество скрытых слоев, количество нейронном в каждом из них и выбор активационной функции нейронов в каждом скрытом слое и также в выходном. Обычно хватает 1 скрытого слоя с 10 нейронами в нем. Функции активации для нейронного скрытого слоя – сигмоидальная, а для выходных нейронов – линейная.

Для того, чтобы рассказать о функциях активации необходимо рассказать о принципе работы элементарного искусственного нейрона.

Искусственный нейрон имеет модель биологического нейрона. Нейрон имеет отростки: аксон и дендриты. Аксон – обычно единственный и длинный отросток, приспособлен для возбуждения следующих нейронов, является выходом данного нейрона. Дендриты – как правило, короткие и сильно разветвленные отростки, служащие связями с другими нейронами, является входами данной нейрона.

Реакцией нейрона является какая-либо нелинейная функция от суммы всех сигналов от других нейронов помноженные на коэффициент связи (вес). Схема элементарного нейрона показана на рисунке 2.

Рисунок 2. Схема элементарного нейрона.

Нелинейная функция нейрона называется функцией активации нейрона, они бывают разных видов: скачок (рис.3а), линейная функция (рис. 3б), гиперболический тангенс (рис.3в), сигмоидальная функция (рис. 3г) и др.

Рисунок 3. Функции активации нейрона.

Дата добавления: 2015-06-04