Основные виды нейронных сетей

MLP-сети (Multilayer Perceptrons, от англ. многослойный персептрон) являются основой современного нейрокомпьютинга. Подавляющее большинство приложений связано именно с применением таких многослойных персептронов или для краткости просто персептронов (название происходит от английского perception – восприятие, т.к. первый образец такого рода машин предназначался как раз для моделирования зрения). Как правило, используются именно сети, состоящие из последовательных слоев нейронов. Простейшим устройством распознавания образов, принадлежащих к рассматриваемому классу сетей, является одиночный нейрон, превращающий входной вектор признаков в скалярный ответ, зависящий от линейной комбинации входных переменных.

Сеть типа радиальной базисной функции (РБФ) имеет промежуточный слой из радиальных элементов, каждый из которых воспроизводит гауссову поверхность отклика. Поскольку эти функции нелинейны, для моделирования произвольной функции нет необходимости брать более одного промежуточного слоя. Для моделирования любой функции необходимо взять достаточное число радиальных элементов, затем скомбинировать выходы скрытых радиальных элементов, чтобы получить из них выход сети. Сеть РБФ имеет выходной слой, состоящий из элементов с линейными функциями активации.

Особенностями сетей РБФ является то, что они используют двухэтапный процесс обучения, расстановка радиальных центров и их отклонений; существует оптимизация выходного слоя.

Классическая РБФ использует тождественную функцию активации на выходном слое, и в этом случае можно использовать линейную оптимизацию (псевдообратные, сингулярное разложение), которая быстрее по сравнению с обучением многослойного персептрона. Однако для задач классификации функция ошибки (кросс-энтропия) часто сочетается с нелинейной (логистической или софтмакс) функцией активации и используется более медленный метод сопряженных градиентов.

При организации ансамблей происходит повышение производительности, поскольку рассмотрение различных нейронных сетей позволяет уменьшить ожидаемую дисперсию. Если использовать более сложные модели (т.е. большие веса) с меньшим смещением, то итоговая дисперсия может быть удалена с помощью ансамбля. Ожидаемая производительность ансамбля будет аналогично средней производительности его членов.

Конструирование ИНС Кохонена заключается в построении отображения набора входных векторов высокой размерности на карту кластеров меньшей размерности, причем таким образом, что близким кластерам на карте отвечают близкие друг к другу входные векторы в исходном пространстве.

Самоорганизующаяся карта Кохонена (англ. Self-organizing map – SOM) – соревновательная нейронная сеть с обучением без учителя, выполняющая задачу кластеризации. Алгоритм обучения ИНС Кохонена изменяет центры на топологической карте, передвигая их ближе к центру кластеров в обучающей выборке. Во время обучения алгоритм выбирает элемент, чей центр находится ближе к обучающему наблюдению. Этот элемент и его окрестность после этого корректируются так, чтобы быть более похожими на обучающее наблюдение.

Обучение Кохонена является алгоритмом, размещающим центры кластеров радиального слоя посредством последовательной подачи на вход сети обучающих наблюдений и корректировки положения центра выигравшего (ближайшего) радиального элемента и соседних с ним в сторону обучающего наблюдения.

Окрестность отдельного элемента играет важную роль в алгоритме обучения Кохонена. Обновляя элементы, окружающие выигравший элемент, алгоритм Кохонена сопоставляет связанные данные непрерывной области на топологической карте. Во время обучения размер соседствующей области монотонно уменьшается, а вместе с ним уменьшается и скорость обучения. Таким образом, на ранних стадиях обучения получаются более грубые модели (с большими кластерами элементов). При дальнейшем обучении корректируются дополнительные детали (отдельные элементы внутри кластера соответствуют небольшим уровням дискриминации среди соответствующих наблюдений).

Каждый элемент в топологической карте представлен небольшим квадратом, в котором содержится маленький сплошной квадрат. Сплошной квадрат является визуализацией уровня активации элемента – нулевая активация (минимальное расстояние) соответствует максимально большому квадрату, который заполняет внешний квадрат. Малые сплошные квадраты обозначают большие уровни активации [10].

В процессе обучения сеть в определенном порядке просматривает обучающую выборку, порядок просмотра может быть последовательным, случайным и т.д., при этом один полный проход по выборкам называется эпохой обучения.

Топологическая карта представляет собой радиальный слой сети Кохонена, элементы которого располагаются на плоскости и обучаются таким образом, чтобы близкие кластеры данных соответствовали соседним элементам слоя. Она показывает, какие наблюдения отнесены к тому или иному кластеру и помогает пользователю правильно пометить элементы и наблюдения.

По мере работы алгоритма скорость обучения (которая определяет степень корректировки центров к обучающим наблюдениям) и размеры окрестности постепенно уменьшаются. Таким образом, на своих ранних стадиях алгоритм строит грубую топологическую карту, в которой определенным областям радиального слоя соответствуют близкие кластеры наблюдений. На последующих этапах топологическая карта уточняется, так что небольшим кластерам похожих наблюдений соответствуют отдельные элементы.

В результате обучения сеть организуется таким образом, что элементы, соответствующие центрам, расположенным близко друг от друга в пространстве входов, будут располагаться близко друг от друга и на топологической карте. Топологический слой сети можно представлять себе как двумерную решетку, которую нужно так отобразить в N-мерное пространство входов, чтобы по возможности сохранить исходную структуру данных. При любой попытке представить N-мерное пространство на плоскости будут потеряны многие детали; однако такой прием иногда полезен, так как он позволяет визуализировать данные, которые никаким иным способом понять невозможно.

Ширина и высота топологической карты определяются выходным слоем, который отображается в двух измерениях.

Отображение на топологической карте «Неизвестно» означает то, что введенное данное не относится ни к одному из имеющихся нейронов и создается новый нейрон на карте, описывающий это введенное данное.

Для вывода об относительной важности входных переменных для конкретной нейронной сети и при необходимости удалить входы с низкими показателями чувствительности необходим Анализ. Анализ чувствительности можно использовать с чисто информационными целями или чтобы произвести удаление входов.

Анализ чувствительности позволяет выделить ключевые переменные, без которых анализ невозможен, и идентифицировать те, которые можно без ущерба исключить из рассмотрения.

В общем случае входные переменные не являются независимыми. Анализ чувствительности располагает их в том порядке, который соответствует степени ухудшения качества модели при исключении из нее соответствующей переменной. При этом каждой переменной присваивается определенный рейтинг. Однако при наличии зависимостей между входными переменными одиночный рейтинг не всегда правильно отражает реальную ситуацию.

Низкий показатель чувствительности может быть присвоен переменной, которая является ключевой, и высокую чувствительность может иметь одна не очень существенная переменная по сравнению с комбинацией других переменных, которые в совокупности содержат важную информацию.

Некоторые взаимозависимые переменные могут быть полезны только тогда, когда они представлены в совокупности. Если такой набор включить в модель целиком, то для всех этих переменных будут получены высокие показатели чувствительности, что, тем не менее, не позволит выявить зависимости. Гораздо хуже, если в модель включена только часть набора зависимых переменных, при этом показатели чувствительности будут близки к нулю, как будто эти переменные не содержат никакой важной информации.

Анализ чувствительности не позволяет надежно определить «полезность» переменных в абсолютной шкале, и все выводы об их важности нужно делать с осторожностью. Тем не менее, эта процедура оказывается чрезвычайно полезной на практике. Если исследуется целый ряд моделей, то имеет смысл выделить ключевые переменные, которые всегда важны и имеют высокий показатель чувствительности, определить переменные с низкой чувствительностью и получить информацию о «сомнительных» переменных, которые меняют свой рейтинг и, возможно, содержат избыточную информацию.

Генетический алгоритм является алгоритмом поиска оптимальной битовой строки, который случайным образом выбирает начальную популяцию таких строк и затем подвергает их процессу искусственных мутаций, скрещивания и отбора по аналогии с естественным отбором.

Область применения генетических алгоритмов лежит в основе

решения разнообразных оптимизационных задач, возникающих в экономике, бизнесе, промышленности и других областях человечес-

кой деятельности [8].

В программе SNN генетический алгоритм применяется для обеспечения работы ИНС, целью которого является улучшение или анализ функционирования сети, а именно:

- для подбора параметров либо преобразования пространства параметров, использованных ИНС для классификации;

- для подбора правила обучения либо параметров, управляющих обучением ИНС;

- для анализа ИНС.

Алгоритм работы генетического алгоритма и ИНС выглядит следующим образом:

Задача à ИНС à Данные (наблюдения) à Генетический алгоритм à решение ИЛИ Задача à Генетический алгоритм à Данные (наблюдения) à ИНС à решение

Сеть для кластеризации состоит из множества векторов образцов, отмеченных классами (каждый вектор представлен радиальным нейроном). С помощью алгоритмов кластеризации, таких как К-Средних, векторы приписываются к центрам и затем отмечаются, используя ближайшие наблюдения. После отметки координаты центров могут быть точно откорректированы с помощью Обучающегося векторного квантователя. Метод К-Средних позволяет исключить дублирование динамичных наблюдений [9].

4. РЕКОМЕНДУЕМЫЕ ЛАБОРАТОРНЫЕ РАБОТЫ

Для изучения работы программного пакета SNN и выполнения практических заданий в пакете SNN введены дополнительные файлы Вентилятор.stw и Вуз.sta, представляющие собой общие таблицы с данными параметров и составляющие базу данных лабораторных работ № 1-6. Файл Вентилятор.stw содержит переменные «температура», «скорость вращения вентилятора», «класс».

Дата добавления: 2015-06-04