Понятие и структура нейронных сетей

Системы искусственного интеллекта, основанные на нейронных сетях.

Лекция №4

Искусственные нейронные сети представляют собой устройства параллельных вычислений, состоящие из множества взаимодействующих простых процессоров. Такие процессоры обычно исключительно просты, особенно в сравнении с процессорами, используемыми в персональных компьютерах. Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам, и, тем не менее, будучи соединенными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.

Разработка искусственных нейронных сетей (НС) началась в начале ХХ века, но только в 90-х годах, когда вычислительные системы стали достаточно мощными, НС получили широкое распространение. Создание НС было вызвано попытками понять принципы работы человеческого мозга и, без сомнения, это будет влиять и на дальнейшее их развитие. Однако, в сравнении с человеческим мозгом НС сегодня представляют собой весьма упрощенную модель. Несмотря на это НС весьма успешно используются при решении самых различных задач. Например, программная реализация НС может использоваться для составления плана кредитных выплат для людей, обращающихся в банк за займом. Хотя решение на основе нейронных сетей может выглядеть и вести себя как обычное программное обеспечение, они различны в принципе, поскольку большинство реализаций на основе нейронных сетей «обучается», а «не программируется»: сеть учится выполнять задачу, а не программируется непосредственно. На самом деле НС используются тогда, когда невозможно написать подходящую программу, или по причине того найденной НС решение оказывается более совершенным. Например, эксперт по продаже недвижимости из своего опыта может знать, какие факторы влияют на продажную цену каждого конкретного дома, но при этом часто имеются такие особенности, которые будет весьма трудно объяснить программисту. Агентство по продаже недвижимости может пожелать иметь «предсказателя цен на основе НС», обученного на множестве примеров реальных продаж тому, какие факторы влияют на цену продаваемого объекта, и тому, какую относительную важность имеет каждый из этих факторов. Но здесь более важным оказывается то, что решение на основе НС является более гибким, поскольку соответствующая система может в дальнейшем совершенствовать точность предсказаний по мере накопления ею опыта и адаптироваться к происходящим на рынке изменениям.

Основные компоненты

НС представляет собой совокупность элементов, соединенных некоторым образом так, чтобы между ними обеспечивалось взаимодействие. Эти элементы, называемые также нейронами или узлами, представляют собой простые процессоры, вычислительные возможности которых обычно ограничиваются некоторым правилом комбинирования входных сигналов и правилом активизации, позволяющим вычислить выходной сигнал по совокупности входных сигналов. Выходной сигнал элемента может посылаться другим элементам по взвешенным связям, с каждой из которых связан весовой коэффициент или вес. В зависимости от значения весового коэффициента передаваемый сигнал или усиливается, или подавляется. Элемент нейронной сети, также называемый нейроном, схематически показан на рис. 1.

Рис. 1.

Структура связей отражает детали конструкции сети, а именно то, какие элементы соединены, в каком направлении работают соединения и каков уровень значимости (т.е. вес) каждого соединения. Задача, которую понимает связь описывается в терминах весовых значений связей, связывающих элементы. Структура связей обычно определяется в два этапа: сначала разработчик системы указывает, какие элементы должны быть связаны, и в каком направлении, а затем в процессе фазы обучения определяются значения соответствующих весовых коэффициентов.

Весовые коэффициенты можно определить и без проведения обучения, но как раз самое большое преимущество НС заключается в их способности обучаться выполнению задачи на основе тех данных, которые сеть будет получать в процессе реальной работы. Для многих приложений обучение является не только средством программирования сети, когда нет достаточных знаний о способе решения задачи, позволяющих выполнить программирование в традиционной форме, но часто единственной целью обучения является проверка того, что сеть действительно сможет научиться решать поставленные перед ней задачи.

Существует множество различных типов нейронных сетей,

Рис. 2. Варианты архитектур искусственных НС

Все рассматриваемые НС можно представить с помощью следующих абстракций

· Множество простых процессоров

· Структура связей

· Правило распространения сигналов в сети

· Правило комбинирования входящих сигналов

· Правило вычисления сигнала активности

· Правило обучения, корректирующее связи.

Множество простых процессоров.

С каждым процессором, (т.е. обрабатывающим элементом сети) связывается набор входящих связей, по которым к данному элементу поступают сигналы от других элементов сети, и набор исходящих связей, по которым сигналы данного элемента передаются другим элементам. Некоторые элементы предназначены для получения сигналов из внешней среды (и поэтому называются входными элементами), а некоторые – для вывода во внешнюю среду результатов вычислений (выходные элементы).

Структура связей.

Структура связей отражает то, как соединены элементы сети. В одной модели (т.е. для одного типа сети) каждый элемент может быть связан со всеми другими элементами сети, в другой модели элементы могут быть организованы в некоторой упорядоченной по уровням (слоям) иерархии, где связи допускаются только между элементами в смежных слоях, а в третьей – могут допускаться обратные связи между смежными слоями или внутри одного слоя, или же допускаться посылка сигналов элементами самим себе. Возможности здесь бесконечны, но обычно для каждой конкретной модели сети указывается тип допустимых связей. Каждая связь определяется тремя параметрами: элементами, от которого исходит данная связь, элементом, к которому данная связь направлена, и числом, указывающим весовой коэффициент. Отрицательное значение веса соответствует подавлению активности соответствующего элемента, а положительной значение – усилению его активности. Абсолютное значение весового коэффициента характеризует силу связи.

Структура связей обычно представляется в виде весовой матрицы W, в которой каждый элемент представляет величину весового коэффициента для связи, идущей от элемента i к элементу j. Для описания структуры связей может использоваться не одна, а несколько весовых матриц, если элементы сети оказываются сгруппированными в слои. На рис. 3 и 4 предлагаются примеры представления структуры связей в виде соответствующих матриц.

Рис. 3.

Рис. 4.

Правило распространения сигналов в сети.

а) правило комбинирования входящих сигналов

Довольно часто входящие сигналы элемента предполагается комбинировать путем суммирования их взвешенных значений. Пример этого метода суммирования показан на рис. 5, где обозначает результат комбинирования ввода элемента j, - выход элемента i, а n – число задействованных связей. Используются и другие формы комбинирования входящих сигналов, и другим часто встречающимся методом является рассмотрение квадрата разности между значением силы связи и значением передаваемого по связи сигнала с последующим суммированием таких разностей для всех входящих связей данного элемента.

Рис. 5.

или в векторном представлении

Правило вычисления сигнала активности.

Для всех элементов имеется правило вычисления выходного значения, которое предполагается передать другим элементам или во внешнюю среду. Это правило называют правилом активности, а соответствующее выходное значение называют активностью соответствующего элемента. Активность может представляться либо некоторым действительным значением произвольного вида, либо действительным значением из некоторого ограниченного интервала значений (например, из интервала [0,1]), или же некоторым значением из определенного дискретного набора значений (например, или ). На вход функции активности поступает значение комбинированного ввода данного элемента. Примеры функций активности приводятся ниже.

Тождественная функция.

Функция активности для входных элементов может быть тождественной функцией, и это просто означает, что значение (сигнал, посылаемый другим элементам) оказывается в точности равным комбинированному вводу (рис. 6). Входные элементы обычно предназначены для распределения вводимых сигналов между другими элементами сети, поэтому для входных элементов обычно требуется, чтобы исходящий от элемента сигнал был таким же, как и входной. В отличие от других элементов сети, входные элементы сети только по одному входному значению. Например, каждый входной элемент может получать сигнал от одного соответствующего ему датчика, размещенного на фюзеляже самолета. Один этот элемент связывается со многими другими элементами сети, так что данные, полученные от одного датчика, оказываются распределенными между многими элементами сети.

Рис. 6.

Пороговая функция.

Во многих моделях НС используются нелинейные функции активности. Пороговая функция ограничивает активность значениями 1 или 0 в зависимости от значения комбинированного ввода в сравнении с некоторой пороговой величиной (рис. 7).

Рис. 7. Пороговая функция

Чаще всего удобнее вычесть пороговое значение (называемое смещением или сдвигом) из значения комбинированного ввода и рассмотреть пороговую функцию в ее математически эквивалентной форме, показанной на рис. 8. Сдвиг в данном случае оказывается отрицательным, а значение комбинированного ввода вычисляется по формуле

Рис. 8.

Сдвиг обычно интерпретируется как связь. Исходящая от элемента активность которого всегда равна 1. комбинированный ввод в этом случае можно представить в виде

где х₀ всегда считается равным 1.

Сигмоидальная функция.

Наиболее часто используемой функцией активности является сигмоидальная функция. Выходные значения такой функции непрерывно заполняют диапазон от 0 до 1. примером может служить логистическая функция, показанная на рис. 9.

Наклон и область выходных значений логистической функции могут быть разными. Например, для биполярного сигмоида областью выходных значений является диапазон -1 и 1.

Рис. 9.

Обучение НС.

Качество работы НС сильно зависит от предъявляемого ей в процессе набора учебных данных. учебные данные должны быть типичными для задачи, решению которой обучается сеть. Обучение часто оказывается уникальным процессом, когда приемлемые решения многих проблем могут быть получены только в процессе многочисленных экспериментов. Разработчикам решения на основе нейронной сети требуется следующее.

· Выбрать соответствующую модель сети.

· Определить топологию сети (т.е. число элементов и их связи)

· Указать параметры обучения.

Существуют три парадигмы обучения: с учителем, без учителя и смешанная.

Обучение с учителем.

Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход (решение задачи). Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар.

Когда в сети один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны, и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети.

В многослойных сетях оптимальные выходные значения нейронов всех слоев, кроме последнего, как правило, неизвестны, и двух или более слойную НС уже невозможно обучить, руководствуясь только величинами ошибок на выходах сети. Один из вариантов решения этой проблемы – разработка наборов выходных сигналов, соответствующих входным, для каждого слоя НС, что конечно является трудоемкой операцией и не всегда осуществимо. Второй вариант – динамическая подстройка весовых коэффициентов синапсов, в ходе которой выбираются наиболее слабые связи, которые изменяются на малую величину в ту или другую сторону. Сохраняются же только те изменения, которые повлекли уменьшение ошибки на выходе сети. Очевидно, что данный метод «проб» требует громоздких рутинных вычислений.

Третий более приемлемый вариант – распространение сигналов ошибки от выходов НС к ее входам, в направлении обратном прямому распространению сигналов в обычном режиме работы. Этот алгоритм обучения НС получил название процедуры обратного распространения и является наиболее используемым.

Обучение без учителя.

Обучение без учителя является более правдоподобной моделью обучения в биологической системе. Процесс обучения, как и в случае обучения с учителем, заключается в подстраивании весов синапсов. Некоторые алгоритмы предусматривают изменение и структуры сети, т.е. количества нейронов и их взаимосвязи, такие преобразования называют – самоорганизацией. Очевидно, что подстройка синапсов может проводиться только на основании информации, доступной нейрону, то есть его состояния и уже имеющихся весовых коэффициентов. Исходя из этого соображения и по аналогии с известными принципами самоорганизации нервных клеток, построены алгоритмы обучения Хебба. Существуют и другие алгоритмы обучения НС без учителя: обучение методом соревнования, проекции Саммона, анализ главных компонентов.

Дата добавления: 2014-01-05