Оптимального управления 10 страница

Идеи по созданию машин с нейронными свойствами всегда развивались параллельно с работой по созданию компьютеров общего назначения, широко используемых сегодня. Фактически аналогия между компьютерными вычислениями и операциями мозга была отмечена в большинстве ранних работ в этой области.

on Neural Networks" (c 1990 года). В России также ведутся значительные исследования в этой области. Проведены международные конференции "Нейроинформатика и нейрокомпьютеры" (Ростов-на-Дону, 1992 и 1995 гг.), "Оптическая память и нейронные сети" (Москва, 1994 г.), "Нейрокомпьютеры и их применение" (Москва, 1995, 1996, 1997 гг.). Начиная с 1992 года издается журнал "Нейрокомпьютер".

Центральная идея этого подхода заключена в том, что для того чтобы воссоздать некоторые из возможностей мозга по об -работке информации, необходимо воссоздать некоторые из его архитектурных особенностей. Поэтому коннекционная машина, или нейронная сеть, должна состоять из сети с множеством со-единений сравнительно простых процессоров (узлов, устройств или искусственных нейронов), каждый из которых имеет много входов и один выход. В биологических нейронах производитель-ная способность каждого нейрона зависит от электрохимических характеристик его синапса. Во многих коннекционных моделях это достигается путем назначения весового коэффициента каждому входу.

В динамике, биологические нейроны общаются путем пере-дачи электрических импульсов. Они непрерывно суммируют или интегрируют их и в зависимости от результата — положительно-го (возбуждающего) или отрицательного (тормозящего) выход-ной импульс генерируется либо нет. В искусственных сетях, каж-дый узел непрерывно обновляет свое состояние путем генерации внутренней активационной величины, которая является функцией от входных и внутренних параметров. Затем эта величина используется для генерации выходного импульса посредством некоторой активационной выходной функции.

На системном уровне можно составить список особенностей, характерных для всех нейронных сетей, но коннекционны- ми считается такое большое разнообразие сетей, что любой такой список неизбежно будет справедлив не ко всем из них. Тем не менее, приведем типичный список характеристик:

• Параметры узла формируются путем тренировки до их ко-нечной величины непрерывным воздействием на сеть набора величин или тренировочных векторов, позволяющих сети реа-гировать на каждую величину и соответственно изменять веса,

! К концу 1950-х годов сформировался логико-символьный под ~

| ход к моделированию интеллекта. Его развитие создало такие на- I правления, как эвристическое программирование и машинный j интеллект, и способствовало угасанию интереса к нейронным I сетям. Неблагоприятным моментом, затормозившим развитие J нейросетевой тематики на два с лишним десятилетия, явилось ' опубликование тезиса, выдвинутого авторитетнейшими учеными | 1960-х годов М. Минским и С. Пейпертом о невозможности воспроизведения произвольной функции нейронной сетью и, сле-! довательно, о невозможности создания универсального вычис-! лительного устройства на ее основе. Поэтому, в течение длительного времени основным направлением в развитии искусственного интеллекта являлся логико-символьный подход, который может быть реализован на традиционных вычислительных! системах. Было получено решение многих "интеллектуальных" за- I дач из определенных предметных областей, j В 1969 году после публикации книги Минского и Паперта

j "Персептроны" [30] энтузиазм к изучению нейронных сетей значительно поутих. Они показали, что существует интересный класс проблем, который нельзя решить путем применения одноуровневой персептронной сети, и что практически нет надежды на обучение многоуровневых систем, которые бы успешно справились с ними. Однако в 1951 году тот же Минский и Дин Эдмондс построили одну из первых обучающихся машин, основанную на нейронной сети, и вопреки персептрону большинство работ в этой области продолжилось, хотя и в тени символьного ИИ: Гросберг заложил основы Теории Адаптивного Резонанса (ТАР) [31]; Фукишима разработал когнитрон [32], Кохонен исследовал сети, которые использовали карту топологических символов [33]; и Александер построил аппаратную имплементацию сетей [34].

К началу 1980-х годов были созданы условия для возрожде-; ния интереса к нейросетевым моделям. Это было связано с на- | коплением новых данных при экспериментальных исследованиях мозга. Кроме того, были получены важные теоретические результаты, позволившие разработать алгоритмы обучения для различных искусственных нейронных сетей (НС).

В 1982 году Джон Хопфилд показал, что сети с большим количеством связей между пороговыми логическими устройствами

Так, Ван Ньюман в первом наброске доклада по Эдваку [25] делает несколько сопоставлений между предполагаемыми элементами схем и биологическими нейронами.

В 1942 году Норберг Винер [26] и его коллеги сформулиро-вали идеи, которые позднее были названы кибернетикой и которые он определил как "управление и коммуникация в животном и машине". Их главной чертой является то, что био-логические организмы могут быть рассмотрены с инженерных и математических позиций. При этом основной упор делался на идеи обратной связи.

С развитием ИИ термин "Кибернетика" стал немодным в последние годы, хотя из-за своей междисциплинарной природы новую волну коннекционизма было бы правильней назвать подразделом кибернетики: наверняка многие из ранних иссле-дователей нейросетей описали бы свою деятельность именно таким способом.

В том же году, когда Винер сформулировал кибернетику, Мак-Каллок и Пите [27] опубликовали первый формализованный труд по нейронным сетям. Основным его результатом явилось то, что любое хорошо заданное отношение вход-выход может быть представлено в виде формальной нейронной сети [28].

Одной из ключевых особенностей сетей является их способ-ность к обучению исходя из опыта, полученного в обучающей среде. В 1949 году Дональд Хеб выявил механизм, посредством которого это происходит в биологическом мозге. Величина си-ноптических сигналов меняется так, чтобы усилить любое одно-временное изменение уровней активности между пресинопти- ческими и постсинаптическими нейронами. Переводя на язык искусственных нейронных сетей, вес на входе должен быть уси-лен, чтобы отразить корреляцию между входом и выходом уст-ройства. Обучающие схемы, основанные на этом "правиле Хеба", всегда играли видную роль.

Следующим заметным шагом является изобретение персеп- трона Розенблатом в 1957 году. Основную часть работы он опи-сал в книге "Принципы нейродинамики" [29]. Одним из наиболее значительных результатов, представленных там, было доказательство того, что простая обучающая процедура сходит-ся, если решение проблемы существует.

j К концу 1950-х годов сформировался логико-символьный под-

| ход к моделированию интеллекта. Его развитие создало такие на- j правления, как эвристическое программирование и машинный | интеллект, и способствовало угасанию интереса к нейронным I сетям. Неблагоприятным моментом, затормозившим развитие I нейросетевой тематики на два с лишним десятилетия, явилось 1 опубликование тезиса, выдвинутого авторитетнейшими учеными! 1960-х годов М. Минским и С. Пейпертом о невозможности вос- 1 произведения произвольной функции нейронной сетью и, сле- | довательно, о невозможности создания универсального вычис-! лительного устройства на ее основе. Поэтому, в течение длительного времени основным направлением в развитии искусственного интеллекта являлся логико-символьный подход, кото- j рый может быть реализован на традиционных вычислительных I системах. Было получено решение многих "интеллектуальных" за- { дач из определенных предметных областей. | В 1969 году после публикации книги Минского и Паперта

"Персептроны" [30] энтузиазм к изучению нейронных сетей значительно поутих. Они показали, что существует интересный класс проблем, который нельзя решить путем применения одноуровневой персептронной сети, и что практически нет надежды на обучение многоуровневых систем, которые бы успешно справились с ними. Однако в 1951 году тот же Минский и Дин Эдмондс построили одну из первых обучающихся машин, основанную на нейронной сети, и вопреки персептрону большинство работ в этой области продолжилось, хотя и в тени символьного ИИ: Гросберг заложил основы Теории Адаптивного Резонанса (ТАР) [31]; Фукишима разработал когнитрон [32], Кохонен исследовал сети, которые использовали карту топологических символов [33]; и Александер построил аппаратную имплементацию сетей [34].

К началу 1980-х годов были созданы условия для возрождения интереса к нейросетевым моделям. Это было связано с накоплением новых данных при экспериментальных исследованиях мозга. Кроме того, были получены важные теоретические результаты, позволившие разработать алгоритмы обучения для различных искусственных нейронных сетей (НС).

В 1982 году Джон Хопфилд показал, что сети с большим количеством связей между пороговыми логическими устройствами

Так, Ван Ньюман в первом наброске доклада по Эдваку [25] делает несколько сопоставлений между предполагаемыми элементами схем и биологическими нейронами.

В 1942 году Норберг Винер [26] и его коллеги сформулиро-вали идеи, которые позднее были названы кибернетикой и которые он определил как "управление и коммуникация в животном и машине". Их главной чертой является то, что био-логические организмы могут быть рассмотрены с инженерных и математических позиций. При этом основной упор делался на идеи обратной связи.

С развитием ИИ термин "Кибернетика" стал немодным в последние годы, хотя из-за своей междисциплинарной природы новую волну коннекционизма было бы правильней назвать подразделом кибернетики: наверняка многие из ранних иссле-дователей нейросетей описали бы свою деятельность именно таким способом.

В том же году, когда Винер сформулировал кибернетику, Мак-Каллок и Пите [27] опубликовали первый формализованный труд по нейронным сетям. Основным его результатом явилось то, что любое хорошо заданное отношение вход-выход может быть представлено в виде формальной нейронной сети [28].

Одной из ключевых особенностей сетей является их способ-ность к обучению исходя из опыта, полученного в обучающей среде. В 1949 году Дональд Хеб выявил механизм, посредством которого это происходит в биологическом мозге. Величина си-ноптических сигналов меняется так, чтобы усилить любое одно-временное изменение уровней активности между пресинопти- ческими и постсинаптическими нейронами. Переводя на язык искусственных нейронных сетей, вес на входе должен быть уси-лен, чтобы отразить корреляцию между входом и выходом уст-ройства. Обучающие схемы, основанные на этом "правиле Хеба", всегда играли видную роль.

Следующим заметным шагом является изобретение персеп- трона Розенблатом в 1957 году. Основную часть работы он опи-сал в книге "Принципы нейродинамики" [29]. Одним из наиболее значительных результатов, представленных там, было доказательство того, что простая обучающая процедура сходит-ся, если решение проблемы существует.

ронных систем, кажутся чрезмерным упрощением "биологических" моделей.

В нейронных сетях реализуются алгоритмические структуры сильно связанных потоков, которые обеспечивают наибольшие возможности для параллельных вычислений. Принцип вычисле-ний, используюемый в такого рода системах, отличается от фон- неймановского (управление потоком команд) и определяется как управление потоком данных (Data Flow). Этот принцип фор-мулируется следующим образом: все команды выполняются только при наличии всех операндов (данных), необходимых для их выполнения. Поэтому в программах, используемых для потоко вой обработки, описывается не поток команд, а поток данных. Отметим следующие особенности управления потоком данных, характерные для Data Flow:

• команду со всеми операндами (с доставленными операн-дами) можно выполнять независимо от состояния других команд, т. е. появляется возможность одновременного выполнения множества команд (первый уровень параллелизма);

• отсутствует понятие адреса памяти, так как обмен данными происходит непосредственно между командами;

® обмен данными между командами четко определен, по-этому отношение зависимости между ними обнаруживается легко (функциональная обработка);

• поскольку управление командами осуществляется посред-ством передачи данных между ними, то нет необходимости в управлении последовательностью выполнения программы, т. е. имеет место не централизованная, а распределенная обработка.

Таким образом, параллелизм в таких системах может быть реализован на двух уровнях:

• на уровне команд, одновременно готовых к выполнению и доступных для параллельной обработки многими процессорами (нейронами);

• на уровне транспортировки команд и результатов их вы-полнения через тракты передачи информации (реализуемые в виде сетей).

Большое влияние на разработку теории искусственных ней-ронных сетей оказал коннекционизм — раздел искусственного интеллекта, связанный с созданием, исследованием и развитием могут быть проанализированы с помощью физической динами-ческой модели, обладающей "энергией". Процесс ассоциативных воспоминаний, при котором сеть из некоторого случайного на-чального состояния переходит в некоторое стабильное конечное состояние, подобен поведению физической системы, переходя-щей в состояние с минимальной энергией. Эта книга, приближа-ясь к интерпретации сетей с обратными связями (рекурсивных сетей), оказалась очень плодотворной и повлекла за собой вовле-чение физиков и математиков в эту область. Подобный прорыв произошел и в области нерекурсивных сетей.

Помимо технических успехов в области анализа сетей, ней-ронные сети также являются подсистемой еще более широкого класса систем, которые начала исследовать физика. К ним отно-сятся клеточные автоматы, частицы и хаотический феномен.

Последние годы были отмечены увеличением интереса к нейронным сетям. Интерес к нейронным сетям возродился после получения важных теоретических результатов в начале вось-мидесятых и появления нового аппаратного обеспечения, по-высившего производительность вычислений. Возрождение инте-реса проявилось в увеличении числа ученых, финансирования, количества больших конференций и журналов, посвященных нейронным сетям. В наши дни большинство университетов име-ют группы, занимающиеся нейронными сетями, внутри кафедр психологии, физики, компьютеров или биологии.

Искусственные нейронные сети наиболее адекватно харак-теризуются как "вычислительные модели", обладающие спо-собностями к адаптации или обучению, обобщению или клас-теризации данных, и чье функционирования основано на параллельности вычислений. Тем не менее, многие из пере-численных выше свойств могут быть отнесены к существующим не нейронным моделям, и ответ на интригующий вопрос о том, до какой степени нейронный подход лучше подходит для решения определенных задач, чем существующие модели, до сих пор не найден.

Часто рассматриваются параллели с биологическими систе-мами. Тем не менее, до сих пор так мало известно (даже на самом низком клеточном уровне) о биологических системах, что модели, которые мы используем для наших искусственных ней пополняя знания о нем путем взаимодействия с другими объектами и средой.

Во-вторых, компоненты системы, развиваясь в процессе эволюции, должны быть способны передавать свои характерные черты по наследству, т. е. должен присутствовать механизм по-рождения новых поколений — путем деления, скрещивания либо дублирования существующих объектов.

В-третьих, окружающий мир должен быть достаточно жест-ким, сводящим к минимуму шансы на выживание и появление потомства у слабых и плохо приспособленных особей.

В-четвертых, должен присутствовать механизм порождения новых форм (аналог мутаций в реальном мире), обычно содер-жащий элемент случайности.

При решении реальной задачи методами AL строится дина-мическая модель среды, в которой предстоит существовать уп-равляемому объекту. Среда населяется множеством разновидно-стей управляемого объекта и отводится время для жизни нескольких поколений. В процессе эволюции слабые особи (плохие решения) будут погибать, сильные — скрещиваться, за-крепляя в новых поколениях свои лучшие черты. Через несколько десятков (иногда — сотен и даже тысяч) циклов такая селекция породит "цивилизацию" практически неуязвимых особей, идеально приспособленных к заданной ранее модели среды. Не факт, что результат будет соответствовать вашим представлениям о прекрасном (близок к ожидаемому). Но можно с большой степенью уверенности сказать, что "жизненная сила" прошедшего жесточайший отбор решения будет достаточной, чтобы успешно противостоять любым действиям конкурентов и изменениям среды.

Методы AL в первую очередь стали применять при создании разнообразных роботов и гибких автоматизированных произ-водств. Одно из определений AL даже трактует ее как теорию управления сообществом роботов, решающих навигационные задачи путем адаптации к внешним условиям. Элементы AL уже десятки лет фактически используются при моделировании ката-строф, чрезвычайных ситуаций и военных конфликтов. Приме-ры таких приложений можно найти на компакт-диске "NASA Nechnology".

Основным компонентом системы AL являются пакеты, ре-ализующие генетические алгоритмы. Наиболее распространены два пакета: Evolver (первый из массовых пакетов GA), а также более поздний и мощный пакет Gene-Hunter фирмы Ward Systems Group. Последний особенно популярен, поскольку вхо-дит в состав нейросетевого пакета Ward, активно используемого в России. Также используются пакеты, основанные на нечеткой логике. Наиболее известен пакет CubiCalc, позволяющий стро-ить экспертные системы с нечеткими правилами. В задачах си-туационного моделирования наиболее широко применяется па-кет iThink, реализующий методы так называемой "динамики систем" (system dynamics). Кроме того, в Internet можно найти несколько серверов, специализирующихся на AL и GA.

4.2. Управляющие нейрокомпьютеры

Нейрокомпьютеры (НК) — это ЭВМ нового поколения, ка-чественно отличающиеся от классических вычислительных сис-тем параллельного типа тем, что для решения задач они ис-пользуют не заранее разработанные алгоритмы, а специальным образом подобранные примеры, на которых учатся. Их появле-ние обусловлено объективными причинами: значительным раз-витием элементной базы, позволяющим на одной плате реали-зовать матрицу полнофункциональных компьютеров (моделей нейрона), и необходимостью решения важных практических за-дач, поставленных действительностью.

К настоящему времени сформировался обширный рынок нейросетевых продуктов. Подавляющее большинство продуктов представлено в виде моделирующего программного обеспече-ния. Ведущие фирмы разрабатывают также и специализирован-ные нейрочипы или нейроплаты в виде приставок к персональ-ным ЭВМ. При этом программное обеспечение может работать как без нейроприставок, так и с ними. В последнем случае быс-тродействие гибридной ЭВМ возрастает в сотни и тысячи раз. Однако при ближайшем рассмотрении оказывается, что эти приставки представляют собой классические процессоры (уни-версальные или специализированные, например, сигнальные), в некоторых случаях учитывающие специфику НС (например,

за счет аппаратной реализации операции адаптивного суммирования). При использовании такого подхода представляется проблематичным реализация суперЭВМ с "истинным параллелизмом", когда каждый нейрон работает в соответствии с логикой работы НС.

Основываясь на достижениях микроэлектроники, можно реализовать ЭВМ с большим числом элементов — нейронов (порядка тысяч и десятков тысяч). При этом возникает проблема организации связей между элементами, отвечающих архитектуре НС, которая на сегодняшний момент для произвольных НС пока не решена. Поэтому, как указано в [1.6], современные супернейрокомпьютеры строятся по традиционной архитектуре МКМД (либо комбинированной МКМД + PVP, либо МКМД 4- конвейеризация), но не из стандартных процессоров, а из элементов в виде СБИС-нейрочипов, аппарат- но реализующих фрагмент НС. Наиболее ярким прототипом такого супернейрокомпьютера является система обработки аэрокосмических изображений, разработанная в США по программе "Силиконовый мозг". Объявленная производительность супернейрокомпьютера составляет 80 флоп при физическом объеме, равном объему человеческого мозга, и потребляемой мощности 20 Вт. Естественно, что такая производительность не может быть обеспечена с помощью рассмотренных традиционных архитектур суперЭВМ.

Основные проблемы создания нейрокомпьютеров — разра-ботка сверхпараллельных нейросетевых алгоритмов формализу- мых задач и их распараллеливание в соответствии с архитектурой коммутационной системы, а также разработка новых методик i решения неформализуемых задач. При этом рассматриваются три вида моделей нейронных сетей: физические, математические, технологические. Львиную долю публикаций по вопросам создания нейросетевых моделей составляют работы по реализации различных видов нейро-процессоров на основе СБИС, оптической, ПЛИС и т. п. технологий (технологические модели НС). Работы по исследованию физических моделей НС, в которых | отображаются физические принципы функционирования голов- I ного мозга, привели к созданию проекта Кремниевой мозговой j коры (SCX —- Silicon Cortex), возглавляемого немецким биоло-

гом М. Маховальдом. Тем не менее, несмотря на значительные достижения в разработке физических моделей мозга, пока не создано такой модели, которая адекватно отображала бы работу мозга и позволяла генерировать новое знание. Более того, глав ная проблема — моделирование зрения, внимания, координированного управления поведением — не имеет удовлетворительного решения в рамках нейросетевой технологии.

Поэтому наиболее важными представляются работы по созданию математических моделей нейросетевых вычислений, которые позволяют отрабатывать и создавать новые принципы организации параллельной работы многих вычислительных элементов — формальных нейронов.

До недавнего времени НК использовались в основном для решения неформализуемых задач. Именно необходимость решения таких задач породила появление реальных НК в бывшем СССР еще 30 лет назад [16]. Однако развитие теории и элементной базы последних лет позволило разработать методы проектирования НК для решения и формализуемых, и трудно формализуемых задач. Таким образом, сегодня НК приобретает черты универсальной вычислительной машины.

На рис. 4.1 представлена структурная схема абстрактного НК. Такую схему можно назвать обобщенной, так как она поясняет принцип работы любого НК независимо от его конкретного конструктивного исполнения. Эта схема напоминает классическую

Запоминающее устройство

I

Устройство ввода Нейронная сеть Устройство вывода

А

1 *

1 1 | ф ф ф ф ф

1 Блок обучения 1

<—* Устройство управления

Рис. 4.1. Структура абстрактного НК

схему однопроцессорной машины Дж. фон Неймана, предложенную им еще в 1945 одуг. Однако НК в принципе отличается от этой машины.

Основным операционным блоком НК, его процессором, является искусственная нейронная сеть. В первом, грубом приближении сеть представляет собой совокупность простейших модулей, называемых формальными нейронами, соединенными каналами передачи информации. Количественная характеристика каждого канала определяется решаемой задачей.

Нейронная сеть не производит вычислений, как это делает арифметико-логическое устройство машин фон Неймана. Она трансформирует входной сигнал (входной образ) в выходной в соответствии со своей топологией и значениями коэффициентов межнейронной связи.

В запоминающем устройстве НК хранится не программа решения задачи, как это имеет место в машинах фон Неймана, а программа изменения коэффициентов связи между нейронами. Устройства ввода и вывода информации в принципе выполняют те же функции, что и в машине фон Неймана. Устройство управления служит для синхронизации работы всех структурных блоков НК при решении конкретной задачи.

В работе абстрактного НК выделяют два главных режима работы — обучения и рабочий. Для того чтобы НК решал требуемую задачу, его НС должна пройти обучение на эту задачу. Суть режима обучения заключается в настройке коэффициентов межнейронных связей на совокупность входных образов этой задачи. Установка коэффициентов осуществляется на примерах, сгруп-пированных в обучающие множества. Такое множество состоит из обучающих пар, в которых каждому эталонному значению входного образа соответствует желаемое (эталонное) значение выходного образа.

При первой подаче очередного эталонного входного образа выходной сигнал отличается от желаемого. Блок обучения оценивает величину ошибки и корректирует коэффициенты межнейронных связей с целью ее уменьшения. При каждой последующей подаче этого же эталонного входного образа ошибка уменьшается. Процесс продолжается до тех пор, пока ошибка не достигнет требуемого значения. С математической точки зре- ронных систем, кажутся чрезмерным упрощением "биологических" моделей.

В нейронных сетях реализуются алгоритмические структуры сильно связанных потоков, которые обеспечивают наибольшие возможности для параллельных вычислений. Принцип вычислений, используюемый в такого рода системах, отличается от фон- неймановского (управление потоком команд) и определяется как управление потоком данных (Data Flow). Этот принцип формулируется следующим образом: все команды выполняются только при наличии всех операндов (данных), необходимых для их выполнения. Поэтому в программах, используемых для потоко вой обработки, описывается не поток команд, а поток данных. Отметим следующие особенности управления потоком данных, характерные для Data Flow:

• команду со всеми операндами (с доставленными операндами) можно выполнять независимо от состояния других команд, т. е. появляется возможность одновременного выполнения множества команд (первый уровень параллелизма);

• отсутствует понятие адреса памяти, так как обмен данными происходит непосредственно между командами;

® обмен данными между командами четко определен, поэтому отношение зависимости между ними обнаруживается легко (функциональная обработка);

• поскольку управление командами осуществляется посредством передачи данных между ними, то нет необходимости в управлении последовательностью выполнения программы, т. е. имеет место не централизованная, а распределенная обработка.

Таким образом, параллелизм в таких системах может быть реализован на двух уровнях:

• на уровне команд, одновременно готовых к выполнению и доступных для параллельной обработки многими процессорами (нейронами);

• на уровне транспортировки команд и результатов их выполнения через тракты передачи информации (реализуемые в виде сетей).

Большое влияние на разработку теории искусственных нейронных сетей оказал коннекционизм — раздел искусственного интеллекта, связанный с созданием, исследованием и развитием

могут быть проанализированы с помощью физической динамической модели, обладающей "энергией". Процесс ассоциативных воспоминаний, при котором сеть из некоторого случайного начального состояния переходит в некоторое стабильное конечное состояние, подобен поведению физической системы, переходящей в состояние с минимальной энергией. Эта книга, приближаясь к интерпретации сетей с обратными связями (рекурсивных сетей), оказалась очень плодотворной и повлекла за собой вовлечение физиков и математиков в эту область. Подобный прорыв произошел и в области нерекурсивных сетей.

Помимо технических успехов в области анализа сетей, нейронные сети также являются подсистемой еще более широкого класса систем, которые начала исследовать физика. К ним относятся клеточные автоматы, частицы и хаотический феномен.

Последние годы были отмечены увеличением интереса к нейронным сетям. Интерес к нейронным сетям возродился после получения важных теоретических результатов в начале восьмидесятых и появления нового аппаратного обеспечения, повысившего производительность вычислений. Возрождение интереса проявилось в увеличении числа ученых, финансирования, количества больших конференций и журналов, посвященных нейронным сетям. В наши дни большинство университетов имеют группы, занимающиеся нейронными сетями, внутри кафедр психологии, физики, компьютеров или биологии.

Искусственные нейронные сети наиболее адекватно характеризуются как "вычислительные модели", обладающие способностями к адаптации или обучению, обобщению или кластеризации данных, и чье функционирования основано на параллельности вычислений. Тем не менее, многие из перечисленных выше свойств могут быть отнесены к существующим не нейронным моделям, и ответ на интригующий вопрос о том, до какой степени нейронный подход лучше подходит для решения определенных задач, чем существующие модели, до сих пор не найден.

Часто рассматриваются параллели с биологическими системами. Тем не менее, до сих пор так мало известно (даже на самом низком клеточном уровне) о биологических системах, что модели, которые мы используем для наших искусственных ней- 

Топология простейшей однослойной нейронной сети показана на рис. 3.1.

Здесь для простоты изображения нейроны представлены в виде кружков и расположены в узлах сети. Линии связи с двусторонними стрелками условно означают передачу информации по двум физически различным каналам. В сетях этого вида любой из нейронов может быть входным и выходным.

Дата добавления: 2015-04-29