ЯцекЖурада

Модули нечетко-нейронного управления.......................................... 307

Генетические алгоритмы.................................................................... 124

Нечеткие множества и нечеткий вывод.............................................. 45

Многослойные нейронные сети и алгоритмы их обучения 18

Введение........................................................................................................... 14

НЕЙРОННЫЕ СЕТИ, ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ И НЕЧЕТКИЕ СИСТЕМЫ

Редактор А. С. Попов Компьютерная верстве Т. С. Левыкиной

Корректор Р. И. Голубева Обложка художника В. Г. Ситникова

ЛР № 071825 от 16 марта 1999 г.

Подписано в печать 14.11.05. Формат 60x90/16. Печать офсетная Уч.-иэд. л. 28,25. Тираж 1000 экз. Изд. № 103

ISBN 5-93517-103-1 (рус.) ISBN 83-01-12304-4 (польск.)

©

© Издательство Wydawnictwo Naukowe PWN, 1997, 1999, 2004

© Рудинский И. Д., перевод с польск., 2004 © Оформление издательства «Горячая линия-Телеком», 2006

Оглавление

Предисловие................................................................................................. 9

Предисловие к русскому изданию................................................................ 12

Список литературы................................................................................. 16

2.1. Введение............................................................................................ 18

2.2. Нейрон и его модели................................................................... 18

2.3. Персептрон....................................................................................... 21

2.4. Системы типа Адалайн............................................................... 25

2.4.1. Линейный взвешенный сумматор................................... 26

2.4.2. Адаптивный линейный взвешенный сумматор........... 30

2.4.3. Адаптивный линейный взвешенный сумматор

с сигмоидой на выходе....................................................... 31

2.5. Алгоритм обратного распостранения ошибки............................ 33

2.6. Применение рекуррентного метода наименьших квадратов
для обучения нейронных сетей....................................................... 37

Список литературы...................................................................................... 43

3.1. Введение................................................................................................... 45

3.2. Основные понятия и определения теории нечетких
множеств.................................................................................................... 45

3.3. Операции на нечетких множествах................................................... 56

3.4. Принцип расширения.......................................................................... 64

3.5. Нечеткие числа........................................................................................ 68

3.6. Треугольные нормы................................................................................ 75

3.7. Нечеткие отношения и их свойства........................................ 78

3.8. Нечеткий вывод................................................................................ 83

3.8.1. Основные правила вывода в двоичной логике............. 83

3.8.2. Основные правила вывода в нечеткой логике..................... 84

3.8.2.1. Обобщенное нечеткое правило modus ponens... 84

3.8.2.2. Обобщенное нечеткое правило modus tollens... 87

3.8.3. Правила нечеткой импликации............................................... 88

Оглавление

3.9. Нечеткое управление......................................................................... 91

3.9.1. Классический модуль нечеткого управления................... 92

3.9.1.1. База правил.......................................................................... 92

3.9.1.2. Блок фуззификации........................................................ 94

3.9.1.3. Блок выработки решения............................................... 94

3.9.1.4. Блок дефуззификации................................................ 105

3.9.2. Метод нечеткого управления Такаги-Сугено............... 106

3.10. Проектирование базы нечетких правил на основе
численных данных......................................................................... 109

3.10.1. Построение нечетких правил..................................... 110

3.10.2. Задача парковки грузовика............................................. 115

3.10.3. Примечание........................................................................ 118

Список литературы............................................................................. 122

4.1. Введение............................................................................................ 124

4.2. Генетические алгоритмы и традиционные методы
оптимизации.................................................................................... 125

4.3. Основные понятия генетических алгоритмов......................... 126

4.4. Классический генетический алгоритм................................... 130

4.5. Иллюстрация выполнения классического генетического
алгоритма....................................................................................... 136

4.6. Кодирование параметров задачи в генетическом алгоритме 139

4.7. Основная теорема о генетических алгоритмах....................... 144

4.8. Модификации классического генетического алгоритма... 157

4.8.1. Методы селекции................................................................ 157

4.8.2. Особые процедуры репродукции................................ 160

4.8.3. Генетические операторы.................................................... 161

4.8.4. Методы кодирования...................................................... 163

4.8.5. Масштабирование функции приспособленности.... 164

4.8.6. Ниши в генетическом алгоритме.................................. 166

4.8.7. Генетические алгоритмы для многокритериальной
оптимизации....................................................................... 167

4.8.8. Генетические микроалгоритмы....................................... 169

4.9. Примеры оптимизации функции с помощью программы
FlexTool.......................................................................................... 170

4.10. Эволюционные алгоритмы...................................................... 206

4.11. Приложения эволюционных алгоритмов............................... 213

Оглавление 7

4.11.1. Примеры оптимизации функции с помощью
программы Evolver.......................................................... 214

4.11.2. Решение комбинаторных задач с помощью
программы Evolver............................................................ 246

4.12. Эволюционные алгоритмы в нейронных сетях................. 250

4.12 1. Независимое применение генетических алгоритмов

и нейронных сетей......................................................... 252

4.12.2. Нейронные сети для поддержки генетических
алгоритмов............................................................................. 252

4.12.3. Генетические алгоритмы для поддержки

нейронных сетей................................................................ 253

4.12.4. Применение генетических алгоритмов для

обучения нейронных сетей................................................. 256

4.12.5. Генетические алгоритмы для выбора топологии
нейронных сетей................................................................. 256

4.12.6. Адаптивные взаимодействующие системы............ 257

4.12.7. Типовой цикл эволюции...................................................... 257

4.12.7.1. Эволюция весов связей............................................ 259

4.12.7.2. Эволюция архитектуры сети................................. 261

4.12.7.3. Эволюция правил обучения................................. 264

4.13. Примеры моделирования эволюционных алгоритмов

в приложении к нейронным сетям......................................... 266

4.13.1. Программы Evolver и BrainMake.................................. 268

4.13.2. Программа GTO............................................................... 274

Список литературы............................................................................. 303

5.1. Модуль нечеткого управления со структурой,

определенной в процессе дефуззификации.......................... 308

5.1.1. Введение................................................................................ 308

5.1.2. Конструкция модуля.............................................................. 309

5.1.3. Структура модуля..................................................................... 311

5.1.4. Использование алгоритма обратного
распространения ошибки..................................................... 313

5.1.5. Модификации модуля.......................................................... 320

5.1.6. Применение модуля нечеткого управления для
прогнозирования случайных временных рядов.... 322

5.1.7. Применение модуля нечеткого управления для
решения задачи парковки грузовика................................... 326

5.1.8. Примечание............................................................................. 330

Оглавление

5.2. Представление модуля нечеткого управления в виде
стандартной нейронной сети......................................................... 330

5.3. Модуль нечеткого управления с нейронной сетью для
выполнения дефуззификации................................................... 333

5.3.1. Введение................................................................................ 333

5.3.2. Конструкция модуля.......................................................... 334

5.3.3. Структура модуля.............................................................. 335

5.3.4. Алгоритмы обучения модуля......................................... 337

5.3.5. Решение задачи стабилизации перевернутого
маятника................................................................................... 342

5.3.6. Примечание........................................................................... 348

5.4. Модуль нечеткого управления с возможностью коррекции
правил.............................................................................................. 348

5.4.1. Введение................................................................................ 348

5.4.2. Фаза обучения на основе самоорганизации............ 349

5.4.3. Фаза обучения с учителем............................................. 354

5.4.4. Примечание........................................................................... 356

5.5. Модуль нечеткого управления типа Такаги-Сугено:

случай независимых лингвистических переменных.................. 356

5.5.1. Введение.............,................................................................. 356

5.5.2. Нейронная реализация функции принадлежности.. 357

5.5.3. Модули Такаги-Сугено..................................................... 359

5.5.4. Реализация условий......................................................... 359

5.5.5. Реализация заключений................................................... 361

5.5.6. Примечание............................................................................ 365

5.6. Модуль нечеткого управления типа Такаги-Сугено:

случай зависимых лингвистических переменных............... 365

5.6.1. Введение................................................................................ 365

5.6.2. Нейронные сети для нечеткого вывода..................... 366

5.6.3. Структура системы............................................................ 368

5.6.4. Способ обучения................................................................. 372

5.6.5. Решение задачи парковки грузовика................................ 374

5.6.6. Примечание............................................................................. 378

Список литературы....................................................................................... 379

Предметный указатель........................................................................... 381

Предисловие

Двадцатый век завершился под знаком революции в области обра­ботки информации. Мы стали свидетелями как быстрого роста объема доступных данных, так и увеличения скорости их обработки и передачи, а также емкости запоминающих устройств. Отчетливо видно, что эти яв­ления не только взаимосвязаны, но и усиливают друг друга. В ситуации лавинобразного нарастания объемов информации и вычислительных мощностей возникает очевидный вопрос каким образом можно улучшить наши способности к познанию окружающего мира, имея в наличии столь большие и непрерывно растущие технические возможности?

Помощь приходит со стороны апробированных классических мате­матических методов, созданных трудами Ньютона, Лейбница, Эйлера и других гениев прошлого, заложивших фундамент современных вычис­лительных алгоритмов. Благодаря им у нас есть специализированные вычислительные процедуры для распознавания образов и речи, для уп­равления системами различных классов и решения иных аналогичных проблем. Независимые от этого направления исследования в области ис­кусственного интеллекта привели к созданию экспертных и прогностиче­ских систем, основанных на символьной обработке и использующих базы правил. Однако все перечисленные выше подходы предполагают исполь­зование либо узкоспециализированных вычислительных методик, либо специализированных баз знаний, чаще всего заключенных в жесткий кор­сет двоичной логики. Еще одно ограничение на применение этих методов связано с фактом, что они не допускают непосредственное решение за­дач при использовании вычислительных систем с универсальной архи­тектурой, общей для большинства практических приложений.

Таким образом, мы подходим к происхождению и сущности вычис­лительных технологий, составляющих предмет настоящей книги. Эти тех­нологии, объединяемые в англоязычной литературе под названием Computational Intelligence, позволяют получать непрерывные или дис­кретные решения в результате обучения по доступным имеющимся дан­ным. Один из подклассов обсуждаемой группы методов составляют ней­ронные сети, использующие стохастические алгоритмы для обучения мо­дели с учителем или путем самоорганизации. Они предназначены для обработки зашумленных цифровых данных, по которым алгоритмы обу­чения выстраивают однонаправленные или рекуррентные модели инте­ресующих нас процессов. Эти модели характеризуются регулярной струк­турой, составленной из нелинейных элементов, объединенных разветв­ленной сетью линейных соединений и часто дополняемой локальными или глобальными обратными связями.

При моделировании процессов возможности нейронных сетей мо­гут усиливаться за счет применения технологии обработки информации, основанной на нечетких множествах и нечетком выводе. Этот метод свя­зан с оцениванием функции принадлежности элементов к множествам с помощью нечетких логических операторов. Предлагаемый подход не только ослабляет требования к точности данных в процессе построения

Предисловие

Предисловие

модели, но и позволяет описать сложные системы с помощью перемен­ных, значения которых определяются на интуитивном уровне. Возникаю­щая в результате парадигма моделирования, управления, выработки ре­шений и т.п. ведет к формированию лингвистических аргументов логиче­ских функций.

Такие функции, описывающие реальные объекты, могут уточнять­ся в процессе обучения по имеющимся данным. Другой подход состоит в формировании правил вывода непосредственно в процессе обучения. Этим и определяется взамопроникновение и комплементарность нейрон­ных моделей и систем, базирующихся на нечеткой логике. Лингвистичес­кие операторы, которые мы используем при повседневном общении, и итерационный процесс обучения вместе ведут к интеллектуальным ло-гикоалгебраическим моделям, определяемым понятием Computational Intelligence (вычислительные технологии). Интеллектуальность в данном случае понимается как способность применять знания, накопленные в процессе обучения, как возможность генерировать правила вывода и как умение обобщать информацию.

Важным классом алгоритмов обучения, обогативших нейронные и нечеткие технологии, считаются эволюционные алгоритмы. Они опери­руют популяциями хромосом, оцениваемых функциями приспособленно­сти, и используют эволюционную и генетическую обусловленность изме­нения последовательности битов или чисел. Таким образом эффективно исследуется пространство возможных решений. Оптимальное решение ищется в серии последовательных приближений аргументов с лучшими значениями функций приспособленности, генерируемых в результате му­тации и скрещивания хромосом.

Автор этих заметок в качестве председателя Комитета Симпозиу­ма Computational Intelligence: Imitating Life, состоявшегося в Орландо в 1994 г., стоял у истоков слияния этих трех научных направлений и воз­никновения новой интегральной отрасли знаний. Он с удовольствием приветствует «Нейронные сети, генетические алгоритмы и нечеткие сис­темы» - новаторскую книгу на польском издательском рынке. Помимо об­суждения базовых элементов нейронных сетей, описания нечетких сис­тем и эволюционногенетических алгоритмов, этот труд содержит и ориги­нальные научные результаты авторов. В книге приводятся подробности реализации конкретных технических решений, в том числе различных процессоров и обучаемых систем, основанных на нечеткой логике. Боль­шое внимание уделяется вопросам практического использования ряда пакетов прикладных программ.

Тематически книга связана с научными направлениями Всеполь-ских конференций по нейронным сетям и их приложениям, организован­ных профессором Л. Рутковским и Польским товариществом нейронных сетей в 1994 и 1996 гг.

Данная публикация под руководством профессора Л. Рутковского чрезвычайно актуальна, ценна и уникальна. Она заполняет обширную ни­шу на емком научнотехническом рынке Польши. Книга окажется особен­но полезной инженерам различных специальностей, экономистам, физи­кам, математикам и специалистам по информатике, а также студентам

этих и смежных с ними областей знаний. Следует поздравить авторов с большим достижением в виде этого прекрасного научного труда.

Эта книга должна не только умножить признание их заслуг, но и привлечь новые ряды энтузиастов этой захватывающей научной дис­циплины.

Июль 1996 г.

член IEEE. Университет Луисвилль, США

Предисловие к русскому изданию

Предисловие к русскому изданию

Проблематика нейронных сетей, генетических алгоритмов и не­четких систем, и в особенности комбинации этих методов - это одна из наиболее интенсивно развивающихся в настоящее время областей ис­следований, получившей название «Вычислительные технологии». Ее можно считать современным ответвлением информатики (Computer Science), связанным с методами искусственного интеллекта (Artificial Intelligence), хотя и принципиально отличным от классического подхода, применяемого адептами этого направления.

Дисциплина «Вычислительные технологии» исследует интеллек­туальные методы решения различных задач и находит применение в раз­личных областях, в том числе в промышленности, экономике, медицине и др. Нейронные сети, генетические алгоритмы и нечеткие системы до­полняют классические экспертные системы, которые считаются одним из главных направлений приложения искусственного интеллекта, а также в некоторых случаях выполняют функции этих систем путем реализации так называемых интеллектуальных вычислительных систем. Последние представляют собой объединение нейронных сетей, генетических алго­ритмов и нечетких систем, взаимодействие которых позволяет решать различные задачи, но самое важное - они становятся универсальным ин­струментом для обработки информации. Одна и та же система может применяться для решения различных задач, что считается несомненным достоинством по сравнению с классическими экспертными системами, ориентированными, как правило, на достаточно узкую проблему, напри­мер, на медицинскую диагностику конкретного заболевания. Интеллекту­альные вычислительные системы можно легко «перепрограммировать» на решение другой задачи, причем роль такого программирования игра­ет обучение. Таким образом, эти системы обладают способностью к обу­чению, что считается главным атрибутом интеллектуальности.

Теоретические основы методов, применяемых в сфере «Вычисли­тельные технологии», заложены исследованиями, проводимыми в об­ласти «Soft Computing». Эта отрасль информатики занимается так назы­ваемыми мягкими вычислениями, которые характеризуются неполнотой данных и отсутствием точности. К ним относятся нечеткие системы, неко­торые разделы теории вероятностей, а также нейронные сети и генетиче­ские алгоритмы. Наиболее известной фигурой среди исследователей этой области является профессор Л. Заде из Computer Science Division в Беркли, который в 1965 г. опубликовал знаменитую работу, посвящен­ную нечетким множествам (Fuzzy Sets), а в настоящее время исполняет обязанности директора Initiative in Soft Computing (BICS). Его многочис­ленные публикации, посвященные нечеткой логике (Fuzzy Logic) привели к созданию нечетких систем (Fuzzy Sets), которые нашли разнообразные практические применения, например, для управления бытовой техникой, поездами японского метрополитена, вертолетами, производственными процессами и т.п. Известны их реализации и в других областях, в частно­сти, в медицине.

По тематике Soft Computing публикуются многочисленные работы; посвященные нечетким системам, генетическим алгоритмам и нейрон-

ным сетям, их гибридам и практическим приложениям. Проводятся раз­личные конференции, на которых представляются новейшие результаты исследований обсуждаемых нами методов и интеллектуальных техноло­гий.

Книга «Нейронные сети, генетические алгоритмы и нечеткие систе­мы», первая версия которой была выпущена Варшавским издательством PWN в 1997 г., заняла на польском книжном рынке пустовавшую прежде нишу описания методов, применяемых в сфере вычислительных технологий, и их объединений. О большом интересе к представленным в ней проблемам свидетельствует быстрая раскупаемость первого тира­жа и последующих допечаток. Читатель держит в руках русское издание нашей книги, в которое по сравнению с польскими версиями внесены не­которые изменения и дополнения.

Авторы посвящают русское издание книги памяти недавно скон­чавшегося профессора Якова Залмановича Цыпкина и выражают призна­тельность за его огромный вклад в развитие теории адаптивных систем. Профессор Яков Залманович Цыпкин останется для нас великим Ученым и Человеком.

Дата добавления: 2015-06-04