Модули нечетко-нейронного

ЖЕ.

7.9994 7,9994 -3.8662

_М! ЙЙ"

Рис. 4.1 62. Результат тестирования нейронной сети, обученной программой BrainMaker с толерантностью 0,025 (рис. 4.161), для и-\ = 0, и₂ - 1 и с/ = 1.

Рис. 4.165. Веса нейронной сети (при начальных значениях, показанных на рис. 4.156), обученной программой BrainMaker с толерантностью 0,025.

Глава 4. Генетические алгоритмы

4ЛЗ. Эволюционные алгоритмы для обучения нейронных сетей 291

2 5994 0924-08546

3. Результат тестирования той же сети для щ = 0, и₂ = 1 и d - 1

Рис. 4.166. Сгенерированный случайным образом исходный набор весов для нейронной сети, реализующей систему XOR.

В'е Е<"«I Hnns Display Analyze

: i earn

4.169. Результат тестирования той же сети для ы, = 1, с* - 0 и d - 1.

Рис. 4.167. Результат тестирования нейронной сети с весами, показанными на рис. 4.166, для щ = 0, и₂ = 0 и с/ = 0.

Рис 4.170. Результ

т тестирования той же сети для щ = 1, и₂ - 1 и <* - 0.

Глава 4. Генетические алгоритмы

4.13. Эволюционные алгоритмы для обучения нейронных сетей

Ite ИИ Operate Pat,

raining 88:01:13 P.cts: XOR.f t

'Ш^

р^_Г^-

						-4-4- -i
la	---

Рис. 4.171. Начальная фаза обучения программой BrainMaker сети с весами, ia рис. 4.166, при уровне толерантности 0,1.

Рис. 4.173. Продолжение обучения, показанного на рис. 4.171.

-3.9162 -1.2708 3.1492

Done Cencri

Глава 4 Генетические алгоритмы

4.13. Эволюционные алгоритмы для обучения нейронных сетей 295

BrainMaker Professional [X0R.NET1

Connections Display Analyze

iting ВД:1Ь:41 Facts: XOR.fct Loam: 1.0ИИ Tolerance: И.1И

ct: 22 Total: 8778 Bad: В Last: 5 Good: 22 Last: 17 Run: 3

	BrainMaker Profi	sslonal IXOR.NET] |-|X
File EdH Op	crate Parameters Conn	ctions Display Analyze
Uaitin^ J-Вввв	al: 8778^S" Bad^B

Рис. 4.176. Результат тестирования нейронной сети, обученной программой BrainMaker с толерантностью 0,025, для щ = 0, и₂ = 1 и d = 1.

			Brain	A	R.NET1 |_|X
File	Edit	Operate	Paramet	ers Conne	cSons Display Analyze
	"b me me		778 I	id: в h

Рис. 4.177. Результат тестирования той же сети для щ = 0, и₂ = 0 и d = 0.

Рис. 4.174. Завершающая фаза обучения,

File Edit Operate Parameters Cnnneclinns

Display Analyze

			EditN (Weights
-3.9732	4.0196	1.9842
-4.4240	4.4940 -2.3730		_
-6.5294	6.4096	2.9842
		[I

Й: 8:S

Рис. 4.178. Результат тестирования той же сети для ^ = 1, и₂ = 1 и с/ = 0.

Рис. 4.175. Веса нейронной сети, обученной программой BrainMaker с толерантностью 0,1.

Глава 4. Генетические алгоритмы

13 Эволюционные алгоритмы для обучения нейронных сетей____________ 297

Bratr,M»ker Profession»! P<ORNETj

Operate Parameters Connections Display Analyze

Last: 0 Sun: 510

tS\ S:S!i

„inin| W_T«;|3 Facts

^u| aeee out!^Ve.

олив

M

=4= =—r-=

Рис. 4.179. Графики, полученные при последую ем обучении программой BrainMaker сети с весами, показанными на рис. 4.175, при уровне толерантности 0,025.

Рис. 4.181. Процесс обучения сети с толерантностью 0,025 после 4000 прогонов.

Edit Network Weights

-7.9998 7.9994 2.2592 7 999В 7.9994 -2.6492

-7.9998 7.9994 3.2Z76

-7 9998 7.9394 4.0712

Рис. 4.180. Веса, полученные в результате последующего обучения сети при уровне толерантности 0,025 (после 510 прогонов - рис. 4.179).

Рис. 4.182. Веса, полученные после 4000 прогонов обучения сети с толерантностью 0,025.

4.13. Эволюционные алгоритмы для обучения нейронных сетей

Рис. 4.183. Процесс обучения сети на рис. 4.181 при изменении толерантности до 0,03.

File Јene0.9139	cs 0.9009	Genettc Training Option Genetic Training Network Quality
0,9133
0.9139
0.9117	0.S0D9
	0.9009
	0.9009
	0.9009
0.S08S	0.9009
0.9086
i043
0.903?
0.9023
0.901?
0.9003
0.SOO9

Рис. 4.185. Список нейронных сетей, сформированных программой GTO для примера 4.34 и упорядоченных в последовательности от «наилучшей» до «наихудшей».

		Ed4Net»	(erttWe.gig8
-7.999 -7.999	3 7.9994 3 7,9994	2.7424 -2.6492		:
-7.999	i 7.9994	3.5114
<1 1

Рис. 4.184. Веса, полученные по завершении обучения с (рис. 4.183).

с толерантностью 0,03

Глава 4. Генетические алгоритмы

4.73. Эволюционные алгоритмы для обучения нейронных сетей 301

-6.8992 6.7576 3.3(

ад* е!

I

File	Edit	Operate	Parame	ters	rPr (on	nectlons Display	Analyze
Uait	erne	Ftn	Pacts:	3 Я		Le Last: В Go	am: l.BBB Tolerance: ВЛвИ od: 22 Last: в Run: 1

Рис. 4.188. Результат тестирования той же сети для щ - 0, и₂ = 1 м d = 1

Рис. 4.186. Веса нейронной сети, реализующей систему XOR, полученные программой GTO (пример 4.34)

FHe Edit	Operate Parameters Conner	slonallGTOOOT ions Display	•NET] Ana.yze		i-]*;
^"12 "i.eeee "в.ввве	Total:If*^5' "lad*"	Le bast: в Go	arn: 1.ВВИ od: 22 La	Tolerance st: в	в Run: 1

Рис. 4.1 89. Результат тестирования той же сети для ы₁ = 1. и₂ = 0 и d - 1

			Bra		[GTO001.NET] |_jx
	Edit	Operate	Parameter	s Connections	Display Analyze
"и.	f. Ill	Ou	Facts: XO 22 В :^V8.e833	d:°e Last:	Learn: 1.ВВИ Tolerance: 8.1вИ В Good: 22 Last: В Run: 1

			Brain	rfaVer Prsfcsslona	РЛОШ11	.НБН	|_|X
File	Edit	Operate	Paramet	ers Connections	Uispisy	Analyze
Fffit "l. uZ	mm	Out	Pacts: X	°B^^CB Last:	Le в Go	arn: l.BBB Tolera od: 22 Last: в

Рис. 4.187. Результат тестирования сформированной программой СТО нейронной a с весами, показанными на рис. 4.186, для щ = 0, и₂ = 0 и d = 0.

Рис. 4.190. Результат тестирования той же сети для щ = 1, ц? = 1 и d= 0.

Глава 4. Генетические алгоритмы

Рис. 4.191. Процесс обучения нейронной сети, сформированной программой СТО, осуществляемый программой BrainMaker с толерантностью 0,025.

Edit Network Weights

Список литературы

нием. Это пример подхода, состоящего в «дообучении» нейронных сетей традиционным (в частности, градиентным) методом каждый раз перед оцениванием приспособленности [43]. Программа GTO также предоставляет возможность выбрать один из нескольких критериев оценивания нейронных сетей (функцию их приспособленности). Ре­шение о применении одного из двух рассмотренных гибридных под­ходов к совместному применению программ GTO и BrainMaker зави­сит от поставленной задачи и, как правило, принимается методом проб и ошибок. Как справедливо отмечается в [51], практически не­возможно априорно оценить - какой подход окажется лучшим для конкретной задачи.

Применительно к нейронной сети, предназначенной для реали­зации логической системы XOR, наилучшие результаты можно было бы ожидать от применения второго подхода. Однако с учетом ограни­ченного объема настоящей работы мы не будем рассматривать до­полнительные примеры, демонстрирующие различные возможности его реализации с использованием программы GTO.

Наиболее важные замечания относительно гибридного подхо­да, состоящего в объединении генетического алгоритма с градиент­ным методом обучения нейронных сетей (программа BrainMaker) представлены в п. 4.13.1. Программа GTO представляет собой при­мер равноправ ного объединения обоих методов, при котором в соот­ветствии с типовым циклом эволюции (п. 4.12.7) приспособленность особей популяции рассчитывается генетическим алгоритмом по ре­зультатам обучения нейронных сетей. Существование такой програм­мы, как GTO, подтверждает практическое применение гибридного подхода, объединяющего достоинства двух оптимизационных мето­дов: генетического алгоритма, который легко находит точку, близкую к оптимальному решению, и градиентного алгоритма, который старту­ет из найденной точки и быстро приводит к настоящему оптимуму.

-7.9998 7.9994 4.0286

I P°"^c I

е гибридного обучения сети программами

Список литературы

[1] Ackley D.H., A connection^ machine for genetic hillclimbing, Boston, MA: Kluwer Academic Publishers, 1987

[2] Bartlett P., Downs I, Training a neural networks with a genetic algo­rithm, Technical Report, Dept. of Elec. Eng., Univ. of Queensland, 1990.

[3] Belew, R. K., Mclnerney, J. Schraudolph N. N.. Evolving networks: Using genetic algorithms with connectionist learning. CSE technical report CS90-174, La Jolla, CA: University of California at San Diego, 1990.

[4] Brindle M., Genetic Algorithms for Function Optimization, Ph. D.disser-tation, University of Alberta, 1981.

[5] Caudell T. P., Genetic algorithms as a tool for the analysis of adaptive resonance theory neural network sets, Proceedings of International Workshop on Combinations of Genetic Algorithms and Neural Networks, COGANN-92, 1992, pp. 184-200.

[6] Chalmers D. J., The evolution of learning: An experiment in genetic con-nectionism, in; Proceedings of the 1990 Connectionist Models Summer

Глава 4. Генетические алгоритмы

School, ed. Touretsky D.S., Elman J. L.Sejnowski T. J., Hinton G. E.,

Morgan Kauffmann, San Mateo, CA, 1990, pp. 81-90.

Chong E. К P., Zak S. H, An'Introduction to Optimization, Wiley, 1996.

Cytowski J., Algorytmy genetyczne. Podstawy i zastosowania,

Akademicka Oficyna Wydawnicza PLJ, Warszawa 1996.

Daws L, Handbook of Genetic Algorithms, Van Nostrand Reinhold, NY,

[Щ

[10] Eberhart R. С, Dobbins R. W, Designing neural network explanation

facilities using genetic algorithms, IEEE International Conference on

Neural Networks, Singapore: IEEE, 1991, pp. 1758-1763. [11] Eberhart R. C, The role of genetic algorithms in neural network

query-based learning and explanation facilities, Proceedings of

International Workshop on Combinations of Genetic Algorithms and

Neural Networks, COGANN-92, 1992, pp. 169-183. [12] Fogel D. В., Fogel L J., Porto V. W, Evolving neural networks, Biological

Cybernetics, 1990, t. 63, pp. 487-193. [13] Fogel D. В., Evolutionary Computation. Towards a New Philosophy of

Machine Intelligence, IEEE Press, 1995. [14] Galar R., Miekka selekcja w losowej adaptacji globalnej w Rⁿ. Proba bio-

cybemetycznego ujecia rozwoju, Wydawnictwo Politechniki

Wroclawskiej, Wroclaw 1990. [15] Goldberg D. E., Algorytmy genetyczne i ich zastosowania, WNT,

Warszawa, 1995. [16] Gonzalez-Seco J., A genetic algorithm as the learning procedure for

neural networks, IEEE International Joint Conference on Neural

Networks, Baltimore, MD, IEEE, 1992, pp. 835-840. [17] Guo Z., Uhhg R. £., Use of genetic algorithms to select inputs for neural

networks, in: Proceedings of International Workshop on Combinations of

Genetic Algorithms and Neural Networks, COGANN-92, 1992, pp.

223-234 [18] Gruau P., Genetic synthesis of Boolean neural networks with a cell

rewriting development process, Proceedings of International Workshop

on Combinations of Genetic Algorithms and Neural Networks,

COGANN-92, 1992, pp. 55-74.

[19] Gwiazda Т., Algorytmy genetyczne. Wstep do teorii, Warszawa 1995. [20] Harp S. A, Samad Т., Guha A, Towards the genetic synthesis of neural

networks, in. Proceedings of the Third International Conference on

Genetic Algorithms and Their Applications; Schaffer J. D. (ed.), Morgan

Kauffmann, San Mateo, CA, 1989, pp. 360-369. [21] Holland J. H., Adaptation in Natural and Artificial Systems, Ann Arbor:

University of Michigan Press, 1975. [22] Hsu L. S., Wu Z В., Input Pattern Encoding Through Generalized

Adaptive Search, Proceedings of International Workshop on

Combinations of Genetic Algorithms and Neural Networks,

COGANN-92, 1992, pp. 235-247. [23] Ichar S., Weaver J., A developmental approach to neural networks

design, in: Caudill M., Butler C, (ed.), IEEE, 1987, pp. 97-104. [24] Ke//y J. D., Davis L, Hybridizing the genetic algorithm and the k-nearest

neighbors classification algorithm, in: Belew R. K, Booker L. B. (ed.),

[36] [37]

Список литературы

Fourth International Conference on Genetic Algorithms; San Mateo, CA: Morgan Kauffmann, 1991, pp. 377-383.

[25] Kitano H., Designing neural networks using genetic algorithms with graph generation system, Complex Systems, 1990, nr4, pp. 461-476.

[26] Kadaba N.. Nygard К £., Improving the performance of genetic algo­rithms in automated discovery of parameters, in: Porter B. W, Mooney R. J. (ed.), Proceedings of the Seventh International Conference of Machine Learning, San Mateo, CA Morgan Kauffmann, 1990, pp. 140-148.

[27] Kadaba N.. Nygard К £., Juell P. L, Integration of adaptive machine learning and knowledge-based systems for routing and scheuling appli­cations. Expert Systems with Applications, 1991, t. 2, nr 1, pp. 15-27.

[28] Korbicz J., Obuchowicz A., Ucinski D., Sztuczne sieci neuronowe. Podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ, Warszawa 1994.

[29] Koza J. R., Genetic Programming II. Automatic Discovery of Reusable Programs, MIT Press, 1994.

[30] Koza J R., Rice J. P., Genetic generation of both the weights and archi­tecture for a neural network, IEEE International Joint Conference on Neural Networks, Seatle, WA, pp. 397-404.

[31] Maren A., Harston C, Pap R., Handbook of Neural Computing Applications, Academic Press, 1990.

[32] Mexrill J. W. L, Port R.F., Fractally configured neural networks, Neural Networks, 1991, t. 4, pp. 53-60

[33] Michalewicz Z, Genetic Algorithms + Data Structures = Evolution Programs, Springer-Verlag, 1992.

[34] Miller G. F, Todd P. M., Hagde S. U., Designing neural networks using genetic algorithms, in: Proceedings of the Third International Conference on Genetic Algorithms and Their Applications, Schaffer J. D. (ed.), Morgan Kauffmann, San Mateo, CA, 1989, pp. 379-384.

[35] Montana D. J., Davis L, Training feedforward neural networks using genetic algorithms, in: Proceedings of Eleventh International Joint Conference on Artificial Intelligence, San Mateo, CA: Morgan Kauffmann, 1989, pp. 762-767

Mulawka J., Systemy ekspertowe, WNT, Warszawa 1996. Podsiadlo M., Uwagi do twierdzenia о schematach, Materialy I Krajowej Konferencji: Algorytmy Ewolucyjne, Politechnika Warszawska, czerwiec 1996.

[38] Schaffer J. D., Caruana R. A, Eshelma'n L J., Using genetic search to exploit the emergent behavior of neural networks, in: Forrest S. (ed.) Emergent Computation, Amsterdam: North Holland, 1990, pp. 244-248.

[39] Schaffer J. D., Whitley L, Eshelman J., Combinations of Genetic Algorithms and Neural Networks: A Survey of the State of the Art, Proceedings of International Workshop on Combinations of Genetic Algorithms and Neural Networks, COGANN-92, 1992.

[40] Schizas С Л/., Pattichis С. S., Middleton L Т., Neural networks, genetic algorithms and k-means algorithm: In search of data classification, in: Proceedings of International Workshop on Combinations of Genetic Algorithms and Neural Networks, COGANN-92,1992.

Глава 4. Генети

[41] Shonkwiler R., Miller K. R., Genetic algorithm, neural network synergy for nonlinearly constrained optimization problems, Proceedings of International Workshop on Combinations of Genetic Algorithms and Neural Networks, COGANN-92, 1992, pp. 248-257

[42] Suzuki K., Kakazu Y, An approach to the analysis of the basins of the associative memory model using genetic algorithms, in: Belew R. K., Booker L. В (ed.), Fourth International Conference on Genetic Algorithms, San Mateo, CA: Morgan Kaufmann, 1991, pp. 539-546.

[43] Weiss G., Neural networks and evolutionary computation part I: hybrid approches in artificial intelligence, Proceedings of the First IEEE Conference on Evolutionary Computation, 1994, pp. 268-272.

[44] Whitley D., Applying genetic algorithms to neural network learning, Proceedings of the Seventh Conference of the Society of Artificial Intelligence and Simulation of Behavior, Sussex, England, Pitman Publishing, 1989, pp. 137-144.

[45] Whitley D., Starkweather Т., Bogart C, Genetic algorithms and neural networks: Optimizing connections and connectivity, Parallel Computing. 1990, nr 14, pp. 347-361.

[46] Wnek J., Sarma J., Wahab A. A, Michalski R. S., Comparing learning paradigms via diagramatic vizualization: A case study in single concept learninig using symbolic, neural net and genetic algorithm methods, in Zemonkova M., Emrich M. L. (ed.) Metho dologies for intelligent sys­tems; 5, New York; Elsevier Sience Publishing, pp. 428—437.

[47] Yao X., A review of evolutionary artificial neural networks, International Journal of Intelligent Systems, 1993, pp. 539-567.

[48] FlexTool (GA) M2.1, Flexibe Intelligence Group, L.L.C, Tuscaloosa, AL 35486-1477, USA.

[49] Evolver — the Genetic Algorithm Problem Solver, Axcelis, Inc., 4668 Eastern Avenue N., Seattle, WA 98103, USA.

[50] BrainMaker, California Scientific Software, Nevada City, CA95959, USA.

[51] Genetic Training Option, California Scientific Software, Nevada City, CA 95959, USA.

ГЛАВА5

Дата добавления: 2015-06-04