Структура искусственного нейрона

Глубокое изучение ИНС требует знания нейрофизиологии, науки о познании, психологии, физики (статистической механики), теории управления, теории вычислений, проблем искусственного интеллекта, статистики/математики, распознавания образов, компьютерного зрения, параллельных вычислений и аппаратных средств (цифровых/аналоговых/VLSI/оптических).

С другой стороны, ИНС также стимулируют эти дисциплины, обеспечивая их новыми инструментами и представлениями. Этот симбиоз жизненно необходим для исследований по нейронным сетям. Представим некоторые проблемы, решаемые в контексте ИНС и представляющие интерес для ученых и инженеров.

Классификация образов. Задача состоит в указании принадлежности входного образа (например, речевого сигнала или рукописного символа), представленного вектором признаков, одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание речи, классификация сигнала электрокардиограммы, классификация клеток крови.

Кластеризация/категоризация. При решении задачи кластеризации, которая известна также как классификация образов "без учителя", отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных.

Аппроксимация функций. Предположим, что имеется обучающая выборка ((x₁,y₁), (x₂,y₂)..., (x_n,y_n)) (пары данных вход-выход), которая генерируется неизвестной функцией f(x), искаженной шумом. Задача аппроксимации состоит в нахождении оценки неизвестной функции f(x). Аппроксимация функций необходима при решении многочисленных инженерных и научных задач моделирования.

Предсказание/прогноз. Пусть заданы n дискретных отсчетов {y(t₁), y(t₂)..., y(t_n)} в последовательные моменты времени t₁, t₂,..., t_n. Задача состоит в предсказании значения y(t_n+1) в некоторый будущий момент времени t_n+1. Предсказание/прогноз имеют значительное влияние на принятие решений в бизнесе, науке и технике. Предсказание цен на фондовой бирже и прогноз погоды являются типичными приложениями техники предсказания/прогноза.

Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей алгоритма оптимизации является нахождение такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию. Задача коммивояжера, относящаяся к классу NP-полных, является классическим примером задачи оптимизации.

Управление. Рассмотрим динамическую систему, заданную совокупностью {u(t), y(t)}, где u(t) является входным управляющим воздействием, а y(t) - выходом системы в момент времени t. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия u(t), при котором система следует по желаемой траектории, диктуемой эталонной моделью. Примером является оптимальное управление двигателем.

При применении нейронных сетей необходимо решить следующие задачи:

1. Постановка задачи, пригодной для решения с помощью нейронной сети.

2. Выбор модели ИНС.

3. Подготовка исходных данных для обучения ИНС.

4. Обучение ИНС.

5. Собственно решение задачи с помощью обученной ИНС

Кроме того, иногда нужен еще один этап – интерпретация решения, полученного нейронной сетью.

Наиболее трудоемкими процессами при использовании нейронных сетей являются подготовка исходных данных для обучения и обучение нейронной сети.

Нервная система и мозг человека состоят из нейронов, соединенных между собой нервными волокнами (рис.21). Нервные волокна способны передавать электрические импульсы между нейронами. Все процессы передачи раздражений от нашей кожи, ушей и глаз к мозгу, процессы мышления и управления действиями - все это реализовано в живом организме как передача электрических

импульсов между нейронами. Рассмотрим строение биологического нейрона. Каждый нейрон имеет отростки нервных волокон двух типов - дендриты, по которым принимаются импульсы, и единственный аксон, по которому нейрон может передавать импульс. Аксон контактирует с дендритами других нейронов через специальные образования - синапсы, которые влияют на силу импульса.

Рис. 21. Строение биологического нейрона

Можно считать, что при прохождении синапса сила импульса меняется в определенное число раз, которое мы будем называть весом синапса. Импульсы, поступившие к нейрону одновременно по нескольким дендритам, суммируются. Если суммарный импульс превышает некоторый порог, нейрон возбуждается, формирует собственный импульс и передает его далее по аксону. Передача информации между нейронами осуществляется ЭЛЕКТРИЧЕСКИМИ ИМПУЛЬСАМИ. Под действием этих сигналов возникает процесс химической диффузии ионов натрия, калия, хлора и некоторых других элементов, изменяющий электрический ПОТЕНЦИАЛ МЕМБРАНЫ. Когда этот потенциал (суммарный импульс) достигает некоторой величины, называемой ПОРОГОМ НЕЙРОНА, нейрон возбуждается и вырабатывает импульс, который уходит по аксону. При этом потенциал мембраны резко падает и нейрон "разряжается". После некоторой паузы нейрон может опять сформировать импульс. Важно отметить, что веса синапсов могут изменяться со временем, а значит, меняется и поведение соответствующего нейрона. Выходной сигнал проходит по ветвям аксона и достигает СИНАПСОВ, которые соединяют аксоны с дендритными деревьями других нейронов. Все нейроны вырабатывают сигналы только ОДНОГО ЗНАКА. Если импульсы, поступающие на СИНАПС, приводят к повышению мембранного потенциала, то такой СИНАПС называется ВОЗБУЖДАЮЩИМ. В противном случае СИНАПС называется ТОРМОЗЯЩИМ. Величина входного сигнала, генерируемого синапсом, может быть различной даже при одинаковой величине сигнала, проходящего через синапс. Эти различия определяются эффективностью или ВЕСОМ СИНАПСА.

Важно отметить, что веса синапсов могут изменяться со временем, а значит, меняется и поведение соответствующего нейрона.

Под нейронными сетями подразумеваются вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Адаптируемые и обучаемые, они представляют собой распараллеленные системы, способные к обучению путем анализа положительных и отрицательных воздействий. Элементарным преобразователем в данных сетях является искусственный нейрон или просто нейрон, названный так по аналогии с биологическим прототипом.

К настоящему времени предложено и изучено большое количество моделей нейроноподобных элементов и нейронных сетей.

Структура искусственного нейрона показана на рис. 22. В состав нейрона входят умножители (синапсы), сумматор и нелинейный преобразователь.

Рис.22. Структура искусственного нейрона

Синапсы осуществляют связь между нейронами и умножают входной сигнал на число, характеризующее силу связи, - вес синапса. Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента – выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона. Нейрон в целом реализует скалярную функцию векторного аргумента. Нетрудно построить математическую модель описанного процесса. Математическая модель нейрона описывается соотношениями:

где вес синапса, ; результат суммирования; компонент входного вектора (входной сигнал); выходной сигнал нейрона; число входов нейрона; нелинейное преобразование (функция активации или передаточная функция); значение смещения (в нейронную сеть иногда вводя смещение, которое действует как весовой коэффициент от ячейки с активацией, равной 1; смещение увеличивает входное воздействие в сеть на единицу; вместо смещения в ряде случаев применяется фиксированный порог для функции активации).

Дата добавления: 2014-01-07