Электрическая активность нейрона

Информативная деятельность нервных клеток связана с их электрической активностью и осуществляется на основе синаптического возбуждения, синаптического торможения и генерации нервных импульсов. Данные процессы базируются на специфических свойствах клеточной мембраны, разделяющей внутриклеточную и внеклеточную среду. Как та, так и другая среды содержат положительные ионы натрия, калия и других элементов.

Мембрана имеет толщину 5нм и состоит из двух молекулярных слоев, в которые встроены канальные белки, образующие шлюзы для ионов внутри и внеклеточной среды. Управление закрыванием или открыванием шлюзов осуществляется с помощью электрического, либо химического механизмов. Электрически управляемые белки (ЭУБ) расположены в основном на мембране аксона и частично сомы, а химически управляемые белки (ХУБ) расположены на мембранах дендритов и сомы. Кроме того, мембрана клетки пронизана белками, реализующими функцию ионного насоса (ИН).

Белки ИН постоянно выводят из клетки ионы натрия и вводят в нее ионы калия. Так, что вне клетки ионов натрия примерно в 10 раз больше, чем внутри нее, а ионов калия, наоборот, в клетке в 10 раз больше, чем вне ее. При таких концентрациях внутренний потенциал нейрона оказывается отрицательным и составляет – 70 мВ. В невозбужденном состоянии белки ионных насосов работают непрерывно при закрытых шлюзах. Потенциал покоя постоянен.

Если под влиянием внешних факторов внутренний потенциал повысится до некоторой пороговой величины, то расположенные у основания аксона (аксоном холмике) ЭУБ откроют свои шлюзы. Через них внутрь клетки начнут поступать в большом количестве положительные ионы натрия. Локальный внутренний потенциал аксона увеличивается и достигает положительных значений (+ 40 мВ). При таких значениях шлюзы положительных ионов натрия закрываются и открываются шлюзы положительных ионов калия. В локальной области увеличенного потенциала начинают уходить положительные ионы калия, потенциал снижается до исходной величины, шлюзы закрываются и ионный насос восстанавливает потенциал покоя.. Таким образом возникает электрический импульс, называемый спайком. Длительность импульса составляет примерно 3 мсек.

Возникнув в аксоном холмике, импульс вызывает последовательное открывание шлюзов следующего по ходу аксона участков мембраны, что приводит к его перемещению по мембране аксона вплоть до терминальных волокон (синаптических бляшек).

Нейрон получает сигналы (импульсы) от других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль аксона (передатчик), который в конце разветвляется на волокна На окончаниях этих волокон находятся синапсы.

Рис. 1 Схема биологического нейрона.

Синапс является элементарной структурой и функциональным узлом между двумя нейронами (волокно аксона одного нейрона и дендрит другого). Когда импульс достигает синаптического окончания, высвобождаются определенные химические вещества, называемые нейротрансмиттерами (медиаторами). Молекулы медиатора диффундируют через щель и попадают на постсинаптическую мембрану дендрита или сомы следующего нейрона. Попав на мембрану медиатор открывает расположенные здесь каналы химически управляемых белков. Если синапс возбуждающий, то медиатор открывает каналы положительных ионов натрия, если тормозящий – калия. В первом случае ионы натрия поступают в клетку и возбуждают ее, смещая внутриклеточный потенциал в положительную область, во втором - ионы калия уходят из клетки и тормозят ее, смещая внутриклеточный потенциал в отрицательную область. Результативность синапса может настраиваться проходящими через него сигналами, так что синапсы могут обучаться в зависимости от активности процессов, в которых они участвуют. Эта зависимость от предыстории действует как память, которая, возможно, ответственна за память человека. В головном мозге человека 1 мм³ формирует независимую локальную сеть, несущую определенную функциональную нагрузку.

Нейроны взаимодействуют посредством короткой серии импульсов, как правило, продолжительностью несколько мсек. Сообщение передается посредством частотно-импульсной модуляции. Частота может изменяться от нескольких единиц до сотен герц, что в миллион раз медленнее, чем быстродействующие переключательные электронные схемы. Тем не менее, сложные решения по восприятию информации, как, например, распознавание лица, человек принимает за несколько сотен мс. Эти решения контролируются сетью нейронов, которые имеют скорость выполнения операций всего несколько мс. Это означает, что вычисления требуют не более 100 последовательных стадий. Другими словами, для таких сложных задач мозг "запускает" параллельные программы, содержащие около 100 шагов. Это известно как «правило ста шагов». Рассуждая аналогичным образом, можно обнаружить, что количество информации, посылаемое от одного нейрона другому, должно быть очень маленьким (несколько бит). Отсюда следует, что основная информация не передается непосредственно, а захватывается и распределяется в связях между нейронами.

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Искусственная нейронная сеть – это набор нейронов, соединенных между собой. Как правило, активационная функция всех нейронов в сети фиксирована, а весв являются параметроами и могут изменяться. Некоторые входы нейронов помечены как внешние входы сети, а некоторые – как выходы – как выходы сети. Подавая любые числа на входы на выходе сети получаем какой-то набор чисел. пара Таким образом, работа нейронной сети состоит в преобразовании входного вектора Х в выходной вектор У, причем это преобразование задается весами сети

Например: алфавит русского языка содержит 33 буквы. Необходимо распознать буквы алфавита.

Дано: растровое черно-белое изображение букв размером 30х30 пикселов.

Задача для нейронной сети сформировать входной вектор из 900 двоичных символов, выходной вектор должен содержать 33 символа.

Подобно биологической нейронной системе ИНС является вычислительной системой с огромным числом параллельно функционирующих простых процессоров с множеством связей. Модели ИНС в некоторой степени воспроизводят "организационные" принципы, свойственные мозгу человека. Основу каждой НС составляют относительно простые, в большинстве случаев – однотипные, элементы (ячейки), имитирующие работу нейронов мозга. Далее под нейроном будет подразумеваться искусственный нейрон, то есть ячейка НС. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Нейрон — это элементарный преобразовательный элемент, имеющий непустое множество входов, на которые поступают сигналы х₁, х₂, …, х_n, суммирующий блок, блок преобразования сигнала с помощью активационной функции и и один выход У₀. Каждому входу приписан свой «вес» w_i (соответствующий «мере» биологической синаптической связи). Функционирует нейрон в два такта, на первом такте в суммирующем блоке вычисляется величина возбуждения полученного нейроном, которую удобно представлять в виде скалярного произведения вектора входных сигналов на вектор весов. На втором такте суммарное возбуждение пропускается через активационную (преобразующую) функцию F в результате чего получается выходной сигнал Y₀ = F(Y).

Он обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон – выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Общий вид нейрона приведен на рисунке 2.

Рис.2. Схема искусственного нейрона.

Каждый синапс характеризуется величиной синаптической связи или ее весом w_i, который по физическому смыслу эквивалентен электрической проводимости.

Текущее состояние нейрона определяется, как взвешенная сумма его входов:

Выход нейрона есть функция его состояния y = F(s), которая может быть различной:

Рис.3 Виды функций активации а) функция единичного скач­ка; б) линейный порог (гис­те­ре­зис); в) сигмоид – гипербо­ли­ческий тангенс; г) сигмоид.

Рис.3 Виды функций активации а) функция единичного скач­ка; б) линейный порог (гис­те­ре­зис); в) сигмоид – гипербо­ли­ческий тангенс; г) сигмоид.

Нелинейнаяфункция F называется активационной и может иметь различный вид, как показано на рисунке 3. Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида):

При уменьшении a сигмоид становится более пологим, в пределе при a=0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении a сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции – простое выражение для ее производной.

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

МакКалок и Питтс доказали, что при соответствующем образом подобранных весах совокупность параллельно функционирующих нейронов подобного типа способна выполнять универсальные вычисления. Здесь наблюдается определенная аналогия с биологическим нейроном - передачу сигнала и взаимосвязи имитируют аксоны и дендриты, веса связей соответствуют синапсам, а пороговая функция отражает активность сомы.

ИНС может рассматриваться как направленный граф со взвешенными связями в котором искусственные нейроны являются узлами. По архитектуре связей ИНС могут быть сгруппированы в два класса (рис. 2): сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями.

Классификация ИНС.

ИНС – это набор нейронов, соединенных между собой. Как правило, передаточная (активационная) функция всех нейронов в сети фиксирована, а веса являются параметрами сети и могут изменяться. Подавая любые числа на входы можно получить какой-то набор чисел на выходе сети. Таким образом, работа ИНС состоит в преобразовании входного вектора Х в выходной вектор У, причем это преобразование задается весами сети.

В зависимости от функций, выполняемых нейронами в сети, можно выделить три типа нейронов: входные, промежуточные, выходные.

С точки зрения топологии ИНС можно выделить три основных типа сетей: полносвязные, многослойные или слоистые, слабосвязные (НС с локальными связями).

Полносвязные характеризуются тем, что каждый нейрон передает свой сигнал остальным, в том числе и самому себе. Выходными сигналами могут быть все или некоторые выходные сигналы после нескольких тактов работы НС.

В многослойных НС нейтроны объединяются в слои. К наиболее распространенным архитектурам НС относятся сети прямого распространения (сети без обратных связей).

Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не связано с числом нейронов в других слоях.

Среди слоистых ИНС выделяют следующие типы:

- монотонные. Это частный случай слоистых сетей с дополнительными условиями на связи и элементы. Каждый слой, кроме последнего, разбит на два блока – возбуждающий и тормозящий. Связи между блоками также разделяют на возбуждающие и тормозящие;

- сети без обратных связей (прямого распространения);

- сети с обратными связями.

По принципу структуры нейронов различают гомогенные и гетерогенные ИНС. Гомогенные состоят из нейронов одного типа с единой функцией активации. В гетерогенных ИНС нейроны имеют различные функции активации.

Существуют бинарные и аналоговые ИНС. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). В аналоговых сетях выходные значения нейронов спо­соб­ны принимать непрерывные значения.

Различают также асинхронные и синхронные ИНС. В первом случае в каждый момент времени свое состояние меняет только один нейрон. Во втором – состояние меняется у группы нейронов, как правило, у всего слоя. ИНС можно классифицировать также по количеству слоев.

Рис. 2 Систематизация архитектур сетей прямого распространения и рекуррентных (с обратной связью).

В наиболее распространенном семействе сетей первого класса, называемых многослойным персептроном*, нейроны расположены слоями и имеют однонаправленные связи между слоями. На рис. 2 представлены типовые сети каждого класса. Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

. Нейронные сети можно классифицировать по числу слоев. Выбор структуры нейронной сети зависит от сложности задачи.

Сегодня под нейронными сетями (НС) понимаются параллельные вычислительные структуры, которые моделируют биологические процессы, обычно ассоциируемые с процессами человеческого мозга. НС обладают способностью приобретения знаний о предметной области, обучаясь на примерах и подстраивая свои веса для интерпретирования предъявляемых им многоразмерных данных.

На рис. 4 приведена структурная схема НС прямого распространения – многослойного персептрона. Кружками (вершинами) обозначены элементарные преобразователи информации – нейроны, а стрелками (дугами) – связи между ними, имеющие разную “силу” (веса синаптических связей). Как видно из рис., рассматриваемый персептрон состоит из нескольких слоёв нейронов:

• входного слоя, на который подаётся набор входных сигналов;

• одного или более “скрытых” (промежуточных) слоёв;

• выходного слоя нейронов.

Входной вектор подается на входной слой, а выходной определяется путем поочероедного вычисления уровней активности элементов каждого слоя с использованием реакцийц предыдущих слоев.

Особенности

нейроны каждого слоя не связаны между собой;

входной сигнал каждого нейрона поступает на входы всех нейронов последующего слоя;

нейроны входного слоя не осуществляют преобразование входных сигналов, их функции заключаются только в распределении сигналов между нейронами скрытого слоя.

Обучение сети «с учителем» состоит из следующих шагов:

1 Случайным образом инициализируются веса синаптических связей (наи практике из интервала [-0,05; 0,5]/

На входы НС поочередно подаются «образы» (входные векторы) обучающей выборки.

Вычисляется реакция НС на соответствующий входной вектор.

Вычисляется вектор ошибки сети – разность между желаемым и фактическим значением.

Вычисляется суммарная квадратичная ошибка.

Проверяется условие Е≤ Е_доп., где Е_доп- заданное условие ошибки.

Производится изменение весов НС в сторону уменьшения ошибки.

Более подробно этот алгоритм выглядит следующим образом:

Суть процесса обучения НС заключается в выполнении следующей многошаговой процедуры.

Шаг 1. Задаётся обучающее множество (“задачник”)

, элементами которого являются обучающие пары . В данном случае – 1-й входной вектор (или 1-й входной образ), предъявляемый нейронной сети; – вектор эталонных (требуемых) реакций НС в ответ на 1-й входной вектор ; L – число различных обучающих пар.

Шаг 2. Устанавливается начальное состояние НС путём присваивания всем её весам некоторых случайных (малых) значений. – вес связи, соединяющей выход i -го нейрона k -го слоя со входом j -го нейрона (k + 1)-го слоя.

Шаг 3. На вход сети подаётся входной вектор ; определяются реакции нейронов выходного слоя.

Шаг 4. Вычисляется разность между желаемой реакцией сети и её фактическим выходом , т. е. , а также суммарная квадратичная ошибка .

Шаг 5. Осуществляется коррекция весов нейронной сети таким образом, чтобы уменьшить ошибку .

Шаг 6. Повторяются шаги 3–5 для каждой пары обучающего множества до тех пор, пока ошибка на всем множестве не достигнет малой, заранее заданной величины Е *.

Результатом обучения является такая настройка весов синаптических связей, при которой каждому входному вектору сеть сопоставляет требуемый (или близкий к нему) выход.

Одним из первых алгоритмов, удачно зарекомендовавшим себя при обучении многослойной НС, явился предложенный в 1986 г. Руммельхартом Д. (США) и его коллегами алгоритм обратного распространения (Васk–Ргораgаtion Algorithm), претерпевший впоследствии многочисленные изменения и усовершенствования. Сущность этого алгоритма состоит в том, что подстройка весов осуществляется послойно, начиная с последнего(выходного) слоя и заканчивается первым скрытым слоем. Существуют также и другие алгоритмы обратного рспространения.

На сегодня известно более 200 разновидностей НС. Кроме упомянутых выше многослойных персептронов, это:

• динамические (рекуррентные) НС;

• сети на основе радиальных базисных функций;

• сети Хопфилда;

• сети Кохонена;

• неокогнитроны и т. д

Дата добавления: 2014-01-11