Формальный нейрон

Основные черты нейронных сетей

Перечислим основные черты биологических нейронных сетей:

1. память,

2. обработка сенсорной (входной) информации,

3. нелинейная аппроксимация (на заданном отрезке),

4. прогноз (вне этого отрезка – на будущее),

5. классификация (разграничение объекта на группы),

6. распознавание (необходимо найти конкретный объект),

7. поиск по ассоциации.

В силу своих особенностей искусственные нейронные сети имеют следующие свойства:

1. параллельность вычислений (одновременность),

2. всеобщность метода (искусственных нейронных сетей), то есть существует возможность решить большой класс задач,

3. самоорганизация (в процессе обучения),

4. аналоговость (с этим связана некоторая трудность реализации),

5. надежность (если вырезать 10% нейронной сети, то оставшаяся часть может выполнять все необходимые операции),

6. обучаемость,

7. способность к обобщению (generalization) (после обучения сеть становится нечувствительной к малым изменениям входных сигналов),

8. абстрагирование (если предъявить сети несколько искаженных вариантов входного образа, то сеть сама может создать на выходе идеальный образ, с которым она никогда не встречалась).

Можно говорить о двух способах применения нейронных сетей:

1. Фоллеймановский подход, который отличается гибкостью (разнообразием структур нейронных сетей, возможностью обучения).

2. Нейроплаты и нейропроцессоры, где менять что-либо в процессе, после обучения, нельзя.

Формальный нейрон моделирует естественный биологический нейрон, который, в свою очередь, моделируется как устройство, имеющее несколько входов (дендриты), и один выход (аксон). Входы связаны с телом нейрона с помощью синоптических соединений. Каждому входу ставится в соответствие некоторый весовой коэффициент (w), характеризующий пропускную способность канала и оценивающий степень влияния сигнала с этого входа на сигнал на выходе. В зависимости от конкретной реализации, обрабатываемые нейроном сигналы могут быть аналоговыми или цифровыми. В теле нейрона происходит взвешенное суммирование входных возбуждений, и далее это значение является аргументом активационной функции F нейрона, один из возможных вариантов которой представлен на рисунке:

Сама функция F имеет решающее значение для нейрона, то есть определяет круг решаемых задач. Функции активизации бывают гладкими и негладкими:

1. Жесткая ступенька используется в классическом формальном нейроне. Она не дифференцируема.

2. Логистическая функция.

Применяется очень часто для многослойных перцептронов и других сетей с непрерывными сигналами. Гладкость, непрерывность функции — важные положительные качества. Непрерывность первой производной позволяет обучать сеть градиентными методами (например, метод обратного распространения ошибки).

3. Гиперболический тангенс

4. Пологая ступенька

5. Гауссовская функция

6. Приближение гауссовской кривой

Выбор функции может производиться самостоятельно. Ограничения, которые имеет нейрон:

1. Вычисление в нейронных системах производится параллельно (предполагается).

2. В формальном нейроне нет нервных импульсов.

3. Нет гормональной регуляции как в биологических системах.

4. Чрезмерная формализация приводит к тому, что неспособны решать некоторые задачи.

5. Функцию F в биологических системах трудно определить, здесь F – приближение, способное решать некоторые задачи.

Дата добавления: 2014-01-11