Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Архитектура нейронных сетей

Статистическая теория вероятности

Лекция №3

 

 

Функции активации f(V) могут быть различных видов:

1. Функция единичного скачка или пороговой функции. Функция Хевисайда. Порог смешение или сдвиг.

;

2. Знаковая, сигнатурная функция.

;

3. Линейная функция.

;

4. Полулинейная функция.

;

5.Полулинейная функция с насыщением.

;

6. Треугольная функция

 

7.Сигмаидальная функция. Функция S-образного вида. Примерами служат логистическая функция, или сигмоидальная.

; где b-параметр наклона сигмаидальной функции, e- выходное значение в промежутке от 0 до 1.

 

8. Гиперболический тангенс.

 

 

9. SOFTМАХ. Для учета особенностей конкретной задачи могут быть выбраны другие функции активации. Например: Гаусова функция

Получив набор чисел на входе, нейрон выдает некоторое число “y” на выходе, т.е. нейрон реализует скалярную функцию некоторого аргумента.

Модель нейрона, представленная на Рис. 1 является детерминированной, это значит что преобразование входного сигнала в выходной точно определено для всех значений выходного сигнала. Однако в некоторых случаях, лучше использовать стохастические нейро-сетевые модели, в которых функция активация имеет вероятностную интерпретацию. В стохастической модели нейрон может находится в 2 состояниях +1 или -1. Решение о переключении состояния нейрона принимается с учетом вероятности этого события. Обозначив состояние нейрона символом “y”, а вероятность функции “V”, где “V” - индуцированное локальное поле нейрона.

 

Вероятность P(v) описывается сигмоидальной функцией вида; где T - аналог температуры (), который используется для управления уровнем шума, а следовательно степенью не определённостью переключения. При этом необходимо заметить, что параметр T не описывает физическую температуру нейронной сети, не биологической не искусственной. Это параметр управляет термальными флуктуациями, представляющими эффект синоптического шума. В случае, когда. Стохастический нейрон, описанный выражением, принимает детерминированную форму нейрона МакКалака - Питса без включения шума.

Нейрон - это составная часть нейронной сети. Искусственная нейронная сеть строится из нейронов, которые связанны друг с другом. Нейронные сети могут быть реализованы в виде быстрых аппаратных устройств, и такие реализации существуют. Однако, большинство исследований выполняется с использованием программного моделирования на компьютерах. Как правило, активационные функции всех нейронов в сети являются фиксированными, а веса - параметрами сети и могут изменяться. Работа нейронной сети состоит в преобразовании входного вектора, задаваемого весами сети и выходными в вектор.

Чтобы построить нейронную сеть нужно выполнить следующие этапы:

1. Выбрать архитектуру(структуру, тип) сети.

2.Осуществить подбор весов сети(обучение сети). Задача построения нейронной сети является не тривиальной.

На этапе выбора архитектуры нейронной сети нужно решить следующие вопросы:

1. Какие нейроны будем использовать (число входов, функции активации).

2.Как следует соединить нейроны между собой.

3.Какие входы нейронов взять в качестве внешних входов сети, и какие выходы в качестве внешних выходов.

При этом не обязательно строить сеть «с нуля», существует множество нейро-сетевых архитектур, причем эффективность доказана математически. Наиболее изученные и популярные архитектуры, это многослойный пейсерптрон, нейронная сеть с общей регрессией, сети Кохонина.

В зависимости от того, какие функции выполняют нейроны в сети, выделяются 3 типа:

1) Входные нейроны - это нейроны, на которые подается входной вектор, кодирующий входное воздействие или образ внешней среды, в них обычно не производится вычислительных процедур. Иногда информация передается с входа на выход путем изменения его активации.

2) Выходные нейроны – это нейроны, выходные значения которых, представляют выход сети.

3)Промежуточные нейроны – это нейроны, которые составляют основу искусственных сетей.

Во многих моделях нейронных сетей, тип нейрона зависит от его расположения в сети. Если у нейрона имеются только выходные связи, то это входной нейрон, если наоборот выходной нейрон.

В процессе функционирования сети, когда входной вектор преобразуется в выходной, происходит некоторая переработка информации. Конкретный вид этой информации зависит не только от функций активации, но и от особенностей ее архитектурны. Существуют бинарные и аналоговые нейронные сети.

Бинарные сети оперируют с двоичными сигналами, при этом выход каждого нейрона принимает только 2 значения, логический 0 соответствующий заторможенному состоянию и логическая 1, соответствующая возбужденному состоянию. Нейронные сети бывают:

1. Статические, часто называемые сетями с прямой связью или (сетями прямого распространения).

2. Динамические или рекуррентные. Существуют три фундаментальных класса нейро-сетевых архитектур:

А) Однослойные сети прямого распространения.

Б) Многослойные сети прямого распространения.

В) Рекуррентные сети.

<== предыдущая лекция | следующая лекция ==>
 | Типы многослойных нейронных сетей
Поделиться с друзьями:


Дата добавления: 2014-01-11; Просмотров: 607; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.009 сек.