КАТЕГОРИИ: Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748) |
Архитектура нейронных сетей
Статистическая теория вероятности Лекция №3
Функции активации f(V) могут быть различных видов: 1. Функция единичного скачка или пороговой функции. Функция Хевисайда. Порог смешение или сдвиг. ; 2. Знаковая, сигнатурная функция. ; 3. Линейная функция. ; 4. Полулинейная функция. ; 5.Полулинейная функция с насыщением. ; 6. Треугольная функция
7.Сигмаидальная функция. Функция S-образного вида. Примерами служат логистическая функция, или сигмоидальная. ; где b-параметр наклона сигмаидальной функции, e- выходное значение в промежутке от 0 до 1.
8. Гиперболический тангенс.
9. SOFTМАХ. Для учета особенностей конкретной задачи могут быть выбраны другие функции активации. Например: Гаусова функция Получив набор чисел на входе, нейрон выдает некоторое число “y” на выходе, т.е. нейрон реализует скалярную функцию некоторого аргумента. Модель нейрона, представленная на Рис. 1 является детерминированной, это значит что преобразование входного сигнала в выходной точно определено для всех значений выходного сигнала. Однако в некоторых случаях, лучше использовать стохастические нейро-сетевые модели, в которых функция активация имеет вероятностную интерпретацию. В стохастической модели нейрон может находится в 2 состояниях +1 или -1. Решение о переключении состояния нейрона принимается с учетом вероятности этого события. Обозначив состояние нейрона символом “y”, а вероятность функции “V”, где “V” - индуцированное локальное поле нейрона.
Вероятность P(v) описывается сигмоидальной функцией вида; где T - аналог температуры (), который используется для управления уровнем шума, а следовательно степенью не определённостью переключения. При этом необходимо заметить, что параметр T не описывает физическую температуру нейронной сети, не биологической не искусственной. Это параметр управляет термальными флуктуациями, представляющими эффект синоптического шума. В случае, когда. Стохастический нейрон, описанный выражением, принимает детерминированную форму нейрона МакКалака - Питса без включения шума.
Нейрон - это составная часть нейронной сети. Искусственная нейронная сеть строится из нейронов, которые связанны друг с другом. Нейронные сети могут быть реализованы в виде быстрых аппаратных устройств, и такие реализации существуют. Однако, большинство исследований выполняется с использованием программного моделирования на компьютерах. Как правило, активационные функции всех нейронов в сети являются фиксированными, а веса - параметрами сети и могут изменяться. Работа нейронной сети состоит в преобразовании входного вектора, задаваемого весами сети и выходными в вектор. Чтобы построить нейронную сеть нужно выполнить следующие этапы: 1. Выбрать архитектуру(структуру, тип) сети. 2.Осуществить подбор весов сети(обучение сети). Задача построения нейронной сети является не тривиальной. На этапе выбора архитектуры нейронной сети нужно решить следующие вопросы: 1. Какие нейроны будем использовать (число входов, функции активации). 2.Как следует соединить нейроны между собой. 3.Какие входы нейронов взять в качестве внешних входов сети, и какие выходы в качестве внешних выходов. При этом не обязательно строить сеть «с нуля», существует множество нейро-сетевых архитектур, причем эффективность доказана математически. Наиболее изученные и популярные архитектуры, это многослойный пейсерптрон, нейронная сеть с общей регрессией, сети Кохонина. В зависимости от того, какие функции выполняют нейроны в сети, выделяются 3 типа:
1) Входные нейроны - это нейроны, на которые подается входной вектор, кодирующий входное воздействие или образ внешней среды, в них обычно не производится вычислительных процедур. Иногда информация передается с входа на выход путем изменения его активации. 2) Выходные нейроны – это нейроны, выходные значения которых, представляют выход сети. 3)Промежуточные нейроны – это нейроны, которые составляют основу искусственных сетей. Во многих моделях нейронных сетей, тип нейрона зависит от его расположения в сети. Если у нейрона имеются только выходные связи, то это входной нейрон, если наоборот выходной нейрон. В процессе функционирования сети, когда входной вектор преобразуется в выходной, происходит некоторая переработка информации. Конкретный вид этой информации зависит не только от функций активации, но и от особенностей ее архитектурны. Существуют бинарные и аналоговые нейронные сети. Бинарные сети оперируют с двоичными сигналами, при этом выход каждого нейрона принимает только 2 значения, логический 0 соответствующий заторможенному состоянию и логическая 1, соответствующая возбужденному состоянию. Нейронные сети бывают: 1. Статические, часто называемые сетями с прямой связью или (сетями прямого распространения). 2. Динамические или рекуррентные. Существуют три фундаментальных класса нейро-сетевых архитектур: А) Однослойные сети прямого распространения. Б) Многослойные сети прямого распространения. В) Рекуррентные сети.
Дата добавления: 2014-01-11; Просмотров: 607; Нарушение авторских прав?; Мы поможем в написании вашей работы! Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет |