Стохастическая модель нейрона

Рассмотренная ранее модель нейрона является детерминированной. Это значит, что преобразование входного сигнала в выходной задается некоторой однозначной функцией, определенной на всем множестве входных сигналов. Однако, в некоторых приложениях применяется стохастическая модель нейрона, в которой функция активации носит вероятностный характер.

В таких моделях выходной сигнал нейрона может быть +1 и -1 и определяется с учетом вероятности каждого из исходов. Таким образом, функция активации для стохастического нейрона будет иметь вид:

, (7.10)

где - это вероятность активации нейрона, а это индуцированное локальное поле нейрона (сигнал, который формируется на выходе сумматора).

Вероятность активации нейрона может быть описана сигмоидальной функцией следующего вида:

, (7.11)

где - это аналог температуры, используемый для управления степенью неопределенности переключения. Следует отметить, что величина не описывает физическую температуру нейронной сети.

Очевидно, что при стохастический нейрон принимает детерминированную форму нейрона со ступенчатой функцией активации вида:

(7.12)

Дата добавления: 2014-01-06