Проверка адекватности обучения

Даже в случае успешного, на первый взгляд, обучения сеть не всегда обучается именно тому, чего от неё хотел создатель. Известен случай, когда сеть обучалась распознаванию изображений танков по фотографиям, однако позднее выяснилось, что все танки были сфотографированы на одном и том же фоне. В результате сеть «научилась» распознавать этот тип ландшафта, вместо того, чтобы «научиться» распознавать танки^[16]. Таким образом, сеть «понимает» не то, что от неё требовалось, а то, что проще всего обобщить.

Тестирование качества обучения нейросети необходимо проводить на примерах, которые не участвовали в ее обучении. При этом число тестовых примеров должно быть тем больше, чем выше качество обучения. Если ошибки нейронной сети имеют вероятность близкую к одной миллиардной, то и для подтверждения этой вероятности нужен миллиард тестовых примеров. Получается, что тестирование хорошо обученных нейронных сетей становится очень трудной задачей. Исключением являются нейронные сети с большим числом выходов (нейросетевые преобразователи биометрия-код), их тестирование проводится по ГОСТ Р 52633.3-2011 «Защита информации. Техника защиты информации. Тестирование стойкости средств высоконадежной биометрической защиты к атакам подбора». Пользуясь процедурами этого стандарта удается подтвердить высокое качество нейросетевых решений на выборках, состоящих всего из 100 примеров. Происходит это из-за того, что стандарт требует перейти к метрикам расстояний Хэмминга между кодом "Свой" и кодами "Чужой". Если длина выходных кодов выше 16 разрядов, то распределение расстояний Хэмминга можно считать нормальным. Чем больше длина выходного кода нейросети, тем выше нормализация распределения расстояний Хэмминга. То есть, для оценки вероятностей ошибок оказывается достаточно вычислить математическое ожидание и среднеквадратическое отклонение распределения расстояний Хэмминга. В итоге, на малой тестовой выборке всего из 100 примеров удается надежно оценить вероятности ошибок в одну миллиардную долю и меньше. Проблема тестирования высоконадежных нейросетевых решений кардинально упрощается.

Классификация по типу входной информации

§ Аналоговые нейронные сети (используют информацию в форме действительных чисел);

§ Двоичные нейронные сети (оперируют с информацией, представленной в двоичном виде).

Классификация по характеру обучения

§ Обучение с учителем — выходное пространство решений нейронной сети известно;

§ Обучение без учителя — нейронная сеть формирует выходное пространство решений только на основе входных воздействий. Такие сети называют самоорганизующимися;

§ Обучение с подкреплением — система назначения штрафов и поощрений от среды.

Классификация по времени передачи сигнала

В ряде нейронных сетей активирующая функция может зависеть не только от весовых коэффициентов связей , но и от времени передачи импульса (сигнала) по каналам связи . Поэтому в общем виде активирующая (передающая) функция связи от элемента к элементу имеет вид: . Тогда синхронной сетью называют такую сеть, у которой время передачи каждой связи равно либо нулю, либо фиксированной постоянной . Асинхронной называют такую сеть у которой время передачи для каждой связи между элементами и свое, но тоже постоянное.

Классификация по характеру связей

Сети прямого распространения (Feedforward)

Все связи направлены строго от входных нейронов к выходным. Примерами таких сетей являются перцептрон Розенблатта, многослойный перцептрон, сети Ворда.

Дата добавления: 2015-06-04