Охарактеризуйте 4 правила представления знаний в нейронной сети

Правило 1

Сходные входные сигналы от схожих классов должны формировать единое представление в нейронной сети. Исходя из этого, они должны быть классифицированы как принадлежащие к одной категории. Существует множество подходов к определению степени сходства входных сигналов. Обычно степень подобия определяется на основе Евклидова расстояния. Более подробно об Евклидовом расстоянии можно прочитать в статье «Мера расстояния».

Правило 2

Элементы, отнесенные к различным классам, должны иметь в нейронной сети как можно более отличные представления. Это правило прямо противоположно первому.

Правило 3

Если некоторое свойство имеет важное значение, то для его представления в нейронной сети необходимо использовать большое количество нейронов. Для примера рассмотрим задачу обнаружения радаром некоторого объекта (например, самолета) при наличии помех (вызванных отражением сигнала от посторонних объектов, таких как дома, деревья, облака и т.п.). Эффективность такой радарной системы измеряется двумя вероятностными величинами.

вероятность обнаружения – вероятность того, что при наличии объекта система его обнаружит.

вероятность ложной тревоги – вероятность того, что система определит наличие объекта, когда того на самом деле не существует.

Эти две величины называются также ошибками первого и второго рода соответственно.

В соответствии с критерием Неймана-Пирсона вероятность обнаружения должна быть максимальной, а вероятность ложной тревоги не должна превосходить некоторой заданной величины. В подобных приложениях очень важно, чтобы во входном сигнале содержалась информация о цели. Третье правило констатирует, что в процесс принятия решения о наличии цели в полученном сигнале должно быть вовлечено большое число нейронов. В любом случае увеличение количества нейронов повышает достоверность принятого решения и устойчивость к помехам.

Правило 4

В структуру нейронной сети должны быть встроены априорная информация и инварианты, что упрощает архитектуру сети и процесс ее обучения. Это правило играет особую роль, поскольку правильная конфигурация сети обеспечивает ее специализацию, что очень важно по следующим причинам.

Биологические сети, обеспечивающие обработку зрительной и слуховой информации, сильно специализированы.

Нейронная есть со специализированной структурой обычно включает значительно меньшее количество свободных параметров, которые нужно настраивать, чем полносвязная сеть. Из этого следует, что для обучения специализированной сети требуется меньше данных. При этом на обучение затрачивается меньше времени, и такая сеть обладает лучшей обобщающей способностью.

Специализированные нейронные сети обладают большей пропускной способностью.

Стоимость создания специализированных нейронных сетей сокращается, поскольку их размер существенно меньше размера полносвязных сетей.

31. Каким образом можно встроить априорную информацию в нейронную сеть?

Априори – знание полученное, до опыта и независимо от него. В НС являются знаниями эксперта и могут быть встроены в базу знаний нейронной сети.

32. Каким образом можно встроить инварианты в структуру нейронной сети?

Инвариантность может быть привнесена в нейронную сеть с помощью соответствующей структуризации. В частности, синаптические связи между отдельными нейронами сети строятся таким образом, чтобы трансформированные версии одного и того же сигнала вызывали один и тот же выходной сигнал. Рассмотрим для примера нейронную сеть, которая должна быть инвариантна по отношению к плоскому вращению изображения относительно своего центра. Структурную инвариантность нейронной сети относительно вращения можно выразить следующим образом. Пусть – синаптический вес нейрона , связанного с пикселем входного изображения. Если условие выполняется для всех пикселей и , лежащих на равном удалении от центра изображения, нейронная сеть будет инвариантной к вращению. Однако, для того чтобы обеспечить инвариантность относительно вращения, нужно дублировать синаптические веса всех пикселей, равноудаленных от центра изображения. Недостатком структурной инвариантности является то, что количество синаптических связей изображения даже среднего размера будет чрезвычайно велико.

Дата добавления: 2014-12-23