Инициализация весовых векторов Т

ХАРАКТЕРИСТИКИ APT

Системы APT имеют ряд важных характеристик, не являющихся очевидными. Формулы и алгоритмы могут ка­заться произвольными, в то время как в действительности они были тщательно отобраны с целью удовлетворения требований теорем относительно производительности сис­тем APT. В данном разделе описываются некоторые алго­ритмы APT, раскрывающие отдельные вопросы инициализации и обучения.

Из ранее рассмотренного примера обучения сети можно было видеть, что правило двух третей приводит к вычислению вектора С как функции И между входным век­тором Х и выигравшим соревнование запомненным вектором Т _j. Следовательно, любая компонента вектора С будет равна единице в том случае, если соответствующие компо­ненты обоих векторов равны единице. После обучения эти компоненты вектора Т _j остаются единичными; все остальные устанавливаются в нуль.

Это объясняет, почему веса t _ij. должны инициализи­роваться единичными значениями. Если бы они были проинициализированы нулевыми значениями, все компоненты вектора С были бы нулевыми независимо от значений ком­понент входного вектора, и обучающий алгоритм предохра­нял бы веса от изменения их нулевых значений. Обучение может рассматриваться как процесс «сокра­щения» компонент запомненных векторов, которые не соот­ветствуют входным векторам. Этот процесс необратим, если вес однажды установлен в нуль, обучающий алгоритм никогда не восстановит его единичное значение. Это свойство имеет важное отношение к процессу обучения. Предположим, что группа точно соответствующих векторов должна быть классифицирована к одной катего­рии, определяемой возбуждением одного нейрона в слое распознавания. Если эти вектора последовательно предъ­являются сети, при предъявлении первого будет распреде­ляться нейрон распознающего слоя, его веса будут обуче­ны с целью соответствия входному вектору. Обучение при предъявлении остальных векторов будет приводить к обну­лению весов в тех позициях, которые имеют нулевые зна­чения в любом из входных векторов. Таким образом, запо­мненный вектор представляет собой логическое пересече­ние всех обучающих векторов и может включать существен­ные характеристики данной категории весов. Новый век­тор, включающий только существенные характеристики, будет соответствовать этой категории. Таким образом, сеть корректно распознает образ, никогда не виденный ранее, т.е. реализуется возможность, напоминающая про­цесс восприятия человека.

Дата добавления: 2014-01-15