В конструктивных алгоритмах сохраняются навыки, приобретенные НС до увеличения числа нейронов

Шаг 4. В случае неудачного обучения увеличение количества нейронов и переход к шагу 2.

Шаг 3. Обучение сети по заданной выборке.

Шаг 2. Инициализация. Присвоение весам и смещениям случайных значений из заданного диапазона.

Шаг 1. Выбор начального числа нейронов в скрытых слоях.

Конструктивные алгоритмы (constructive algorithms)

Основаны на методике обучения многослойных НС:

Конструктивные алгоритмы различаются правилами задания значений параметров в новых добавленных в сеть нейронах:

а) значения параметров являются случайными числами из заданного диапазона;

б) значения синаптических весов нового нейрона получаются путем расщепления (splitting) одного из старых нейронов. Для расщепления выбирается нейрон, вектор изменений которого имеет 2 преимущественных направления, т.е. вес нейрона осциллирует вокруг одной точки.

Алгоритмы расщепления:

- На основе ковариационной матрицы векторов изменений весов синапсов (высокие вычислительные затраты)

-Упрощенный:

В упрощенном алгоритме для расщепления выбирается нейрон с наибольшим значением функционала:

Где – вектор изменения синаптических весов i -го нейрона в результате использования k -го обучающего примера.

Дата добавления: 2014-01-20