Обучение без учителя

Б) Слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения.

А) Приращения весов и, следовательно, скорость обучения для нахождения экстремума должны быть бесконечно малыми, однако тогда бесконечно возрастает время обучения.

Применение метода градиентного спуска не гарантирует нахождения глобального минимума целевой функции.

Б) Малые величины производной сигмоиды приведут к остановке обучения, что парализует сеть.

А) Большие по модулю значения весов могут сместить рабочую точку на сигмоидах нейронов в область насыщения.

Возможные проблемы при выборе структуры и обучении нейросети:

•Возможность “переобучения” нейросети: возможно при длительном обучении сети и сложности сети, превышающей необходимую сложность для решения данной задачи. Для того, чтобы избежать “переобучения” сети, можно выделить отдельно обучающее и тестовое множество и обучать сеть до тех пор, пока ошибка на тестовом множестве (ошибка обобщения) не начнет расти. Другой способ – “зашумлять” небольшими случайными значениями обучающую выборку.

•При многократном повторении обучения высока вероятность подбора сети, минимизирующей ошибку на контрольном множестве, так как она также косвенно участвует в обучении. Поэтому необходимо дополнительное тестовое множество, которое можно использовать только один раз для проверки качества обученной.

•При недостаточной сложности сети верные разделяющие поверхности могут не построиться, например, на 1 нейроне с 2 синапсами не реализовать логическую функцию XOR.

Для подбора структуры сети можно использовать критерии:

-Если ошибка на контрольном множестве начала расти, можно уменьшить количество нейронов в скрытых слоях.

-И наоборот, если ошибка на обучающем множестве не достигла нужного значения, сложность сети следует повысить.

Алгоритмы обучения Хебба

Дата добавления: 2014-01-20