Линейный взвешенный сумматор

На рис. 2.7. представлена структура линейного взвешенного сум­матора (linear combiner)¹¹. Его выход образуется сигналом у(п), который представляет собой линейную комбинацию всех входов и^(п), и₂(п), и^п), n = 1, 2,.... Введем обозначение

и(п) = [^(л), и₂(п),.... и^п)]^Т. (2.22)

Конкретные компоненты вектора и(п) умножаются на компоненты вектора весов

w=[w_vw_{2.............} w_N]^T. (2.23)

В результате выходной сигнал линейного взвешенного сумматора описывается формулой

м
y{n)=^w_ku_k(n) =_wT_u(_n). (2.24)

Выход линейного взвешенного сумматора у(п) будет использовать­ся в качестве реализации некоторого сигнала d(n), называемого эталон­ным или заданным сигналом. В результате сравнения реализации у(п) с сигналом d(n) получаем погрешность реализации

(2.25)

Рис. 2.7. Линейный взвешенный сумматор.

Здесь и далее для удобства читателей и следуя польскому изданию в скобках иногда указывается английское название термина. - Прим. перев.

(n) = d(n)~y(n).

Веса линейного взвешенного сумматора w_v w_2...... w_N будут подби­
раться так, чтобы минимизировать меру погрешности

Q(w) = Е\(п)2] = £

= E[(d(n) - w^Tu(n)f]. (2.26)

Предположим, что входной сигнал и(п) и эталонный сигнал d(n) -это реализации дискретных стохастических процессов {и(п)} и {d(n)}, сов­местно стационарных в широком смысле, т.е.

1) {и(п)} - стационарный в широком смысле стохастический процесс;

2) {d(n)} - стационарный в широком смысле стохастический процесс;

3) функция взаимной корреляции процессов {и(п)} и {d(n - к)} зави­
сит только от значения к.

Мера погрешности (2.26) называется среднеквадратичной по­
грешностью реализации. Обозначим [w\ w'_N]^T - w" вектор весов, ми­
нимизирующих погрешность (2.26). Представленная на рис. 2.7 система,
веса которой принимают значения w\...... w"_N, называется пространст­
венным фильтром Винера (spatial filter). Процесс фильтрации заключает­
ся в умножении входов и^(п),..., u_N(n) на соответствующее им множество
весов w\,..., w*_N с последующим суммированием отдельных произведений
для получения реализации у(п) эталонного сигнала d(n). Покажем, что
среднеквадратичная погрешность реализации (2.26) - это функция вто­
рого порядка вектора весов iv.

Поскольку

[d(n) - w^Tu(n)]² = d2(n) - 2d(n)w^Tu(n) + w^Tu(n)u^T(n)w, (2.27) то формула (2.26) принимает вид

Q(iv) = E[cf₂(n)] - 2w^TE[d(n)u(n)] + w^TE\u(n)u^T(n)] w. (2.28)

В последнем слагаемом выражения (2.28) можно выделить матри­цу автокорреляции компонентов входного вектора

E[U)(n)u_N(n)] E[u₂(n)u_N(n))

R = Е[и(п)и^Т(п)] -

Е[и,(п)и₂(п)] Е[и₂(п)щ(п)] Е[(и²₂(п))}

(2.29)

E[u_N(n)u,(n)} E[u_N(n)u₂(n)] - E[(u²_N(n))] а также вектор взаимной корреляции между сигналами d(n) и у(п)

E[d(n)u4n)Y

(2.30)

р = E[d(n)u(n)] =

E[d(n)u₂(n)] E[d(n)u_N(n)]

Глава 2. Многослойные нейронные сети и алгоритмы их обучения

2.4. Системы типа Адалайн

С использованием обозначений (2.29) и (2.30) среднеквадратич­ная погрешность реализации (2.28) может быть записана в виде

(2.31)

Q(w) = E[d²(n)] - 2w^Tp + iv^rRiv.

Из выражения (2.31) следует, что среднеквадратичная погреш­ность реализации Q(iv) - это функция второго порядка вектора весов iv. С геометрической точки зрения Q(w) представляется гиперпараболои­дом, имеющим единственный глобальный экстремум Q*. Этот гиперпара­болоид называется поверхностью среднеквадратичной погрешности. Рис. 2.8 представляет фрагмент типовой поверхности среднеквадратич­ной погрешности для N - 2 (в этом случае это параболоид).

Поверхность среднеквадратичной погрешности, описываемая
уравнением (2.31), имеет единственный глобальный экстремум Q*, дости­
гаемый при оптимальных значениях весов w\...... w*_N. Вычисление опти­
мальных значений весов сводится к определению вектора градиента
V функции Q(iv) и приравниванию полученного результата к нулю:

dQ

V=-

Дата добавления: 2015-06-04