Свойства оценок, получаемых при помощи МНК

Понятно, что при многократном проведении наблюдений в результате расчетов будут получены различные значения параметров (в результате случайных колебаний). Например, если мы определяем параметры парной линейной регрессии a и b, то в результате исследования одной выборки мы получим значения параметров a₁ и b₁, по другой выборке - a₂ и b₂, и т.д. можем получить бесконечно много оценок параметров. Таким образом, сами оценки представляют собой случайную величину, для которой можно рассчитать вероятностные характеристики.

Математическое ожидание и дисперсия. В теории вероятностей среднее значение случайной величины, полученное при неограниченно большом числе опытов, называют ее математическим ожиданием и обозначают М(x) (x – случайная величина).

Математическое ожидание квадрата отклонения случайной величины от своего математического ожидания называют дисперсией (соответствует понятию дисперсии в статистике – средний квадрат отклонений от среднего) и обозначают D(x) или . Для расчета дисперсии удобно использовать не ее определение D(x) = M(x – M(x))², а следующую формулу: D(x) = M(x²) -
– M²(x)). Иными словами, дисперсию можно рассчитать, как разность между математическим ожиданием квадрата случайной величины и квадратом ее математического ожидания[1].

Итак, выборочные оценки параметров имеют математическое ожидание и дисперсию.

Если бы мы могли охватить в исследовании не выборку, а всю генеральную совокупность данных, то получили бы значения параметров регрессии, которые условно можно назвать истинными.

Оценки параметров, полученные МНК, обладают важными свойствами, строгое доказательство которых приводится в математической статистике (здесь не рассматривается):

1) несмещенность;

2) состоятельность;

3) эффективность.

Рассмотрим их подробно.

Несмещенность. Свойство несмещенности заключается в том, что математическое ожидание оценки равно неизвестному истинному значению параметра. Это означает, что выборочные оценки как бы концентрируются вокруг неизвестных истинных значений параметров. Это очень важное свойство, - если бы оно не выполнялось, метод давал бы заведомо неверную информацию.

Состоятельность. Свойство состоятельности заключается в том, что при стремлении числа наблюдений к бесконечности дисперсии оценок стремятся к нулю. Это означает, что с ростом числа наблюдений их разброс становится все меньше, оценки становятся все более надежными, все плотнее концентрируются вокруг истинных значений.

Эффективность. Свойство эффективности заключается в том, что эти оценки имеют наименьшую дисперсию по сравнению с любыми другими оценками параметров. Собственно, именно на этом и основан МНК (см. исходное соотношение (2.2)).

Практическая значимость перечисленных свойств заключается еще и в том, что с ростом объема выборки не происходит накопление регрессионных остатков.

Дата добавления: 2014-01-11