Статистический анализ данных в интеллектуальных системах принятия решений

Слово статистика происходит от латинского status, что в перевод означает состояние, положение вещей с точки зрения закона. Позже этот термин стал использоваться для названия данных о перепеси населения и его имущественного состояния.

Сегодня статистика – это область знаний в которой разрабатывются методы сбора, измерения (качественные и количественные) и анализа данных в различных явлениях, процессах и объектах.

Совокупность данных в различных явлениях, процессах и объектах называют массовыми или статистическими.

Различают описательную статистику, теорию оценивания, теорию проверки гипотез, эконометрику и стохастическое моделирование.

Описательная статистика – это совокупность эмпирических методов, которые используются для визуализации и интерпретации статистических данных. Например, кластерный анализ и многомерное шкалирование.

Методы оценивания и проверки гипотез основываются на теории вероятностей, а также учитывают вероятностную, стохастичну природу данных, которые анализируются.

Математическая статистка – научное направление в пределах которого разрабатываются методы систематизации, анализа и использования статистических данных для получения научных и практических выводов. В основу математической статистики положена теория вероятностей преимущественно для того, чтобы оценивать надежность и точность выводов, которые получают на основе анализа ограниченных статистических данных. Например, какое количество статистических данных необходимо для того, чтобы получить надежные выводы на основе их анализа.

Первой задачей статистики является установления способов сбора и группировки статистических данных. Пусть необходимо исследовать совокупность однородных явлений, объектов или процессов относительно некоторого признака, который может быть качественным или количественным. Например, если исследуется партия апельсинов, то качественным признаком может быть определенная характеристика внешнего внешнего вида апельсина, а количественной – его вес.

Для того чтобы сделать вывод относительно выбранного признака нужно выполнить обследование всех объектов. На практике, принимая во внимание значительное количество объектов, полное обследование практически не применяется. Наиболее приемлемым образом является отбор из всего множества объектов определенной ограниченной совокупности, объекты которой потом обследуют.

Выборочной совокупностью, или просто выборкой, называют совокупность объектов отобранных случайным чином.

Генеральной совокупностью называют множество объектов с которых осуществляется выборка.

Объемом совокупности (генеральной или выборочной) называют количество объектов в этой совокупности.

При составлении выборки возможны два подхода, а именно: после того как объект отобран и обследован, его возвращают или не возвращают в генеральную совокупность. В связи с этим различают выборки с повторением или без повторения.

Выборкой с повторением называют совокупность, в которой отобраный объект перед выбором следующего возвращается в генеральную совокупность.

Выборкой без повторений называют совокупность, в которой выбранный объект не возвращается в генеральную совокупность.

Для того чтобы по данным выборки можно было сделать достаточно обоснованные выводы относительно избранного признака объектов генеральной совокупности, необходимо чтобы выборка с достаточной точностью отражала особенности генеральной совокупности. Если это условие выполняется, то выборку называют репрезентативной. Одним из способов формирования репрезентативной выборки есть способ, когда объекты из генеральной совокупности отбираются случайным образом, так чтобы вероятность попасть в выборку для каждого объекта была одинаковой.

При формировании выборки используется простой случайный выбор из всей генеральной совокупности и выбор, при котором генеральная совокупность делится на части.

Например, для того чтобы провести опрашивание с целью выяснения спроса на новую услугу можно случайным образом сформировать из генеральной совокупности абонентов выборку без учета, например, возраста, или разбить генеральную совокупность на определенные возрастные категории и из каждой такой категории сформировать выборки. В первом случае способ формирования выборки называют простым случайным отрбором, а во втором случае – типизированным отбором. Типизированный отбор целесообразно использовать в тех случаях, когда исследуемый признак генеральной совокупности существенно отличается в каждой категории или группе.

Пусть, в выборке, которая получена из генеральной совокупности, значение признакa наблюдалось раз, - раз, - раз, а объем выборки . Значения принято называть вариантами, а последовательность вариант, упорядоченных в порядке возрастания – вариационным рядом. Число наблюдений варианты называют частотой, а отношение

(*1)

относительной частотой.

Статистическим распределением выборки называют перечень вариант и соответствующих им частот. Статистическое распределение можно задать также в виде последовательности интервалов и соответствующих им частот, при этом частоту определяют как количество значений, которые принадлежат этому интервалу.

Пусть известно статистическое распределение частот признака . Обозначим через частоту наблюдения вариант, которые удовлетворяют условию . Очевидно, что

(*2).

Тогда относительная частота вариант будет равна

(*3).

Для разных значений получим разные значения относительных частот . Зависимость от , которую устанавливают опытным (эмпирическим) путем, называют эмпирической функцией распределения относительных частот.

Рассмотрим пример. В табл. *1 приведены значения вариант и их частоты.

Таблица *1 –Статистические данные

№
				0,018
				0,062
				0,120
				0,168
				0,263
				0,387
				0,551
				0,697
				0,814
				0,901
				0,956
				0,993

Объем выборки . Значения и рассчитываются по формулам (*2,*3). Например, для

.

Для того чтобы визуализировать полученные результаты можно построить гистограмму, или полигон (см. рис *2)

Функцию распределения называют теоретической функцией распределения вероятностей генеральной совокупности, если считать что ее объем . Генеральная совокупность может характеризоваться также и теоретической функцией распределения плотности вероятностей. Для выборки можно построить эмпирическую функцию относительных частот. Гистограма этой функции приведена на рис. *3.

После того как построены эмпирические функции можно сделать вывод относительно теоретических функций генеральной совокупности и установить их параметры. Например, если стало известно, что исследуемый признак генеральной совокупности подчиняется нормальному распределению, то можно получить оценку (найти приблизительное значение) математического ожидания и дисперсии, поскольку эти два параметры целиком определяют нормальное распределение вероятностей. Оценку параметров статистического распределения можно получить используя преимущественно выборочные данные. Рассмотрим основные параметры статистических распределений.

Дата добавления: 2014-01-15