Меры однородности объектов

Понятие кластерного анализа

При анализе и прогнозировании социально-экономических явлений исследователь довольно часто сталкивается с многомерностью их описания. Это происходит при решении задачи сегментирования рынка, построении типологии стран по достаточно большому числу показателей, прогнозирования конъюнктуры рынка отдельных товаров, изучении и прогнозировании экономической депрессии и многих других проблем.

Главное назначение кластерного анализа – разбиение множества исследуемых объектов и признаков на однородные в соответствующем понимании группы или кластеры. Это означает, что решается задача классификации данных и выявления соответствующей структуры в ней. Методы кластерного анализа можно применять даже в тех случаях, когда речь идет о простой группировке, в которой все сводится к образованию групп по количественному сходству.

Достоинство кластерного анализа в том, что он позволяет производить разбиение объектов не по одному параметру, а по целому набору признаков, рассматривать достаточно большой объем информации и резко сокращать, сжимать большие массивы социально-экономической информации, делать их компактными и наглядными.

Задача кластерного анализа заключается в том, чтобы на основании данных, содержащихся во множестве Х, разбить множество объектов G на m (m – целое) кластеров (подмножеств) Q₁, Q₂, …, Q_m, так, чтобы каждый объект G_j принадлежал одному и только одному подмножеству разбиения и чтобы объекты, принадлежащие одному и тому же кластеру, были сходными, в то время, как объекты, принадлежащие разным кластерам были разнородными.

Например, пусть G включает n стран, любая из которых характеризуется ВНП на душу населения (F₁), числом М автомашин на 1 тысячу человек (F₂), душевым потреблением электроэнергии (F₃), душевым потреблением стали (F₄) и т.д. Тогда Х₁ (вектор измерений) представляет собой набор указанных характеристик для первой страны, Х₂ - для второй, Х₃ для третьей, и т.д. Задача заключается в том, чтобы разбить страны по уровню развития.

Решением задачи кластерного анализа являются разбиения, удовлетворяющие некоторому критерию оптимальности. Этот критерий может представлять собой некоторый функционал, выражающий уровни желательности различных разбиений и группировок, который называют целевой функцией. Например, в качестве целевой функции может быть взята внутригрупповая сумма квадратов отклонения:

где x_j - представляет собой измерения j -го объекта.

Для решения задачи кластерного анализа необходимо определить понятие сходства и разнородности.

Однородными, принадлежащими одной и только одной группе считаются объекты х₁ и х₂, наблюдаемые признаки которых находятся в непосредственной близости друг от друга, а неоднородными – объекты, находящиеся, судя по тем же признакам, на удалении друг от друга сверх установленной нормы. Норму близости или удаленности называют метрикой расстояния.

Попадание в один или разные кластеры объектов определяется понятием расстояния между Х_i и Х_j. Неотрицательная функция d(Х_i, Х_j) называется функцией расстояния (метрикой), если:

а) d(Х_i, Х_j) ³ 0;

б) d(Х_i, Х_j) = 0, тогда и только тогда, когда Х_i = Х_j

в) d(Х_i, Х_j) = d(Х_j, Х_i)

Наиболее часто употребляются следующие функции расстояний:

1. Евклидово расстояние d(Х_i, Х_j) =

2. l₁ - норма d₁(Х_i, Х_j) =

3. l_p - норма d_р(Х_i, Х_j) =

Евклидова метрика является наиболее популярной. Метрика l₁ наиболее легкая для вычислений, а l_p - норма охватывает функции расстояний 1, 2, 3,.

Пусть n измерений Х₁, Х₂,..., Х_n представлены в виде матрицы данных размером p ´ n:

Тогда расстояние между парами векторов d(Х_i, Х_j) могут быть представлены в виде симметричной матрицы расстояний:

Понятием, противоположным расстоянию, является понятие сходства между объектами G_i. и G_j. Неотрицательная вещественная функция S(Х_i; Х_j) = S_ij называется мерой сходства, если:

1) 0£ S(Х_i, Х_j)<1 для Х_i ¹ Х_j

2) S(Х_i, Х_i) = 1

3) S(Х_i, Х_j) = S(Х_j, Х_i)

Пары значений мер сходства можно объединить в матрицу сходства:

Величину S_ij называют коэффициентом сходства.

Дата добавления: 2014-10-22