Лекция 15. Миграция как проблема социальной работы

Пример решения задачи поиска ассоциативных правил

Дана транзакционная база данных, необходимо найти наиболее часто встречающиеся наборы товаров и набор ассоциативных правил с определенными границами значений поддержки и доверия.

Рассмотрим процесс построения ассоциативных правил в аналитическом пакете Deductor.

Транзакционная база данных, которая содержит в каждой записи номер чека и товар, приобретенный по этому чеку, имеет формат MS Excel. Для начала импортируем данные из файла MS Excel в среду Deductor, этот процесс аналогичен тому, что был рассмотрен в лекции о нейронных сетях. Единственное отличие - в назначении столбцов. Для номера транзакции (обычно в базе данных - это поле "номер чека") указываем тип "идентификатор транзакции (ID)", а для наименований товара - тип "элемент". Результат импорта базы данных из файла MS Excel в среду Deductor видим на рис. 15.2. На рисунке приведен фрагмент базы данных, которая содержит более 140 записей.

Рис. 15.2. Транзакционная база данных, импортированная в Deductor из файла MS Excel

Далее вызываем мастер обработки и выбираем метод "Ассоциативные правила". На втором шаге мастера проверяем назначения исходных столбцов данных, они должны иметь тип "ID" и "элемент".

На третьем шаге, проиллюстрированном на рис. 15.3, необходимо настроить параметры поиска правил, т.е. установить минимальные и максимальные характеристики поддержки и достоверности. Это наиболее "ответственный" момент формирования набора правил, о важности выбора границ значений поддержки и достоверности уже говорилось в начале лекции. Выбор можно сделать на основе каких-либо соображений, имеющегося опыта анализа подобных данных, интуиции или же определить в ходе экспериментов.

Рис. 15.3. Настройка параметров построения ассоциативных правил

Мы установим такие границы для параметров поиска: минимальный и максимальный уровень поддержки равны 20% и 60% соответственно, минимальный и максимальный уровень значения достоверности равны 40% и 90% соответственно. Эти значения были выявлены в ходе проведения нескольких экспериментов, и оказалось, что именно при таких значениях формируется требуемый набор правил. При указании некоторых значений, например, уровня поддержки от 30% до 50%, набор правил не формируется, поскольку ни одно правило по параметрам поддержки не входит в этот интервал.

На следующем шаге мастера запускается процесс поиска ассоциативных правил. В результате видим информацию о количестве множеств и найденных правил в виде гистограммы распределения часто встречающихся множеств по их мощности. Данный процесс проиллюстрирован на рис. 15.4.

Рис. 15.4. Процесс построения ассоциативных правил

Здесь мы видим, что количество сформированных множеств равно тринадцати - это популярные наборы, количество сформированных правил - пятнадцать.

На следующем шаге для просмотра полученных результатов предлагается выбрать визуализаторы из списка; мы выберем такие: "Популярные наборы", "Правила", "Дерево правил", "Что-если". Рассмотрим, что они из себя представляют.

Визуализатор "Популярные наборы". Популярные наборы или часто встречающиеся наборы - это наборы, состоящие из одного или нескольких товаров, которые в транзакциях наиболее часто встречаются одновременно. Характеристикой, насколько часто набор встречается в анализируемом наборе данных, является поддержка.

Популярные наборы нашего набора данных, найденные при заданных параметрах, приведены в таблице 15.3. Есть возможность отсортировать данную таблицу по разным ее характеристикам. Для определения наиболее популярных товаров и их наборов удобно отсортировать ее по уровню поддержки. Таким образом, мы видим, что наибольшей популярностью пользуются такие товары: хлеб и булки, масло, соки.

Таблица 15.3. Визуализатор "Популярные наборы"
N	Множество	Поддержка
%	Кол-во
	ХЛЕБ И БУЛКИ	54,55
	МАСЛО	52,27
	СОКИ	50,00
	МАСЛО И ХЛЕБ И БУЛКИ	45,45
	МОЛОКО	43,18
	КЕФИР	31,82
	ЙОГУРТЫ	31,82
	СОКИ И ХЛЕБ И БУЛКИ	22,73
	МОЛОКО И ХЛЕБ И БУЛКИ	22,73
	МАСЛО И МОЛОКО	22,73
	ЙОГУРТЫ И КЕФИР	22,73
	МАСЛО И МОЛОКО И ХЛЕБ И БУЛКИ	20,45
	МАСЛО И СОКИ	20,45

1.9.1. Визуализатор "Правила"

Правила в данном визуализаторе размещены в виде списка. Каждое правило, представленное как "условие-следствие", характеризуется значением поддержки в абсолютном и процентном выражении, а также достоверностью. Таким образом, аналитик видит поведение покупателей, описанное в виде набора правил. Набор правил для решаемой нами задачи приведен в таблице 15.4. Например, первое правило говорит о том, что если покупатель купил йогурт, то с достоверностью или вероятностью 71% он купит также кефир. Эта информация полезна с различных точек зрения. Она, например, помогает решить задачу расположения товаров в магазине.

Таблица 15.4. Визуализатор "Правила"
N	Условие	Следствие	Поддержка	Достоверность, %
%	Кол-во
	ЙОГУРТЫ	КЕФИР	22,73		71,43
	КЕФИР	ЙОГУРТЫ	22,73		71,43
	МАСЛО	МОЛОКО	22,73		43,48
	МОЛОКО	МАСЛО	22,73		52,63
	СОКИ	МАСЛО	20,45		40,91
	МАСЛО	ХЛЕБ И БУЛКИ	45,45		86,96
	ХЛЕБ И БУЛКИ	МАСЛО	45,45		83,33
	МОЛОКО	ХЛЕБ И БУЛКИ	22,73		52,63
	ХЛЕБ И БУЛКИ	МОЛОКО	22,73		41,67
	СОКИ	ХЛЕБ И БУЛКИ	22,73		45,45
	ХЛЕБ И БУЛКИ	СОКИ	22,73		41,67
	МАСЛО И МОЛОКО	ХЛЕБ И БУЛКИ	20,45		90,00
	МАСЛО И ХЛЕБ И БУЛКИ	МОЛОКО	20,45		45,00
	МОЛОКО И ХЛЕБ И БУЛКИ	МАСЛО	20,45		90,00
	МОЛОКО	МАСЛО И ХЛЕБ И БУЛКИ	20,45		47,37

При большом количестве найденных правил и широком ассортименте товаров анализировать полученные правила достаточно сложно. Для удобства анализа таких наборов правил предлагаются визуализаторы "Дерево правил" и "Что-если".

Визуализатор "Дерево правил" представляет собой двухуровневое дерево, которое может быть построено по двум критериям: по условию и по следствию. Если дерево построено по условию, то вверху списка отображается условие правила, а список, прилагающийся к данному условию, состоит из его следствий. При выборе определенного условия, в правой части визуализатора отображаются следствия условия, уровень поддержки и достоверности.

В случае построения дерева по следствию, вверху списка отображается следствие правила, а список состоит из его условий. При выборе определенного следствия, в правой части визуализатора мы видим условия этого правила с указанием уровня поддержки и достоверности.

Визуализатор "что-если" удобен, если нам необходимо ответить на вопрос, какие следствия могут получиться из данного условия.

Например, выбрав условие "МОЛОКО", в левой части экрана получаем три следствия "МАСЛО", "ХЛЕБ И БУЛКИ", "МАСЛО И ХЛЕБ И БУЛКИ", для которых указаны уровень поддержки и достоверности. Этот визуализатор представлен на рис. 15.5.

Рис. 15.5. Визуализатор "Что-если"

Рассмотренный пример поиска ассоциативных правил является типичной иллюстрацией задачи анализа покупательской корзины. В результате ее решения определяются часто встречающиеся наборы товаров, а также наборы товаров, совместно приобретаемые покупателями. Найденные правила могут быть использованы для решения различных задач, в частности для размещения товаров на прилавках магазинов, предоставления скидок на пары товаров для повышения объема продаж и, следовательно, прибыли и других задач.

Основные понятия: гражданство, миграция, мигрант, беженец, Федеральная миграционная служба

План лекции

1. Понятие и виды миграции

2. Последствия миграции для индивида, общества, государства

3. Социальная поддержка мигрантов и вынужденных переселенцев

Дата добавления: 2013-12-13