Вопросы для защиты. 1. Чем является самоорганизующая карта Кохонена?

1. Чем является самоорганизующая карта Кохонена?

2. Шаги получения карты Кохонена.

3. Пример анализа карт Кохонена.

Лабораторная работа №10

Решение задач классификации и регрессии

Цель работы: ознакомиться с возможностями прогнозирования инструментами Мастера обработки Deductor/

1. Прогнозирование с помощью нейронной сети

Прогнозирование результата на определенное время вперед, основываясь на данных за прошедшее время, – задача, встречающаяся довольно часто. К примеру, перед большинством торговых фирм стоит задача оптимизации складских запасов, для решения которой требуется знать, что и сколько должно быть продано через неделю и т.п., задача предсказания стоимости акций какого-нибудь предприятия через день и т.д. и другие подобные вопросы. Deductor Studio предлагает для этого инструмент Прогнозирование.

Прогнозирование появляется в списке Мастера обработки только после построения какой-либо модели прогноза: нейросети, линейной регрессии и т.д. Прогнозировать на несколько шагов вперед имеет смысл только временной ряд (к примеру, если есть данные по недельным суммам продаж за определенный период, можно спрогнозировать сумму продаж на две недели вперед). Поскольку при построении модели прогноза необходимо учитывать много факторов (зависимость результата от данных день, два, три, четыре назад), то методика имеет свои особенности.

У аналитика имеются данные о помесячном количестве проданного товара за несколько лет. Ему необходимо, основываясь на этих данных, определить, какое количество товара будет продано через месяц и через два.

Исходные данные по продажам находятся в файле Trade.txt.

После импорта данных воспользуемся диаграммой для их просмотра. На ней видно, что данные содержат аномалии (выбросы) и шумы, за которыми трудно разглядеть тенденцию. Поэтому перед прогнозированием необходимо удалить аномалии и сгладить данные. Сделать это можно при помощи парциальной обработки. Запустите Мастер обработки, выберите в качестве обработки данных парциальную обработку и перейдите на следующий шаг Мастера. Как известно, второй шаг Мастера отвечает за обработку пропущенных значений, которых в исходных данных нет. Поэтому здесь ничего не настраивайте. Следующий шаг отвечает за удаление аномалий из исходного набора. Выберите поле для обработки Количество и укажите для него обработку аномальных явлений (степень подавления – малая).

Четвертый шаг Мастера позволяет провести спектральную обработку. Из исходных данных необходимо исключить шумы, поэтому выбирите столбец Количество и укажите способ обработки Вычитание шума (степень вычитания – малая). На следующем шаге запустите обработку, нажав на Пуск. После обработки просмотрите полученный результат на диаграмме.

Видно, что данные сгладились, аномалии и шумы исчезли. Также видна тенденция.

Теперь перед аналитиком встает вопрос, а как, собственно, прогнозировать временной ряд. Во всех предыдущих примерах мы сталкивались с ситуацией, когда есть входные столбцы - факторы и есть выходные столбцы – результат. В данном случае столбец один. Строить прогноз на будущее будем, основываясь на данных прошлых периодов, т. е. предполагая, что количество продаж на следующий месяц зависит от количества продаж за предыдущие месяцы. Это значит, что входными факторами для модели могут быть продажи за текущий месяц, продажи за месяц ранее и т.д., а результатом должны быть продажи за следующий месяц, т. е. здесь явно необходимо трансформировать данные к скользящему окну.

Запустите Мастер обработки, выберите в качестве обработчика скользящее окно и перейдите на следующий шаг.

Проведя авторегрессионый анализ, обнаружили наличие годовой сезонности. В связи с этим было решено строить прогноз на месяц вперед, основываясь на данных за 1, 2, 11 и 12 месяцев назад. Поэтому требуется выбрать глубину погружения 12, назначив поле Количество используемым. Тогда данные трансформируются к скользящему окну так, что аналитику будут доступны все нужные факторы для построения прогноза.

Теперь в качестве входных факторов можно использовать Количество - 12, Количество - 11 - данные по количеству 12 и 11 месяцев назад (относительно прогнозируемого месяца), а также Количество - 2 и Количество - 1 - данные за 2 предыдущих месяца. В качестве выходного поля укажем столбец Количество.

Обучение нейросети (прогноз на 1 месяц вперед)

Перейдем непосредственно к самому построению модели прогноза.

Откройте Мастер обработки и выберите в нем нейронную сеть. На втором шаге Мастера согласно с принятым ранее решением установите в качестве входных поля Количество - 12, Количество - 11, Количество - 2 и Количество - 1, а в качестве выходного - Количество. Остальные поля сделайте информационными.

На следующем шаге укажем разбиение тестового и обучающего множеств.

Перейдите к следующему шагу, на котором отметьте необходимое количество слоев и нейронов в нейросети.

Перейдя далее, выберите алгоритм обучения нейросети.

После построения модели для просмотра качества обучения представьте полученные данные в виде диаграммы и диаграммы рассеяния.

В Мастере настройки диаграммы выберем для отображения поля Количество и Количество_OUT - реальное и спрогнозированное значение.

Результатом будет два графика.

Диаграмма рассеяния более наглядно показывает качество обучения.

Нейросеть обучена, осталось получить требуемый прогноз. Для этого откройте Мастер обработки и выбирите появившийся теперь обработчик Прогнозирование.

На втором шаге Мастера предлагается настроить связи столбцов для прогнозирования временного ряда: откуда брать данные для столбца при очередном шаге прогноза. Мастер сам верно настроил все переходы, поэтому остается только указать горизонт прогноза (на сколько вперед будем прогнозировать) равный трем, а также для наглядности следует добавить к прогнозу исходные данные, установив в Мастере соответствующий флажок.

После этого необходимо в качестве визуализатора выбрать Диаграмму прогноза, которая появляется только после прогнозирования временного ряда.

В Мастере настройки столбцов диаграммы прогноза надо указать в качестве отображаемого столбец Количество, а в качестве подписей по оси Х указать столбец Шаг прогноза.

Теперь аналитик может дать ответ на вопрос, какое количество товаров будет продано в следующем месяце и даже два месяца спустя.

Дата добавления: 2014-10-31