Часть II. Разработка плана исследования 22 страница

зультате новых выкладок выше или ниже фактического, если бы они согласились продолжать

эксперимент.

Различные типы посторонних факторов не взаимоисключающие. Они могут действовать

одновременно и взаимодействовать. Например, сочетание факторов убыли, тестирования и

Глава 7. Причинно-следственное маркетинговое исследование: эксперимент 281

зрелости характерно для ситуации, когда в результате проведения предварительной оценки от-

ношения и убеждения людей изменяются в ходе эксперимента и когда присутствует значи-

тельная убыль респондентов из различных обследуемых групп.

КОНТРОЛЬ ПОСТОРОННИХ ФАКТОРОВ

Искажающие факторы (confounding variables)

Синоним посторонних факторов. Термин используется для отражения того факта, что по-

сторонние факторы могут искажать результаты эксперимента, воздействуя на зависимые

переменные.

Посторонние факторы представляют собой незапланированные факторы, влияющие на

результаты эксперимента. Они создают угрозу соблюдению внутренней и внешней досто-

верности эксперимента. Если их не контролировать, они воздействуют на зависимые пере-

менные и тем самым искажают результаты эксперимента. По этой причине они называются

также искажающими факторами (confounding variables). Существует четыре основных способа

контроля искажающих факторов: случайный отбор, группировка, статистический и методи-

ческий контроль.

Случайный отбор

Случайный отбор (randomization)

Один из методов контроля посторонних факторов, включающий случайный отбор единиц

наблюдения в группы для проведения эксперимента на основе использования случайных

чисел. Варианты независимых переменных или условий для отдельных групп определяются

также случайным образом.

Случайный отбор (randomization) представляет собой один из методов контроля посторон-

них факторов, включающий случайный отбор единиц наблюдения в экспериментальные

группы на основе использования случайных чисел. Варианты базисных факторов или условий

для отдельных экспериментальных групп определяются также случайным образом. Например,

респонденты случайным образом распределяются в три группы для проведения эксперимента.

Один из трех образцов рекламного ролика, выбранный случайным образом, предлагается для

просмотра каждой группе. В результате случайного отбора посторонние факторы одинаково

влияют на результаты оценки каждого из трех вариантов независимой переменной. Случайный

отбор — приоритетный метод обеспечения равнозначности экспериментальных трупп [13]. Тем

не менее случайный отбор оказывается неэффективным, если размер экспериментальной

группы невелик, поскольку он обеспечивает равнозначность групп лишь в среднем. Таким об-

разом, существует возможность проверить эффективность метода случайного отбора, оценивая

влияние возможных посторонних факторов на каждую из экспериментальных групп с после-

дующим сравнением результатов,

Группировка

Группировка (matching)

Один из методов контроля посторонних факторов, предполагающий группировку единиц

наблюдения на основе набора базовых критериев, прежде чем распределять между ними

варианты базисных условий.

Группировка (matching) представляет собой один из методов контроля посторонних факто-

ров, предполагающий группировку единиц наблюдения на основе набора базовых критериев,

прежде чем они подвергаются воздействию независимых переменных. В случае с эксперимен-

282 Часть II. Разработка плана исследования

том по оценке рекламных выкладок в универмагах последние можно разделить на категории в

соответствии с такими критериями, как размер торговой площади, местоположение, годовой

объем продаж. Затем один универмаг из каждой категории включается в каждую эксперимен-

тальную группу.

Метод группировки имеет два основных недостатка. Во-первых, группировка единиц на-

блюдения может быть проведена лишь по ограниченному числу критериев, т.е. сформирован-

ные таким образом экспериментальные группы могут быть равнозначными по установленным

критериям, но неравнозначными по другим критериям. Во-вторых, если критерии группиров-

ки не влияют на зависимые переменные, то применение метода бесполезно [14].

Статистический контроль

Статистический контроль (statistical control)

Один из методов контроля посторонних факторов, предполагающий измерение их влияния

с его последующей корректировкой статистическими методами.

Статистический контроль (statistical control) представляет собой один из методов контроля

посторонних факторов, предполагающий измерение их влияния с его последуюшей корректи-

ровкой методами статистического анализа. Это показано в табл. 7.2, где исследуется зависи-

мость между покупками модной одежды и уровнем образования, при контроле за уровнем до-

ходов. Могут также применяться и более сложные статистические методы, такие как анализ ко-

вариации (ANCOVA). В анализе ковариаиии влияние посторонних факторов на зависимые

переменные элиминируется корректировкой их среднего значения по каждому варианту неза-

висимой переменной. ANCOVA более подробно рассматривается в главе 16.

Контроль методики

Контроль методики (design control)

Один из методов контроля посторонних факторов, состоящий в использовании специаль-

ных методик эксперимента.

Контроль методики (design control) представляет собой один из методов контроля посторон-

них факторов, состоящий в использовании специальных методик эксперимента. Формы кон-

троля, обеспечиваемые разработкой специальных методик проведения эксперимента, пред-

ставлены в следующем примере.

ПРИМЕР. Эксперименты с новыми товарами

Контролируемое продвижение товара с помощью электроники на пробном рынке все

чаще используется при проведении экспериментальных исследований по новым товарам.

Этот метод позволяет контролировать ряд посторонних факторов, влияющих на динамику

продаж нового продукта, и изменять базисные факторы в заданном направлении. Он дает

возможность убедиться в том, что новый продукт достаточно представлен в магазинах и в се-

ти продвижения товаров, привлекательно расположен на соответствующих полках магазина,

представлен на достаточном количестве рекламных плакатов, имеет обоснованную текущую

цену продажи, есть на складах в достаточном количестве и достиг запланированной интен-

сивности продвижения на рынок, рекламы и уровня цены в предусмотренные сроки. Таким

образом можно достичь высокой степени внутренней достоверности эксперимента [15].

Пробный маркетинг детально рассматривается в последующих разделах этой главы, но при-

веденный пример показывает, что контролируемое продвижение товара с помощью электрон-

ного пробного рынка способствует эффективному контролю отдельных посторонних факторов.

Последние могут также контролироваться применением специальных методик проведения

эксперимента, как показано в следующем разделе.

Глава 7. Причинно-следственное маркетинговое исследование: эксперимент 283

КЛАССИФИКАЦИЯ МОДЕЛЕЙ ЭКСПЕРИМЕНТА

Модели предварительного эксперимента (preex peri mental designs)

Модели, не предполагающие применения контроля посторонних факторов методами слу-

чайного отбора.

Модели действительного эксперимента (true experimental designs)

Модели эксперимента, которые предполагают формирование исследователем групп единиц

наблюдения и определение варианта независимых переменных для каждой группы на слу-

чайной основе.

Модели псевдоэксперимента (quasi-experimental designs)

Модели, предполагающие использование части процедур и приемов действительного экс-

перимента, но не обеспечивающие полного контроля за ходом эксперимента,

Статистические модели (statistical design)

Модели, допускающие возможность статистического контроля и анализа внешних факторов,

Модели эксперимента можно классифицировать следующим образом: модели предвари-

тельного эксперимента, модели действительного эксперимента, модели псевдоэксперимента и

статистические модели, (рис. 7.1) Модели предварительного эксперимента (preexperimental

designs) не включают контроль посторонних факторов методами случайного отбора. К их числу

принадлежат однократные исследования, предварительные и итоговые исследования в рамках

одной экспериментальной группы, модель статичной группы. При применении моделей дей-

ствительного эксперимента (true experimental designs) исследователь формирует группы единиц

наблюдения и определяет варианты независимых переменных для каждой группы на случай-

ной основе, К этому типу относятся модели предварительного и последующего исследования с

использованием контрольных групп, только итоговые исследования с применением контроль-

ных групп и модель четырех групп Соломона. Модели псевдоэксперимента (quasi-experimental

designs) применяются тогда, когда исследователь не может в полной мере управлять независи-

мыми переменными, но может использовать часть процедур и приемов действительного экс-

перимента. К ним относятся такие два типа моделей, как временные ряды и множественные

Модели эксперимента

вдаарительный

эксперимент.

Однократные

исследования

Предварительное

и итоговое

исследование

в рамках одной

экспериментальной

группы

Статичная группа

Действительный

эксперимент

Предварительное

и итоговое

исследование

с использованием

контрольной группы

Итоговое

исследование

с использованием

контрольной груплы

Четыре группы

Соломона

Псевдо

экспериментальные

Временные ряды

Множественные

временные ряды

Случайные блоки

Латинский квадрат

Факторная модель

Рис. 7.1. Классификация моделей эксперимента

Часть II. Разработка плана исследования

временные ряды. Статистические модели (statistical design) представляют собой серию базовых

экспериментов, предоставляющих возможность статистического контроля и анализа внешних

факторов. К основным моделям этого типа принадлежат модели случайных блоков, Латинско-

го квадрата, факториальных экспериментов. Статистические модели классифицируются на ос-

нове используемых показателей и применения.

Их применение показано на примере исследования эффективности пробной рекламы для

универмага [16].

Рассмотрим первый тип этих моделей — предварительный эксперимент.

МОДЕЛИ ПРЕДВАРИТЕЛЬНОГО ЭКСПЕРИМЕНТА

В моделях предварительного эксперимента не применяются методы случайного отбора.

Рассмотрим три специальные модели: однократное исследование, предварительные и итоговые

исследования в рамках одной экспериментальной группы, модель статической группы.

Однократное исследование

Однократное исследование (one-shot case study)

Модель предварительного эксперимента, при которой базисный фактор (условие) X пред-

ставляется единственной группе единиц наблюдения и затем проводится однократное изме-

рение факторов характеристик.

Модель однократного исследования (one-shot case study) известна также под названием

"только последующий анализ" (after-only), в ней приняты следующие обозначения:

X О,

Единственная группа единиц наблюдения подвергается воздействию независимого фактора

X, после чего измеряется зависимый фактор (О}. Случайный отбор в данном случае не применя-

ется. Примечательно, что символ R не используется, поскольку единицы наблюдения сами при-

нимают решение о включении в группу или отбираются исследователем в произвольном порядке.

Опасность получения недостоверных выводов в таком эксперименте очевидна. Отсутствует

база сравнения полученного значения О, с его значением при условии отсутствия воздействия

независимого фактора X. Кроме того, полученное значение О, может искажаться из-за воздей-

ствия многочисленных посторонних факторов, в частности исторических, зрелости, отбора и

убыли, Недостаточная степень контроля этих факторов подрывает внутреннюю достоверность

результатов эксперимента. Поэтому однократное исследование больше подходит для поиско-

вых, чем для итоговых исследований.

СКВОЗНОЙ ПРИМЕР. ВЫБОР УНИВЕРМАГА

Однократное исследование

Однократное исследование для определения эффективности пробной рекламы в универма-

гах можно провести следующим образом. С респондентами, входящими в общенациональ-

ную выборку, проводятся телефонные опросы по поводу телевизионной программы, пока-

занной накануне вечером. Упомянутая программа включала рекламный ролик (X). Зависи-

мой переменной выступала способность вспомнить содержание рекламы без помощи и с

помощью наводящих вопросов (Os). Способность вспомнить рекламный ролик без помощи

интервьюера оценивалась вопросом респондентам о том, помнят ли они рекламу интере-

сующей категории товаров. При утвердительном ответе задавались вопросы о ее содержа-

нии. Респондентов, ответивших отрицательно на первый вопрос, просили припомнить

конкретный рекламный ролик определенного товара (наводящий вопрос) и затем спраши-

вали о его содержании. Результаты опроса с помощью и без помощи наводящих вопросов

сравнивались для разработки шкалы оценки результатов эксперимента.

Глава 7. Причинно-следственное маркетинговое исследование: эксперимент 285

Предварительное и итоговое исследование в рамках

одной экспериментальной группы

Предварительное и итоговое исследование в рамках одной экспериментальной груп-

пы (one-group pretest-posttest design)

Модель предварительного эксперимента, в которой единицы наблюдения эксперименталь-

ной группы измеряются дважды.

Предварительное и итоговое исследование в рамках одной экспериментальной группы (onegroup

pretest-posttest design) можно записать следующими обозначениями:

О, X О2

Здесь измерение экспериментальной группы проводится дважды. Контрольная группа

отсутствует. Первое измерение (О,) проводится до ознакомления группы с независимым

фактором, затем она подвергается воздействию независимого фактора (А). После этого про-

водится второе измерение (О,). Эффект воздействия независимой переменной определяется

как (О2-О}), но достоверность этого вывода проблематична, поскольку посторонние факторы

в основном не подлежат контролю.

СКВОЗНОЙ ПРИМЕР. ВЫБОР УНИВЕРМАГА

Предварительное и итоговое исследование в рамках одной экспериментальной группы

Предварительное и итоговое исследование в рамках одной экспериментальной группы для |

исследования эффективности рекламы в универмаге можно провести следующим образом.

Респонденты отбираются для тестирования в исследовательских центрах в разных городах

страны. В исследовательских центрах проводится прежде всего личный опрос для выясне-

ния, среди прочего, их восприятия исследуемого продукта (О;). Затем они смотрят телеви-

зионную программу, в которую включен рекламный ролик (X). После просмотра проводит-

ся повторный личный опрос для определения восприятия исследуемого продукта (О.). Эф-

фективность пробной рекламы оценивается как разность (02-0/)

Исторические факторы, факторы зрелости, тестирования (как основные так и интерак-

тивные), факторы инструментария, отбора, убыли и регрессии, вероятно, в этом случае

имеют место.

Модель статичной группы

Статичная группа (static group)

Модель проведения предварительного эксперимента, предполагающая использование двух

групп - основной экспериментальной группы (EG), с помощью которой оценивается влияние

независимого фактора, и контрольной экспериментальной группы (CG). Оценка восприятия

в обеих группах проводится только один раз после воздействия независимой переменной,

и при формировании групп не применяются методы случайного отбора.

Модель статичной группы (static group) предполагает участие в эксперименте двух групп. На

одну из них, основную экспериментальную группу (EG), воздействует независимый фактор, а на

другую, контрольную группу (CG) — не воздействует. Измерения восприятия проводятся в обеих

группах только один раз после воздействия независимой переменной. Единицы наблюдения

включаются в группы без применения методов случайного отбора. Эту модель можно записать

в виде обозначений;

EG: X О,

CG: О2

286 Часть II. Разработка плана исследования

Измерение результата воздействия независимой переменной можно оценивать как разность

О, ~ 02 Необходимо отметить, что эта разность может быть приписана по меньшей мере двум

посторонним факторам (отбора и убыли). Поскольку при включении единиц наблюдения в

группы не использовался метод случайного отбора, группы могут существенно отличаться еще

до начала эксперимента и может возникнуть отклонение отбора. Фактор убыли тоже может

иметь место, поскольку возможно выбытие единиц наблюдения в процессе эксперимента как

из экспериментальной, так и из контрольной группы. Вероятность этого возрастает, если экс-

перимент имеет неприятные для участников аспекты.

На практике, контрольная группа иногда понимается, как группа лиц, подвергающихся

влиянию рекламы в обычных условиях, а не как группа лиц, не подвергающихся воздействию

рекламы вообще. Такое определение имеет право на существование, поскольку очень сложно в

обычных условиях вообще убрать рекламу и прямые продажи. Посмотрим, как выглядит мо-

дель статичной группы в применении к проекту "Выбор универмага".

\ СКВОЗНОЙ ПРИМЕР, ВЫБОР УНИВЕРМАГА

Модель статичной группы

Анализ эффективности воздействия рекламы с использованием модели статичной группы |

можно провести следующим образом. Две группы респондентов отбираются по усмотрению

исследователя. Телевизионная программа, содержащая анализируемый рекламный ролик,

демонстрируется только одной из этих групп. Затем проводится измерение восприятия уни-

вермага основной и контрольной группами. Эффективность воздействия рекламы оценива-

ется как разность О, — 02

МОДЕЛИ ДЕЙСТВИТЕЛЬНОГО ЭКСПЕРИМЕНТА

Модели действительного эксперимента по сравнению с моделями предварительного экспе-

римента отличаются в основном использованием методов случайного отбора. При применении

моделей действительного эксперимента исследователь распределяет единицы наблюдения и

анализируемые независимые переменные по группам случайным образом. Модели действи-

тельного эксперимента включают предварительное и итоговое исследование с использованием

контрольной группы, итоговое исследование с использованием контрольной группы, модели

четырех групп Соломона.

Предварительное и итоговое исследование

с использованием контрольной группы

Предварительное и итоговое исследование с использованием контрольной группы

{pretest-posttest control group design)

Модель эксперимента, при которой экспериментальная группа подвергается воздействию

независимого фактора, а контрольная - не подтверждается. Предварительное и итоговое

измерения проводятся в обеих группах.

В предварительном и итоговом исследовании с использованием контрольной группы (pretestposttest

control group design) единицы наблюдения случайным образом распределяются между

экспериментальной и контрольной группой и предварительные измерения проводятся в обеих

группах. Эту модель можно записать в виде обозначений:

EG: R О, X 02

CG: R О, О4

Глава 7, Причинно-следственное маркетинговое исследование: эксперимент 287

Эффект воздействия базисного фактора (ТЕ) определяется как

(Oi-OJ-Wt-OJ

Эта модель дает возможность контролировать большинство посторонних факторов. Откло-

нения выборки элиминируется методом случайного отбора. Прочие посторонние факторы

контролируются следующим образом:

О,-О,= TE + ff + MA+MT+tT+I + SR + MO

= EV (посторонние факторы)1

Полученный результат эксперимента можно записать так;

(02- О,) ~~ (О, - OJ = ТЕ + 1Т

Интерактивный фактор тестирования не поддается контролю из-за влияния предваритель-

ного исследования на восприятие независимой переменной единицами наблюдения в экспе-

риментальной группе. Следующий пример демонстрирует технику проведения предваритель-

ного и итогового исследования с использованием контрольной группы.

СКВОЗНОЙ ПРИМЕР. ВЫБОР УНИВЕРМАГА

| Предварительное и итоговое исследование с использованием контрольной группы

В рамках эксперимента по определению эффективности рекламы предварительное и ито-

говое исследование с использованием контрольной группы можно осуществить так. Слу-

чайным образом определяется выборка респондентов. Половина из них случайным об-

разом отбирается для включения в экспериментальную группу, вторая половина включа-

ется в контрольную группу. Респонденты обеих групп заполняют анкету для определения

предварительного отношения к данному универмагу. Затем только респондентам экспе-

риментальной группы демонстрируется телевизионная передача, содержащая рекламный

ролик о данном универмаге. После этого обеим группам еще раз предлагается заполнить

анкету для оценки изменений в восприятии универмага.

Модель итогового исследования с использованием контрольной группы представляет собой

более простой случай,

Модель итогового исследования с использованием

контрольной группы

Модель итогового исследования с использованием контрольной группы

(posttest-only control group design)

Модель проведения эксперимента, при которой основной группе респондентов демонстри-

руется базисный фактор, а контрольной группе ~ не демонстрируется, и при этом не прово-

дится предварительное измерение восприятия респондентами анализируемого объекта.

Модель итогового исследования с использованием контрольной группы (posttest-only control

group design) не предусматривает проведения каких-либо предварительных измерений воспри-

ятия объекта исследования. Запишем ее так:

EG: R X О,

CG: R О2

Эффект воздействия базисного фактора определяется как

ТЕ=О,-О2

1 Обозначения посторонних факторов приводилась раньше в тексте.

288 Часть II. Разработка плана исследования

Эта модель очень проста в применении. Поскольку нет предварительных измерений, от-

сутствует и эффект тестирования, однако на результаты могут повлиять факторы отклонения

отбора и убыли. Предполагается, что обе группы имеют одинаковое предварительное вос-

приятие объекта исследования, поскольку они сформированы на основе случайного отбора.

Однако, поскольку предварительное измерение не проводится, проверить это предположе-

ние невозможно. Эта модель чувствительна также к фактору убыли. Трудно определить.

одинаково ли восприятие объекта исследования у тех респондентов, которые выбыли в про-

цессе эксперимента из экспериментальной и контрольной группы. Другой недостаток этой

модели — невозможность для исследователя анализировать эффект зрелости отдельных еди-

ниц наблюдения.

Контроль факторов ошибки отбора и убыли возможен при применении специально

разработанных процедур эксперимента. Изменения отдельных элементов, связанные с их

зрелостью, часто не представляют особенного интереса для исследователя. С другой сторо-

ны, эта модель имеет значительные преимущества с учетом сроков и стоимости проведе-

ния исследований, а также требований к размеру выборки, Для ее применения требуются

лишь две группы респондентов и всего одно обследование каждой группы. Благодаря про-

стоте применения эта модель на данный момент наиболее распространенная в практике

маркетинговых исследований. Необходимо также отметить, что она очень схожа по своему

содержанию с моделью предварительного и итогового исследования с использованием

контрольной группы.

Модель четырех групп Соломона (Solomon four-group design)

Модель эксперимента, обеспечивающая в дополнение к контролю остальных посторонних

факторов также и надежный контроль за интерактивным эффектом тестирования.

В приведенном примере исследователь может пренебречь фактором зрелости отдельных

единиц наблюдения. Если же последний представляется существенным, лучше применить мо-

дель четырех групп Соломона (Solomon four-group design). Она свободна от недостатков двух

выше рассмотренных моделей, поскольку, кроме контроля других посторонних факторов (ЕУ),

позволяет осуществлять контроль интерактивного эффекта тестирования. Тем не менее и эта

модель имеет определенные недостатки. Она требует значительных затрат времени и денег. По-

этому подробно она не рассматривается [17].

Для всех моделей действительного эксперимента характерна высокая степень контроля ис-

следователя за внутренними и внешними факторами. В частности, исследователь определяет

момент проведения измерений, состав единиц наблюдения, порядок задействования незави-

симых переменных. Более того, исследователь случайным образом отбирает единицы наблюде-

ния и независимые факторы, демонстрируемые той или иной группе респондентов. В некото-

рых ситуациях исследователь не имеет такой возможности, и в этих случаях используются мо-

дели псевдоэксперимента.

СКВОЗНОЙ ПРИМЕР. ВЫБОР УНИВЕРМАГА

I Итоговое исследование с использованием контрольной группы

| Модель итогового исследования с использованием контрольной группы для оценки эффек-

тивности рекламы можно реализовать так. Случайным образом формируется выборка рес-

пондентов. Затем также на случайной основе респонденты распределяются по двум груп-

пам — экспериментальной и контрольной. Телепередача с анализируемым рекламным ро-

ликом, демонстрируется только экспериментальной группе респондентов. Затем обе группы

респондентов заполняют анкету для оценки итогового восприятия универмага. Различие \

восприятия универмага респондентами основной и контрольной групп характеризует эф-;

фективность показанной рекламы.

Глава 7. Причинно-следственное маркетинговое исследование: эксперимент 289

МОДЕЛИ ПСЕВДОЭКСПЕРИМЕНТА

О применении моделей псевдоэксперимента можно говорить при выполнении следующих

условий. Во-первых, исследователь сможет контролировать, когда и над кем он будет прово-

дить измерения. Во-вторых, исследователь не имеет возможности определять порядок задейст-

вования независимых переменных и случайным образом отбирать респондентов в эксперимен-

тальную и контрольную группы [18]. Псевдоэкспериментальные модели полезны, когда иссле-

дователь не сможет использовать модели действительного эксперимента или когда нет времени

и средств на проведение последних. Тем не менее, поскольку степень контроля со стороны ис-

следователя в данном случае гораздо ниже, необходимо учитывать влияние неконтролируемых

факторов на полученные результаты. Распространенными примерами псевдоэкспериметаль-

ных моделей являются временные ряды и множественные временные ряды.

Временные ряды

Временные ряды (time series design)

Псевоэкспериментальная модель, включающая периодическое проведение измерений зави-

симых переменных для группы единиц наблюдения. После того как группа подверглась воз-

действию независимой переменной, снова проводится серия измерений зависимых пере-

менных для оценки степени влияния независимого фактора.

Модель временных рядов (time series design) предполагает периодическое проведение изме-

рений зависимых переменных для группы единиц наблюдения. После того как группа подвер-

глась воздействию независимой переменной, снова проводится серия измерений зависимых

переменных для оценки степени влияния независимого фактора. Эксперимент с использова-

нием временных рядов можно представить следующими условными обозначениями:

О, 02 03 04 О, X 06 07 О, 09 010

Такая модель считается псевдоэкспериментальной, поскольку не проводится случайный

отбор единиц наблюдения и независимых факторов, а исследователь также не определяет вре-

Дата добавления: 2015-05-09