Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Лекция 17. Телефонный, почтовый и прессовый опрос в социологическом исследовании

Читайте также:
  1. DOS Fn 33H: установить/опросить статус Ctrl-Break
  2. I вопрос
  3. I вопрос. Виды деформаций сооружений и их причины.
  4. I. Вопросы для самопроверки
  5. I. История изучения вопроса.
  6. II. Вопросы лекции
  7. II. Вопросы лекции
  8. II. Законодательное и нормативно-правовое регулирование вопросов воинского учета и бронирование граждан, пребывающих в запасе и работающих в организациях здравоохранения.
  9. II. Психологические особенности различных видов допроса.
  10. III. Борьба за разрешение восточного вопроса.
  11. III. Учебные вопросы и расчет времени
  12. III. Учебные вопросы и расчет времени

1. Телефонный опрос в социологическом исследовании.

1. 1 Предыстория телефонного опроса. В настоящее время уже невозможно назвать точную дату появления первого в мире call-центра. Основная трудность заключается в том, что сам термин «call-центр» очень сильно размыт. По мнению экспертов журнала «Сallcentermagazine» первые образования, которые имеют нечто общее с современными call-центрами, были рассчитаны на весьма небольшое количество операторских мест. Локальные телемаркетинговые операции проводились повсеместно, и были весьма многочисленны. Можно только предполагать, что первые «неофициальные» call-центры появились на свет где-то в конце 60-х — начале 70-х годов прошлого века.

Продажи по телефону и сервисные центры — все это начиналось несколько десятков лет назад. В компании Rockwell Galaxy считают, что именно они установили первый автоматический распределитель вызовов (ACD) — продукт, разработанный исключительно для call-центров. Это случилось примерно 30 лет назад, и означает то, что идея создания call-центров в ответ на потребности рынка появилась еще раньше.

20-е годы прошлого столетия. Появление первых агентов-операторов связано с появлением телефонов за рабочими столами в компаниях. С тех пор в основные функции этих работников стало входить не только «живое» общение с клиентами и почтовая переписка, но и телефонные переговоры с ними.

1967 год. Компания AT&T разработала «800-ый номер» — новый сервис, в котором плата за разговор «возвращается» и автоматически перенаправляется на счет компании-подписчика. Услуга была очень популярна в 70-е годы прошлого века, когда получили распространение технологии маршрутизации телефонных вызовов. В обществе настолько сильно полюбили 800-ые номера, что они скоро закончились, и пришлось придумывать номера типа «888» и подобные им.

Конец 60-х гг. Убежденные «Властью Телефона» — брошюрой, изданной AT&T, — многие компании стали искать возможности сокращения или устранения своих периферийных офисов и представительств путем использования преимуществ недавно введенных 800-ых номеров. Новые телефонные операторы выполняли функции «живых» представительств и оплачивались по более высокой ставке, чем обычные конторские служащие. Их оклад был привязан к рабочему времени в конторе — прецеденту, с которым многие менеджеры call-центров борются до сих пор.

25 апреля 1988 года. Телевизионная сеть NBC запустила программу под названием «Stressed to Kill», что в вольном переводе можно перевести как «Замученный до смерти». В ней обсуждались проблемы, связанные со стрессом агента-оператора, работающего в call-центре телефонной компании. Эта программа вызвала широкий резонанс и дебаты относительно того, какими должны быть стандарты и стоит ли считать, что операторы call-центров работают в тяжелых условиях и при этом получают небольшую зарплату.



1998/1999 годы. Известные автомобильные компании Daimler Chrylser и General Motors стали пересматривать стратегии относительно подхода к клиентам. Крупнейшие автоконцерны стали внедрять в свои автомобили коммуникационные центры, системы, интегрированные со спутниковыми системами навигации, бортовыми системами диагностики — и всё для того, чтобы автомобилист мог получить соответствующую техническую или другую помощь из любого места в любое время при помощи простого нажатия кнопки — своеобразного автомобильного call-центра. Этот пример иллюстрирует, как при помощи call-центров любая организация может влиться в ряды компаний «новой экономики».

1999 год. Предпраздничные распродажи разочаровали сторонников дот-комов. Заказы выполнялись с опозданием, а то и вовсе не выполнялись; стала очевидной «несовместимость» торговой точки с веб-сайтом, покупатели не знали, куда им обращаться для решения своих проблем. Несколько месяцев спустя инвесторы стали избегать всех проектов, которые начинались с буквы «e-», акции интернет компаний стали быстро превращаться в простую бумагу. Этот негативный в отношении дот-комов процесс создал хорошие предпосылки для развития call-центров, о которых во время бума интернет-компаний как-то забыли.

В США call-центры возникли как специфическая область рынка и технологии в тот момент, когда средствами радио и особенно телевидения стало возможным проводить массовые рекламные компании, которые вызывали очень большой объем обращений потенциальных потребителей, заинтересовавшихся этой рекламой. Таким образом, зародилась потребность в средствах эффективной обработки рекламных компаний.

«Именно так и развивались эти call-центры, как отдельный бизнес, как маркетинговый рекламный инструмент, и только потом придумали, что call-центры могут принимать не только огромный объем входящих звонков, но и сами проводить какие-то маркетинговые кампании, — считает Игорь Масленников, директор по развитию бизнеса компании „Комптек“. Важно то, что это развивалось несколько десятков лет именно в таком ключе, и со словом call-центр неизбежно ассоциировался какой-нибудь зал, в котором сидят несколько десятков или сотен операторов с гарнитурами. Эта концепция или парадигма call-центров за последние десять лет существенно модифицировалась».

Call-центры — один из видов телефонных технологий, которые в Америке, в отличие от России, развивались довольно бурно. В итоге в США, например, сама процедура телефонного общения выглядит по-другому. В частности, в подавляющем большинстве случаев трубку берет не «живой» человек, как это принято у нас, а автоответчик, с которым в России разговаривать как-то не принято.

«У меня такое ощущение, что те call-центры, которые исторически первые возникли в Америке, представляли собой большие операторские центры, — считает Игорь Масленников. AT&T — единственная в то время телефонная компания, телефонный монополист, она и разворачивала первый call-центр лет 50 назад. Огромная компания, соответствующие решения, соответствующие подходы. С другой стороны, телефонные технологии, мелкие и частные, начиная от маленьких домашних автоответчиков, и воспитание населения в духе этих традиций. Как мне кажется, в тот момент, когда стали интенсивно развиваться IT-технологии, что-то «щелкнуло, замкнуло».

С развитием компьютерных технологий у разработчиков call-центров появилась заманчивая идея: придать существующим телефонным системам некий интеллект, связав их с базами данных, с информационными системами. Таким образом, появились попытки автоматизации практически любого телефонного общения. Особенно успешной представлялась реализация этих идей в сфере бизнеса: стандартное общение, определенный набор типов обращений. Очевидно, что существенную часть бизнес-контактов можно типологизировать и внести в них некоторую интерактивность.

«Исторически первые call-центры предполагали один единственный выбор: тебе позвонили — ты ответил. Затем у них появилась еще одна компонента: сбор информации о внешнем мире. Точка зрения изменилась: бизнес стал рассматривать потребителя не как „пустую болванку“, в которую нужно что-то вложить, а как средство изучения рынка, собственного бизнеса, отношения людей к бизнесу, отношения бизнеса к людям — концепция CRM именно отсюда и взялась. И не случайно всегда, когда звучат слова call-центр, звучат слова и CRM», — утверждает Игорь Масленников.

Первые call-центры, которые появлялись в России, были примерно такого же «старого» типа, как и в США — большие залы, наполненные операторами. Рекламные кампании, справочные службы, службы поддержки — сфера приложений этих ЦОВ очевидна: они нужны везде, где важна эффективность и контролируемость телефонного общения. Однако есть масса примеров, когда при помощи технологий call-центров (или технологий, похожих на них), решают задачи другого сорта — не донесения заготовленной информации до людей, а используют их как инструмент общения с внешним миром и сбора информации о нем.

Сейчас в России появилось довольно много коммерческих call-центров, использующих идею аутсорсинга. Однако существует ряд компаний с задачами, которые невозможно решить с помощью обычных операторов call-центра.

«Основная идея call-центра — это, во-первых, IVR (интерактивное речевое взаимодействие), которое позволяет экономить время и повышать эффективность работы операторов. Во-вторых, ACD — автоматическое распределение звонков между этими операторами не просто так, случайным образом, а между определенными группами, специализирующимися на узких вопросах», — считает Игорь Масленников.

В настоящее время полным ходом идет процесс трансформации индустриальных обществ в информационные. В развитых странах рабочий у станка, доменные печи прочие атрибуты индустриальной развитости играют все меньшую роль, а на первый план выходят информационные потоки, знания, умения. Промышленное производство выносится за пределы страны, в менее развитые страны.

«Растет количество предприятий, в которых сотрудники компаний являются, по сути, операторами, входящими в какую-то группу, которая занимается определенным кругом вопросов. Важность этой модели будет со временем только возрастать. В конечном счете, именно такая концепция обязательно родится, и любая компания будет рассматриваться как call-центр», — считает Игорь Масленников.

По словам разработчиков call-центров и интеграторов, госструктуры (милиция, пожарная служба, скорая помощь, МЧС и другие) также активно интересуются и устанавливают call-центры. Эти процессы, к сожалению, более заметны в Казахстане, чем в России. Там в двух городах уже внедрены call-центры в УВД (Служба 02). И за ними пойдут другие структуры, считают поставщики.

1.2 Понятие и основные характеристики телефонного опроса. Телефонный опрос – специфический синтез анкетирования и интервьюирования, используемый, как правило, в рамках одного города или иного населенного пункта. Популярность использования этого метода в современных российских условиях повышается, особенно, в периоды избирательных кампаний. Эффект интервьюера при телефонном опросе значительно снижается.

Телефонные интервью различаются по типу респондентов: интервью с физическими лицами; интервью с юридическими лицами.

Проведение телефонного интервью включает в себя несколько этапов:

1. разработка анкет;

2. формирование выборки: выборка может быть репрезентативной (полностью соответствующей по своим характеристикам генеральной совокупности, но меньше по размерам) либо целевой (когда опрашиваются только люди, соответствующие определенным критериям). Поиск респондентов, необходимых для опроса, ведется по списку телефонных номеров. Список телефонных номеров разных АТС, составляется, как правило, специальной компьютерной программой заранее, с определенным шагом, в зависимости от размера выборки;

3. подготовка интервьюеров;

4. полевое исследование и контроль качества. Телефонный опрос проводится специально подготовленными интервьюерами, которые заносят ответы респондента в анкету (печатную либо электронную, на экране монитора);

5. обработка анкет, построение диаграмм, таблиц и распределений: данные, полученные от респондентов, подвергаются статистической обработке и анализу;

6. аналитическое описание результатов интервью: по результатам опроса заказчику предоставляется отчет, содержащий графики и таблицы с распределениями ответов различных групп потребителей на вопросы исследовательской анкеты, а также основные выводы.

Проведение телефонных интервью по репрезентативной выборке возможно только в тех населенных пунктах, где уровень телефонизации более 75%. В противном случае полученная информация будет недостоверна.

Для справки: проводной телефон есть только у 30% российских семей, проживающих в городах, и лишь у 11% семей, проживающих в селах. В пересчете на каждого жителя России обеспеченность проводными телефонами составляет около 20%. Только в Петербурге и в Москве телефонизированы более 80% квартир.

Обязательные требования к методу:

1. предварительное изучение карты города, мест контактного проживания представителей разных социальных групп, расположения АТС;

2. разработка специального инструмента, включающего картограмму опроса, опросных бланков и кодировочных листов, дневника и протокола опроса, обстоятельной инструкции интервьюерам;

3. наличие телефонных справочников;

4. соблюдение заранее установленного шага (интервала) при наборе номера телефонов одной АТС;

5. особая подготовка, в том числе, специальный тренинг телефонных интервьюеров;

6. повышенная требовательность к их честности;

7. обязательность контроля за их деятельностью;

8. перепроверка полученных данных путем выборочных контрольных опросов опрошенных абонентов.

Телефонные опросы могут применяться для решения следующих задач:

1. описание предпочтений целевой группы товара или услуги
исследования общественного мнения,

2. оценка емкости рынка продуктов или услуг,

3. описание механизма принятия решения о покупке того или иного товара или услуги,

4. описание социально-демографических и других характеристик целевой группы потребителей товара или услуги,

5. выявление потребностей клиентов предприятия в дополнительных услугах или товарах;

6. исследование мнения деловых кругов по вопросам, касающимся юридических лиц.

7. оценка эффективности проведенной рекламной кампании или отдельного рекламного канала и др.

При создании анкеты для телефонного опроса надо быть особенно внимательным к тому, как сформулированы вопросы. Здесь не только важно отсутствие тенденциозных выражений, разговорной речи, краткость, но и появляются такие чисто фонетические требования, как необходимость избегать труднопроизносимых и плохо воспринимаемых на слух слов, и даже буквосочетаний, как в тексте песни, предназначенной для того, чтобы быть исполненной по радио и стать популярной: ведь в обоих случаях вся информация воспринимается только на слух, а соответствующие возможности человека ограничены.

Для уменьшения вероятности возникновения ошибок при интервьюировании расположение текста анкеты на странице подчинялось определенным единым и неизменным правилам. Практически для каждого вопроса мы предусматривали четыре различных по содержанию варианта "нестандартного" ответа. Во-первых, "другой ответ", интервьюер отмечал эту альтернативу в том случае, когда ответ респондента никак не мог уложиться в предлагаемую составителями схему. Во-вторых, три варианта отсутствия ответа: 1) "непонимание смысла вопроса", когда респондент прямо и непосредственно выражал свое непонимание или пытался отвечать не на заданный вопрос; 2) "отказ от ответа", когда респондент ясно выражал нежелание отвечать на конкретный вопрос; и 3) "затрудняюсь ответить", когда респондент не мог совершить окончательный выбор в пользу одной из предложенных альтернатив. В тексте анкеты эти четыре дополнительных варианта ответа всегда были расположены ниже "содержательных" альтернатив и, вне зависимости от количества последних, имели постоянные, одинаковые для всех вопросов всех анкет номера (это облегчало ввод и последующую обработку данных опроса). Например:

4. Как вы считаете, следует ли заключить новый союзный договор между республиками или нет:

1. следует?

2. не следует?

6. непонимание смысла вопроса

7. отказ от ответа

8. другой ответ

9. затрудняюсь ответить

Кроме того, как можно проследить на этом примере, мы использовали в специфических целях знаки препинания: знак "?" ставился не в конце вопроса, а лишь в конце некоторых вариантов ответов. Это служило сигналом для интервьюера, что только эти альтернативы необходимо зачитывать вслух, а остальные (во всех случаях "нестандартные" варианты, иногда и некоторые другие) интервьюер не должен был проговаривать, но мог сам решить, какую из них отметить, исходя из реакции опрашиваемого.

Текст вопроса набирался прописными буквами, а альтернативы - строчными, что сокращало время, необходимое интервьюеру для понимания анкеты, и уменьшало вероятность путаницы.

Рекомендации по разработке анкеты для телефонного опроса.

Начинайте опрос с простых, интересных, легких вопросов.Простые вопросы
способствуют получению согласия респондента на участие в интервью. Они
подтверждают, что задача участника совсем несложна. Чем увереннее респонденты чувствуют себя, тем скорее они согласятся участвовать в исследовании
и заполнят анкету. Практика телефонного опроса, показывает, что около 10%-15% респондентов, отказываются от дальнейшего интервью, после 4-5 вопроса;

Сгруппируйте вопросы на одну тему; завершите одну тему, прежде чем переходить к следующей.При проведении интервью респондентов часто спрашивают
о вещах, которым они до этого не уделяли особого внимания. Поэтому рес­понденту нужно дать возможность обдумать вопрос. Если они уже размышля­ют над какой-то темой, важно на ней сосредоточиться. Это способствует по­лучению осмысленных ответов. Перескакивание с одной темы на другую без соблюдения логической последовательности может подтолкнуть к поверхно­стным, бессодержательным ответам при телефонном интервью;

Касаясь определенной темы, вначале задавайте вопросы общего характера, пере­ходя постепенно к конкретике.Общие вопросы знакомят респондента с темой
и сосредоточивают его мысли в определенном направлении. Как только вни­мание респондента сконцентрировано, ему легче отвечать на конкретные вопросы, требующие припоминания деталей.

Сложные или деликатные вопросы располагайте в конце анкеты.Можно надеять­ся, что к концу беседы между интервьюером и респондентом установится свое­образная связь, которая поможет получить от респондента ответы на вопросы подобного рода. Установление доверительной связи невозможно при проведе­нии телефонного опроса, но в этом случае организаторы опроса рассчитывают, что, дойдя до последних пунктов, респондент, потративший время на заполне­ние почти всей анкеты, уделит несколько минут и оставшимся вопросам.

Не размещайте в начале анкеты вопросов, способных исказить ответы на после­дующие вопросы.Следует учитывать, что вопросы, помещенные в начале анке­ты, не должны служить подсказкой для последующих вопросов. Например, вопрос: "Как бы вы оценили очищающий эффект каждого из этих трех мою­щих средств?" подскажет ответ на вопрос, помещенный далее в анкете: "Какое из свойств используемого вами моющего средства следует, на ваш взгляд, улучшить?"

Размещайте первыми наиболее важные темы.Очевидно, что качество ответов ухудшается по мере утомления респондента. Поэтому вопросы, направленные на получение наиболее важной информации, должны размещаться в начале анкеты.

Исследование, проводимое методом телефонного опроса, позволяет использовать различные типы выборок — как репрезентативные, так и направленные. Выборка – любая подгруппа совокупности случаев (объектов), выделенная для анализа. Если задачей исследования является получение информации по всей генеральной совокупности, то используется статистически репрезентативная выборка, представляющая собой модель изучаемой генеральной совокупности (для этого, например, используется квотирование выборки по полу и возрасту населения и одновременно обеспечивается случайный отбор респондентов в выборку).

Если распространять данные по выборке на всю генеральную совокупность не требуется, или представляется очень затруднительным обеспечить статистическую репрезентативность выборки, то используется направленная выборка.

Размер выборки существенно зависит от размера генеральной совокупности и требуемого для исследования уровня надежности данных. Объем статистически репрезентативной выборки в зависимости от задач исследования, структуры выборки, может быть от 200 до 2000 респондентов (для Уфы и Республики). Объем направленной выборки, как правило, составляет от 100 до 500 респондентов, также в зависимости от задач исследования и структуры выборки.

Продолжительность интервью

Надо отметить, что нам доводилось проводить телефонные опросы по анкете с длительностью беседы 1,5-2 часа, но это, как ни странно, удавалось: прерванных интервью было не намного больше, чем при времени интервью 30-50 минут. Интервьюеров большая длина анкеты не отпугивала, хотя оплата не всегда повышалась прямо пропорционально в зависимости от увеличения продолжительности беседы. Оптимальная продолжительность интервью, на наш взгляд, определяется двумя факторами, подчас вступающими в противоречие между собой, а именно, удобствами респондента, о которых обычно помнят, и удобствами интервьюера, которые учитываются редко. С одной стороны, при короткой анкете, увеличивается частота "установлении контакта с респондентом", приходящихся на каждого интервьюера, а что ведет к большему утомлению последнего, чем при работе с длинными анкетами в течение такого же времени.

С другой стороны, при продолжительности интервью больше 50 минут начинает уставать респондент, на что указывают многие авторы; это подтверждается и нашим опытом.

Установление контакта. Гарантия анонимности

Уверения в анонимности беседы при использовании телефонного метода почему-то редко вызывают сомнения, реже, чем при проведении интервью по месту жительства респондента. Вероятно, это объясняется тем, что все-таки респондент в меньшей мере ожидает неприятностей от телефонного звонка, чем от человека, пришедшего в квартиру. Кстати, в западной, в частности, во французской литературе встречается утверждение, что контакт легче установить при личной встрече, чем по телефону, так как психологически гораздо легче бросить телефонную трубку, чем выставить человека из дома. В наших условиях, пожалуй, оказалось наоборот - может быть потому, что у нас меньше развит тот "инстинкт вежливости", о котором, как о чем-то само собой разумеющемся, говорят французы. Возможно, дело в том, что в последние годы стали расти взаимное недоверие, агрессивность и страх, в частности, перед преступностью. Именно этим объяснялось нежелание многих респондентов открыть дверь интервьюеру, эти настроения значительно усилились уже к концу 1989 года, когда нам казалось, что от интервью по месту жительства, по крайней мере, в Москве, вообще лучше отказаться.

"Ответные" телефонные звонки респондентов

С целью уменьшения вероятности возникновения всевозможных подозрений у опрашиваемых в тексте любой нашей анкеты всегда приводился номер телефона организации, проводящей опрос. Какие бы вопросы ни возникали впоследствии у респондентов, они могли воспользоваться этим номером для обратной связи с нами.

Как правило, отвечали на телефонные звонки респондентов Овчинникова Н.Н. или автор статьи. Происходило это в сложных условиях опроса, когда мы вынуждены были заниматься несколькими срочными делами одновременно. К сожалению, у нас не хватало времени на запись и систематизацию разговоров с респондентами, хотя мы сразу убедились в том, что это очень интересная и ценная информация.

Попытаемся представить лишь качественную ее оценку. На наш взгляд, ответные звонки респондентов можно разделить на несколько типов. Самым массовым явлением была, пожалуй, так называемая "проверка слуха": респондент просто набирал наш номер и молчал в трубку, услышав же наши слова: "Институт социологии!", удовлетворялся ими и трубку вешал. К этой же категории можно отнести и менее застенчивых респондентов, которые не молчали, а прямо спрашивали, какая это организация, не квартира ли это, действительно ли эта организация проводит опрос, и т.д. Получив нужную информацию, в дальнейшие разговоры такие респонденты обычно не вступали, и беседа заканчивалась.

Очень часто опрошенные требовали более подробных объяснений, им оставалось непонятным, зачем вообще существует такая странная деятельность, как проведение социологических исследований, несмотря на то, что им пытались объяснить интервьюеры; или "авторы" звонков возмущались содержанием конкретных, как правило, "острых" вопросов. Это возмущение обычно было весьма агрессивным и подчас переходило в ругань или угрозы, а иногда с угроз и начиналось, но, как ни странно, большую часть таких взволнованных респондентов нам удавалось успокоить уверенными, "солидными" интонациями наших объяснений. На некоторых особенно хорошо действовали нарочито "бюрократические" обороты речи.

Гораздо меньше было звонков от тех, кому чем-либо не понравилось поведение конкретного интервьюера (кстати, респонденты бывали недовольны женщинами-интервьюерами практически так же часто, как и мужчинами, что до некоторой степени противоречит установившемуся на этот счет взгляду). Во всех таких случаях мы стремились разобраться, подробно расспрашивая респондента, чем же именно оказался так нехорош интервьюер; если выяснялось, что наш работник нарушил инструкцию, приходилось применять санкции вплоть до полного отказа от его услуг, в зависимости от "тяжести преступления". Часто, однако, оказывалось, что интервьюер соблюдал все наши требования, в таком случае мы говорили респонденту о том, что интервьюер вел себя совершенно правильно, и нам упрекнуть его не в чем.

Еще реже респонденты звонили для того, чтобы попроситься к нам на работу. Обычно они при этом сначала хотели получить подробную информацию об опросе и его целях, об организации, занимающейся такими странными, но интересными делами, и т.д. Большей частью такие респонденты интересовались работой в качестве интервьюеров, но некоторые изъявляли желание заниматься социологией как наукой, получив из своего опыта общения с интервьюером первые смутные представления о ее содержании.

Иногда родственники опрошенных возмущались тем, что в их отсутствие опросили беспомощную бабушку, между тем сама бабушка при этом, наоборот, была рада возможности пообщаться; или 18-летнего сына, который не имеет права отвечать на какие-то подозрительные вопросы, не посоветовавшись с родителями, и вообще, "какое может быть мнение у такого молодого парня!"

Были звонки от соседей и друзей респондентов, обиженных тем, что не их опросили. Мы обычно давали им возможность высказать свое мнение, но, к сожалению, не могли включить их ответы в выборку.

В первые годы перестройки многие пользовались оставляемым нами телефонным номером для того, чтобы выразить нам свое восхищение, поскольку наша деятельность воспринималась ими как часть новых освежающих веяний.

И, наконец, встречались совершенно курьезные звонки, вроде следующего: "Скажите, это Институт Социологии? У меня к вам социальный вопрос - где там у вас можно на утюг записаться?"

Контроль качества данных

К сожалению, не все интервьюеры достаточно добросовестно относятся к своим обязанностям. Поэтому необходим контроль над их деятельностью, и такой контроль гораздо легче осуществим при опросе по телефону, поскольку можно позвонить любому опрошенному по уже известному телефонному номеру и узнать у него не только то, был ли проведен опрос и соблюдалась ли процедура отбора респондента, но и все ли вопросы анкеты были заданы. Именно при телефонном контроле обнаружился такой вид жульничества, к которому обычно прибегают умные и опытные интервьюеры, как привычка задавать по одному вопросу из тематического блока с целью экономии времени, а на остальные вопросы давать ответы самостоятельно, исходя из общей логики уже полученных ответов.

Телефонные интервьюеры: для них особенно важен голос, умение им владеть, пользоваться всем набором интонаций, отдавать себе отчет в том, какова интонация произносимой в данный момент фразы и как она воздействует на респондента (интонация может быть любезной, доверительной, равнодушной, напряженной, официальной, пренебрежительной, ласковой, жизнерадостной, общительной, испуганной, нервной, усталой, назойливой). Зато для них не имеет никакого значения внешний вид и способность много ходить по городу не уставая. Особенно большую роль играет правильное произношение, без акцента и дефектов речи; надо быть ясным, быстрым, точным; уметь создать о себе и об анкете хорошее впечатление - и все это, пользуясь одним только голосом. Предпринимаются попытки рационализировать, если не стандартизировать, различные стороны поведения при телефонном интервью, например, создаются различные шкалы, которые приводит Ю. Жакар, например, звук голоса определяется по шкале сильный-слабый; интонация - монотонная-разнообразная; тон - нежный-грубый; выражение: высокомерное, равное, приниженное; манера говорить: гладкая, ровная, отрывистая; произношение: ясное, внятное, невнятное, плохо артикулированное; спонтанность: голос спонтанный, повествовательный; скорость: медленно, быстро; тембр: приятный, неприятный, и т.д. Кроме того, создаются и "тесты содержания", которые оценивают голос по таким неопределенным показателям, как степень вежливости или фамильярности, манера держаться - профессиональная или любительская, как у неофита или как у посвященного, и т.д.

Телефонный опрос занимает промежуточное положение между очным и почтовым сразу в нескольких отношениях. Число задаваемых вопросов в нем обычно несколько больше, чем в почтовом опросе, но меньше, чем в очном. Скорость получения ответа, как правило, ниже, чем в очном, но выше, чем в почтовом опросе. Хотя источники искажения информации, обусловленные личностью интервьюера, устранены не полностью, все же голос в телефонной трубке менее способен привести к искажениям в ответах, чем живой человек. Наконец, и требования к подготовке обслуживающего персонала находятся в промежутке между тем, чего требует опрос очный, и тем, чего требует почтовый.

К преимуществам телефонного опроса принадлежат относительная быстрота получения ответа, наличие контроля над респондентом и хорошие возможности по обеспечению более адекватных ответов. Его основной недостаток связан с трудностью получения несмещенной выборки. Ведь те люди, у которых телефона нет или телефоны которых не указаны в телефонном справочнике, могут быть не менее релевантными для исследования, чем остальные. И поэтому исключение их из выборки может привести к искаженным результатам. Например, в справочнике часто не указываются домашние телефоны должностных лиц, а многие неимущие люди вообще не имеют телефонов. И это может решающим образом повлиять на итоги такого опроса, целью которого является, например, изучение зависимости между величиной личных доходов и политическим поведением индивида. То, в какой степени при телефонном опросе достижима репрезентативность выборки, зависит в основном от особенностей той совокупности людей, в отношении которой требуется сделать обобщение. Смещение выборки, связанное с отсутствием некоторых телефонных номеров, удается преодолеть с помощью метода рандомизированного набора телефонных номеров (random digit dialing) (т. е. с применением датчика случайных чисел), который к тому же увеличивает скорость проведения телефонного опроса. Организации, профессионально занимающиеся телефонными опросами, широко используют специально разработанные компьютерные технологии. Их применение позволяет сократить число ошибок, так как, во-первых, пользуясь программой, интервьюер точно следует от вопроса к вопросу, а во-вторых, ответы запоминаются автоматически, по мере того, как они заносятся опрашивающим. Современное оборудование также используется для высококачественного контролирования. Для этого существует 2 способа. Первый: контролер группы может прослушивать любое интервью в любое время, чтобы исправить замеченную ошибку спрашивающего. Второй: поскольку данные заносятся в компьютер по мере поступления, легко заметить, в какой мере репрезентативна получаемая информация и внести необходимые коррективы еще в ходе работы.

 

 

2. Почтовый и прессовый опрос в социологическом исследовании.

2.1Почтовый опрос в социологическом исследовании: понятие, основные характеристики. Почтовый опрос разновидность анкетирования, эффективный прием «заочного» сбора первичной эмпирической информации. Этот метод с успехом используется как для выяснения мнений населения, так и для получения экспертных оценок.

Обязательные требования данного метода:

1. тщательный, многоаспектный и многоразовый пилотаж проекта анкеты;

2. обстоятельная инструкция к ее заполнению;

3. шифровка конвертов;

4. вложение в почтовые отправления чистого конверта для возврата анкеты;

5. напоминание респондентам о необходимости возврата заполнения анкеты (телефоном, почтой и иными средствами).

Важное преимущество почтового опроса – простота организации. Нет необходимости в подборе, обучении, контроле за деятельностью интервьюеров. При известном опыте подготовка и рассылка всей документации для почтового опроса 2000–3000 человек может быть осуществлена двумя работниками за 7–10 дней, что значительно уменьшает материальные расходы на исследование, обеспечивая тем самым низкую стоимость информации. К достоинствам метода относится и то, что он позволяет одновременно опросить людей, проживающих на большой территории, в том числе в труднодоступных районах. Кроме того, благодаря отсутствию контакта между респондентом (экспертом) и анкетером (интервьюером) психологический барьер, который возникает иногда при индивидуальном опросе, здесь исключен. На респондента не «давят» и временные рамки – он может не спешить, уточнить какие-то детали для ответа на вопросы анкеты.

Почтовый опрос обладает целым рядом преимуществ:

1. Поскольку почтовые опросы стоят намного дешевле, чем очные, они допускают более широкий круг распространения опросного инструмента и, соответственно, большие выборки.

2. Почтовый опрос позволяет избежать многих неудобств, связанных с распространением опросного инструмента. К таким сложностям относится нежелание интервьюеров работать в определенных районах и их неумение брать интервью у индивидов или семей определенного типа.

3. Почтовый опрос позволяет также избежать тех искажений в результатах, которые обусловлены личными качествами интервьюера.

4. Благодаря анонимности, обеспечиваемой за счет распространения опросного инструмента по почте, ответы респондентов бывают более правдивыми.

5. При почтовом опросе у респондента больше времени на обдумывание ответов, которые соответственно в большей степени отражают его истинные настроения, чем ответы, порождаемые в спешке в ходе очного интервью.

6. За счет централизованности процедуры кодирования и большей стандартизации всех остальных процедур в почтовом опросе меньше риск дублировании ошибок при обработке данных.

7. Почтовый опрос требует меньшего количества обслуживающего персонала. Это позволяет сэкономить деньги и время, а также обеспечивает большую стандартизацию при обработке данных.

Но, к сожалению, у почтового опроса тоже есть свои ограничения. Прежде всего, этот тип опроса требует разработки единообразного опросного листа, рассылаемого по почте всем респондентам выборки, причем выборка должна быть достаточно представительной. Но подобного единого образца, одинаково приемлемого для опроса разных групп населения, данные о которых требуется обобщить, во многих случаях просто не существует. Во-вторых, для того чтобы опрос протекал достаточно быстро, анкеты должны быть короткими. Это значит, что от каждого контакта с респондентом может быть получено относительно небольшое количество информации. В-третьих, исследователь лишен возможности контролировать действия респондента по заполнению анкеты. Это чревато, в частности, тем, что анкета может быть заполнена не по правилам или же каким-то другим лицом, не входящим в данную выборку; кроме того, процесс заполнения анкеты может неоправданно затянуться. В-четвертых, на почтовый опрос нельзя полностью положиться в отношении валидности получаемой информации. Ведь у респондента есть время, чтобы “подсмотреть” ответ на вопрос анкеты, особенно если это касается вопроса на проверку знаний (типа такого: “Как фамилия сенатора от Вашего штата?”). И наконец, существуют такие исследовательские проблемы, которые требуют усложненной техники опроса, доступной только опытному интервьюеру.

Среди недостатков почтового опроса назовем также неполный возврат анкет, что снижает надежность собранных данных. Если бы причиной этого были лишь случайные обстоятельства, было бы достаточно увеличить число рассылаемых анкет. Однако практика почтового опроса, результаты методических экспериментов доказывают, что здесь действуют не случайные причины, а систематические. В одних ситуациях в заочном анкетировании активнее участвуют представители старших возрастных групп (например, по вопросам, касающимся пенсионной или налоговой политики государства), в других – молодежь (например, по вопросам выбора жизненного пути или рейтинга рок-групп). В целом процент возврата анкет зависит от социально-демографической структуры обследуемых. Обычно состав ответивших на анкету по полу, возрасту, образованию, стажу профессиональной деятельности в большей или меньшей степени не соответствует составу генеральной совокупности. Очевидно, что такое отклонение невозможно устранить путем увеличения числа рассылаемых анкет.

На надежность получаемых результатов в почтовом опросе влияют и другие факторы. Так, мнения ответивших могут не совпадать с мнениями тех, кто воздержался от участия в почтовом опросе; не редки ситуации, когда респондент не сам заполняет анкету, а перекладывает это на кого-либо из членов семьи; нельзя исключить и случаи группового «творчества».

Следовательно, важнейшая методическая и организационная задача, решаемая исследователем при планировании и проведении почтового опроса, – стимулирование возврата анкет. Опыт показывает, что 70–75%-ный возврат обеспечивает достаточно высокую надежность результатов. Существуют реальные приемы достижения этого уровня, направленные на создание у респондентов благоприятной установки на участие в почтовом опросе.

Методический инструментарий для почтового опроса должен отвечать повышенным требованиям. Если при непосредственном общении интервьюер «подстраховывает» исследователя, помогает респондентам понять содержание вопросов и правила ответа на них, то при почтовом анкетировании такой возможности нет. Все контакты социолога с опрашиваемым и в основных моментах, и в деталях опосредуются только документами. Из этого следует, что допущенные в анкете методические ошибки исправить по ходу исследования не представляется возможным и они неизбежно «воплотятся» в полученных результатах в виде систематической погрешности.

В почтовой анкете обязательно должно быть краткое вступление, где дается объяснение правил, по которым она заполняется. Такое вступление помогает завоевать расположение респондента, добиться сокращения числа ошибок, пропусков в ответах.

В начале анкеты располагают простые вопросы, интересные по содержанию. Вопросы, требующие серьезных размышлений, а также открытые и табличные вопросы, предусматривающие выбор из большого числа суждений, задают позже. В общем случае анкету завершает «паспортичка».

Близкие по содержанию вопросы группируют в блоки.

Оформление анкеты требует серьезного внимания. В частности, строчные буквы целесообразно использовать для вопросов, прописные – для ответов. Коды, идентифицирующие ответы, лучше всего поместить слева от градаций. Желательно предусмотреть переходы, вводящие опрашиваемого в новый тематический блок и подсказывающие смену конструкции, формы вопросов, использовать визуальные средства (стрелки, указатели, пробелы), помогающие респонденту не сбиться с направления «движения», заданного исследователем. Не допускается перенос части вопроса со страницы на страницу.

При оформлении анкеты рекомендуется использовать различные шрифты, придумать для нее привлекательное, броское название. Формат по возможности выбирается такой, чтобы респонденту не пришлось складывать анкету при отправке.

На последней странице обычно помещают обращение к респонденту с предложением дать какие-либо дополнительные комментарии по теме опроса и выражением благодарности за участие в исследовании.

Существует некоторая отрицательная связь между объемом (длиной) анкет и уровнем их возврата. Тем не менее иногда, чтобы усилить интерес опрашиваемого к анкете, вводят ряд дополнительных вопросов, а не сокращают ее.

Некоторые считают, что высокий возврат при проведении почтового опроса достигается лишь в достаточно однородных социальных или демографических группах. В действительности заочная форма анкетирования успешно применяется при массовых обследованиях общественного мнения, когда выборочная совокупность включает представителей всех слоев населения.

На численность выборочной совокупности, используемой при почтовом опросе, обычно не накладывается каких-либо ограничений. Она определяется целями исследования, материальными и организационными возможностями исследовательского коллектива. Этот метод не рекомендуется применять при изучении достаточно замкнутых совокупностей, где велика вероятность контактов потенциальных респондентов. Так, если почтовые анкеты разослать членам небольшого трудового коллектива или жителям деревни, то, несомненно, этот факт вскоре станет предметом обсуждения между ними и ответы на вопросы анкеты, как и само участие в почтовом опросе, окажутся в некоторой степени итогом коллективного мнения.

Минимальное число рассылаемых анкет – 400. В этом случае высока вероятность получения 250–300 анкет для последующей обработки и анализа.

Адреса потенциальных респондентов при опросе населения можно извлечь из списков избирателей, из домовых книг, телефонных, коммерческих справочников. Если изучается аудитория какой-либо газеты, журнала, адреса подписчиков определяются по картотекам почтовых отделений. Почтовый опрос применим и при исследовании мнений трудящихся больших коллективов. При этом выборка комплектуется на основе данных отделов кадров предприятия (учреждения).

Увеличение возврата почтовых анкет достигается за счет рассылки респондентам уведомлений (см. образец 5.1). Они направляются за 3-4 дня до отправления анкет и настраивают человека на участие в опросе. В уведомлении указывают, каким образом исследователи получили адрес респондента (например, по списку избирателей, в адресной книге и т.д.), чему будет посвящен опрос, какие цели ставят перед собой исследователи; подчеркивается важность участия данного респондента в опросе. Обычно высылка уведомлений повышает возврат анкет на 10–15 %.

 

Одновременно с рассылкой анкет в том же конверте высылаются другие документы. Среди них обязательно должно присутствоватьсопроводительное письмо. Здесь, обращаясь к респонденту по фамилии или имени и отчеству, следует повторить просьбу об участии в почтовом опросе, подробно изложить цели исследования, подчеркнуть его практическую направленность, обратить внимание потенциального респондента на анонимность анкеты (нужно или нет подписывать возвращаемую анкету). Обязательно приводятся адрес и телефон исследовательской организации, что при необходимости позволит респонденту получить дополнительную информацию об исследовании, о правилах заполнения анкеты (см. образец 5.2).

Рекомендуется высылать небольшое символическое вознаграждение (календарь, схему маршрутов общественного транспорта, линий метрополитена и др.), подчеркнуть внимание к респонденту. Это увеличит возврат анкет. Вместе с анкетой респонденту непременно отправляют конверт с напечатанным на нем адресом исследовательской организации, для того чтобы респондент в этом конверте выслал заполненную анкету. Заметим, что и на конверте, в котором документы направляются респонденту, и на конверте возврата стоит наклеивать яркие, многоцветные марки. Сам конверт обязательно должен иметь самоклеющийся ободок. Для обратной пересылки анкеты в исследовательское учреждение не стоит использовать самые большие конверты. Они не входят в почтовый ящик, а ради отправки анкеты далеко не каждый респондент пойдет на почту. Наиболее подходящим является конверт средних размеров.

 

Примерно через 2–3 недели после отправки анкет высылается напоминание (см. образец 5.3). Если опрос анонимный, напоминание высылается всем потенциальным респондентам; если не анонимный, то тем, кто к определенному времени не прислал заполненной анкеты. Напоминание – один из сильнейших стимуляторов, в среднем оно увеличивает возврат анкет на 20 %. Иногда приходится высылать вторичные напоминания.

Сигнальная карточка – почтовая открытка с маркой, которая высылается потенциальному респонденту вместе с анкетой. На открытке отпечатан адрес исследовательской организации. Заполнив анкету, опрашиваемый вписывает в сигнальную карточку свою фамилию и адрес и высылает ее отдельно от анкеты. Благодаря этому сохраняется анонимность и одновременно появляется возможность узнать, кому из респондентов не надо высылать напоминание. Все документы можно начинать так: «Уважаемый господин (уважаемая госпожа)...», а заканчивать словами «Группа почтового опроса».

 

Очень важно заранее выяснить на почте сроки прохождения почтовых отправлений до респондентов и отправить анкеты так, чтобы опрашиваемые получили ее в конце трудовой недели: это повышает вероятность скорого заполнения анкеты.

В крупном городе первые заполненные анкеты возвращаются на 7–8-й день, затем в течение двух недель отмечается период наиболее активного возврата. В это время он достигает, как правило, 50 %. Дальнейший его рост определяется конкретными особенностями процедуры опроса.

Завершая рассмотрение факторов повышения возврата анкет, отметим, что ни один из них не играет исключительной роли. Только совместное использование различных стимуляторов обеспечивает активное участие респондентов в почтовом опросе.

2.2 Понятие «прессовый опрос» и его характеристика. Прессовый опрос - разновидность заочного опроса. В этом случае анкета печатается в газете или журнале. Чаще всего используют два вида такого опроса: первый – с целью получения данных о читателях и их мнения о работе печатного органа; второй – через печатный орган изучается мнение по какой-либо актуальной проблеме.

Прессовый опрос – разновидность анкетирования, осуществляющаяся посредством периодической печати. Основные преимущества: оперативность, массовость, экономичность, откровенность респондентов, обусловленная добровольностью их участия в опросе.

Главные его недостатки: низкая репрезентативность, невысокие показатели возврата заполненных анкет, усугубляемые большой их выбраковкой, малочисленность вопросов, преобладание закрытых вопросов, ограниченные возможности применения шкальных, табличных, диалоговых, менюобразных, контрольных и фильтровочных вопросов, вероятность влияния на респондента других лиц.

Обязательные требования к методу:

1. предварительная апробация (пилотаж) среди всех качественно различных групп читателей данной прессы;

2. предельная простота формулировок вопросов и инструкции к заполнению;

3. использование разных шрифтов при публикации (для выделения смысловой структуры анкеты);

4. повторная перепечатка анкеты в той же газете через неделю-полторы после первой публикации;

5. оглашение результатов опроса на страницах этого же издания.

Поскольку каждая газета имеет своих постоянных читателей, отличающихся от прочих людей рядом социальных характеристик (уровнем материального достатка, местом жительства, идеологическими, политическими и другими пристрастиями), постольку по результатам прессового опроса, проведенного одной газетой, нельзя судить о состоянии общественного мнения, присущего всему населению. Отсюда проистекает желательность и потребность одновременности проведения прессовых опросов по одной и той же анкете в газетах различных направлений. Нарушение этого принципа (к сожалению, оно в современных российских условиях встречается не в порядке досадного исключения, а как правило) ведет не к познанию истинного общественного мнения, а к разного рода идейно-политическим спекуляциям.

Из-за пассивного характера процедуры вовлечения потенциальных респондентов в опрос в прессовом анкетировании возврат анкет невысок. Зачастую это доли процента или единицы процентов всей совокупности подписчиков и читателей. Крайне редко в опросе участвует более 10 % аудитории. Но при значительном тираже издания, например ежедневной газеты крупного областного города, даже при низкой активности респондентов может быть получено весьма большое (несколько тысяч) число заполненных анкет. Однако в этом случае анализ, обобщение эмпирических данных следует осуществлять осторожно, не спешить с распространением полученных выводов на всю массу читателей. Дело отнюдь не в том, что социально-демографический состав ответивших на анкету чаще всего не совпадает с «паспортными» характеристиками аудитории в целом. Гораздо важнее то, что отвечающие отличаются от «молчаливого большинства» либо своим отношением к конкретному печатному органу, либо своим видением и пониманием изучаемой проблемы, либо тем и другим одновременно. Поэтому даже последующий «ремонт» выборки, приведение ее по ряду контролируемых параметров в соответствие со структурой генеральной совокупности не всегда повышают уровень репрезентативности исследования. Скажем, если в прессовой анкете изучается отношение к жилищной проблеме, то среди приславших свои ответы будет больше, чем в целом среди читателей газеты, тех, кто остро неудовлетворен своими жилищными условиями. Кроме того, в читательской аудитории газет или журналов всегда есть «активисты», готовые заполнять все анкеты независимо от тематики опроса, и пассивная часть, которая в принципе не склонна высказывать свои суждения, тем более в заочной форме.

Решающие факторы формирования модели выборочной совокупности, т.е. того массива опрашиваемых, с которым имеет дело социолог, – это тема исследования, конструкция и оформление прессовой анкеты, специфика времени публикации. Так, при прочих равных условиях летом, когда нарушается регулярный характер контактов аудитории с изданием, возврат будет ниже, чем в другой сезон. Иным будет и состав ответивших.

Прессовый опрос не гарантирует получения представительной для изучаемой совокупности информации, поэтому суммарные статистические распределения ответов интерпретировать довольно сложно. В тоже время из общего массива заполненных анкет почти всегда могут быть созданы однородные подмассивы, составленные из конкретных социально-демографических групп подписчиков. Это открывает благоприятные возможности для исследования мнений и предложений, высказываемых различными группами респондентов. Значительная часть участников опроса сопровождает заполненную анкету письмами, содержащими развернутую аргументацию их отношения к изучаемой проблеме. Подобные «самоинтервью» существенно обогащают первичную информацию и углубляют научный анализ проблемы.

Активность респондентов в прессовом опросе повысится, если за несколько дней до публикации анкеты газета выступит по соответствующей теме, обострит проблему, поместив материалы, где отражены дискуссионные точки зрения. Можно сразу информировать читателя о планируемом социологическом опросе и подчеркнуть заинтересованность редакции в результатах. Анкету публиковать целесообразно перед выходными днями. Однако у такого приема имеются и отрицательные последствия – возможное влияние на мнение читателей, что может стать источником систематической ошибки опроса.

В газете анкету выигрышно расположить на первой полосе, выделив шрифтом, броским заголовком, сопроводив фотографией. Если это по какой-то причине невозможно и анкета помещается в другом месте, целесообразно сообщить об этом читателю на первой полосе. В любом случае анкета должна предваряться вступлением от редакции, в котором сообщается о целях опроса, называется исследовательский коллектив, указывается адрес, по которому надо отправить заполненную анкету.

В журнале текст анкеты можно поместить на двух сторонах одного листа, и тогда читатель, вырезав анкету, не нарушит содержания журнальных статей. В газете анкету чаще всего помещают на одной полосе.

Число вопросов в прессовой анкете ограничивается площадью, которую под нее выделяет печатный орган. Газетная анкета обычно содержит 10–30 вопросов, иногда чуть более.

Если редакция планирует проводить прессовые опросы регулярно, необходимо обязательно опубликовать полученные результаты. Тогда каждый ответивший сможет увидеть на страницах печатного органа свою позицию, найти себя среди большинства или меньшинства. Кроме того, редакция должна информировать читателей о том, что сделано после изучения собранных мнений, что планируется осуществить в ближайшее время и что делать пока трудно или нецелесообразно. В противном случае может нарушиться обратная связь с читательской аудиторией, что быстро сведет на нет все усилия по проведению социологического опроса.

 

 

Рекомендуемая литература.

<== предыдущая лекция | следующая лекция ==>
Органы выделения и их значение. Почки, функции, строение | Организация АСКУЭ с проведением опроса счетчиков переносным компьютером через преобразователь интерфейсов, мультиплексор или модем

Дата добавления: 2014-01-20; Просмотров: 6165; Нарушение авторских прав?;


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



ПОИСК ПО САЙТУ:


Рекомендуемые страницы:

Читайте также:
studopedia.su - Студопедия (2013 - 2019) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление
Генерация страницы за: 0.026 сек.