Ошибки и трудности в применении экспертного опроса

Факторывалидности экспертных оценок

Валидность — доверие, которое заслуживают суждения экспертов. Она зависит от компетентности экспертов и трудности решаемой задачи. Существует много причин, по которым эксперт может оказаться не в состоянии реализовать свой интеллектуаль-ный и творческий потенциал. Отметим некоторые из них и дадим рекомендации по их устранению.

1. Идентификация суждения с его источником — естественный компонент восприятия человека человеком. Значительно снимается при отсутствии непосредственного контакта экспертов. Если же группа работает в режиме очного взаимодействия, следует со­ставлять ее так, чтобы туда не попадали люди, хорошо знающие друг друга, начальники и подчиненные. Включение в группу «громких имен» целесообразно лишь тогда, когда вся она состоит из специалистов высокого ранга.

2. Центростремительное давление возникает из-за свойствен­ного большинству людей смещения своих суждений в сторону нейтральной середины. Установлено: чем выше самооценка ком­петентности эксперта, тем выше устойчивость высказываемых суждений. Переход к заочному взаимодействию экспертов сам по себе не исключает возникновения центростремительного давле­ния, однако некоторые процедуры сбора информации (процеду­ры с качественной обратной связью, с индивидуальной обратной связью) позволяют справиться с этой сложностью.

3. Стремление к доминированию может возникать у членов экс­пертной группы, не являющихся признанными лидерами, это потенциальный источник конфликтов. Следует избегать включе­ния экспертов с повышенной тягой к лидерству в опросы с режи­мом непосредственного воздействия.

4. Неустойчивость формирующегося мнения характерна для боль­шинства экспертов на этапе знакомства с объектом и первичного обдумывания оценок. Высказанное в этот момент незрелое суж­дение может быть воспринято остальными как желанная подсказ­ка. На первом этапе необходимо поддерживать информационную изоляцию экспертов.

Достоверность экспертных оценок повышается за счет правиль­ной формализации исходной информации, корректного подбора экспертов, соблюдения принципов и процедур экспертного опро­са. Она зависит и от индивидуальных качеств эксперта (профес­сиональных и практических знаний, стажа и опыта работы в кон­кретной сфере деятельности и др.).

1. Нечеткость в определении целей экспертизы. Их несоответ­ствие возможностям экспертов, используемой технике проведения экспертизы. Опрос экспертов проводится без специально разра­ботанной программы.

2. Неэффективное использование экспертов. Экспертиза пред­назначена для получения информации, которая могла быть собра­на другими, менее сложными методами.

3. Недостаточно тщательный подбор экспертов. Оценка компетентности кандидатов в эксперты имеет односторонний характер (или вообще отсутствует), что приводит к появлению в группе экспертов случайных людей.

4. Привлеченные к опросу эксперты не проявляют интереса к экспертизе. Часть экспертов заинтересована в искажении информации.

5. Инструментарий экспертизы не был заранее апробирован. Не достаточно точно сформулированы вопросы, не ясен их основной смысл. Значительно число неответов на поставленные вопросы.

6. Эксперты испытывают трудности в применении техники экспертизы.

7. Возникли трудности интерпретации данных из-за значительного разброса ответов, их неоднородности, трудности сопоставления данных в разнородных группах экспертов.

8. В ходе экспертизы получено много количественных оценок, но не было уделено внимание их аргументации. Возникли трудности объяснения полученных данных. Средние значения отве-тов оказываются далекими от верных.

9. Стремление ускорить опрос привело к поверхностному анализу проблем экспертами.

10. Излишний оптимизм в оценке результатов опроса. Данные экспертизы не подтверждены другими объективными данными

4.6. Необычные эксперты

В июле-августе 2002 г. исследовательский центр РОМИР провел опрос о культурном облике Москвы, где в качестве экспертов выступила не совсем обычная категория людей, а именно иностранцы, живущие и работающие в столице¹³. В роли экспертов вы ступили представители крупных зарубежных компаний, торговых представительств, сотрудники посольств, культурных фондов, информационных агентств и средств массовой информации, исследовательских организаций, университетов. Все эксперты занимали ключевые посты в своих компаниях и организациях (возглавляли российские представительства компаний, занимают высокие позиции в дипломатических представительствах, культурных и исследовательских организациях). Они представляли следующие страны: США, Япония, Германия, Великобритания, Франция, Испания, Норвегия, Греция, Кипр, Австралия, Эстония, Латвия, Украина, Югославия.

Исследование проходило в форме неформализованных интер­вью. Структура интервью предполагает, что эксперты рассказы­вают о своем личном опыте жизни в Москве, оценивают те или иные стороны культурной жизни города, но при этом у них оста­ется возможность высказать свои взгляды на русскую культуру и в более широком смысле: о том, в чем заключается, по их мне­нию, ее специфика, о значении русской культуры для иностран­цев, об их ожиданиях, связанных с Россией. Экспертные интер­вью записывались на диктофон, у интервьюера также была воз­можность делать необходимые заметки в процессе проведения интервью. В ходе исследования было взято 40 экспертных интер­вью, данные которых расшифровывались, кодировались и обра­батывались методами качественного анализа.

Результаты опроса экспертов. В начале интервью экспертам предлагалось рассказать, с чем ассоциируется для них русская и российская культура, назвать имена культурных деятелей, рабо­тавших в разное время в различных областях искусства и культу­ры, которые вспоминаются в первую очередь, если речь заходит о русской культуре. Ответ на этот вопрос ни у кого из экспертов не вызвал заметных затруднений. Подавляющее большинство экспер­тов легко называли имена и явления, ассоциирующиеся для них с русской и российской культурой.

На первом месте по числу упоминаний стоит русская литера­тура — о писателях, литературных произведениях, литературе во­обще вспомнил 31 эксперт из 40 участников этой волны исследо­вания. По словам одного из экспертов, «литература — это слава России». На втором месте среди различных областей и явлений российской культуры стоит российская музыкальная культура (о ней упоминают 23 эксперта), причем здесь речь также идет почти исключительно о классической музыке. На третьем месте по числу упоминаний экспертами идет российское театральное искусство в самом широком понимании — и как русская театраль­ная школа (ассоциируется, в первую очередь, с именем Станис­лавского, реже с экспериментальным театром).

Российское изобразительное искусство, по мнению экспертов, в целом меньше репрезентирует российскую культуру. Исключе­ние здесь составляют художники-авангардисты (Малевич, Кандинский, Шагал), которых упоминали некоторые эксперты (все­го таких упоминаний было 7). По мнению экспертов, авангард — это вклад России в мировую культуру; как выразился эксперт из Японии, «авангард не мог бы сформироваться в отрыве от революции, от революционного сознания, он просто не мог возникнуть нигде, кроме России».

По уровню проведения и организации крупных культурных ме-роприятий все эксперты ставят Москву в один ряд с крупнейши-ми культурными центрами мира: «думаю, Москву можно сравнить с крупнейшими городами мира по богатству культурной жизни" «подобное можно увидеть и в других городах мира, но, пожалуй, только в крупных мировых центрах, таких как Лондон, Париж, Нью-Йорк, к которым теперь принадлежит и Москва»; «то, что я до сих пор видела в Москве (театры, выставки), сопоставимо толь-ко с культурными событиями самых крупных городов мира».

Сопоставление с мировыми культурными центрами (это в ос-новном Лондон, Париж, Берлин и Нью-Йорк) идет чаще в пользу Москвы («если сравнивать с Лондоном, в Москве более бурная культурная жизнь, если говорить в целом»; «качество спектаклей, на мой взгляд, в Москве лучше»; «в других странах тоже ставятся балеты, есть подобные спектакли, но в Москве они на особо вы-соком уровне»; «в Москве богаче культурный выбор»).

Однако там, где речь заходит о нетеатральной культурной жизни, часть экспертов считают, что в организации крупных культурных мероприятий Москва пока уступает другим культурным центрам. Часто эксперты отмечают организационные и бытовые не-удобства, отсутствие необходимой инфраструктуры, с которыми им приходится сталкиваться при посещении культурных мероприятий, хотя сами мероприятия не вызывают никаких нареканий

Дата добавления: 2014-01-20