Согласованность экспертных оценок

Не

Но

Психодиагностика как научная технология

6) Проективные методики. Это, как правило, тесты со свободным ответом, в которых инструкция и тестовые стимулы столь неопределенны, что допускают выбор ответа в очень широких пределах. Направление этого выбора определяется структурой субъективного опыта, установками и мотивами испытуемого. Это-то и позволяет использовать проективные методики для диагностики указанных свойств.

Понятие «ответ» следует трактовать максимально широко. Ответами в проективных методиках могут быть целостные рисунки или тексты. Когда тестовый стимул фактически отсутствует, а спонтанная активность испытуемого задана только свободной инструкцией (типа «Напиши сочинение на свободную тему»), то проективный метод сближается с так называемым методом анализа продуктов деятельности. Важно подчеркнуть, что в структуру проективной методики всегда входит более или менее структурированная и формализованная экспертная оценка результатов. Более надежную и валидную информацию с помощью этих методик можно получить только тогда, когда их результаты оценивают несколько независимых экспертов и их результаты проверяются на согласованность. Причем все эти эксперты должны обладать как общей психологической квалификацией, так и специальным опытом обучения данной конкретной методике.

К сожалению, в силу низкого уровня методической культуры среди практических работников до сих пор популярны паранаучные проективные тесты, при проведении которых (и главное — при интерпретации результатов) не соблюдены необходимые атрибуты научной технологии. Еще раз подчеркнем, что с научно-технологической точки зрения проективные методики — разновидность метода экспертных оценок и должны удовлетворять всем требованиям

• 111

Основы психодиагностики

этого метода. При применении проективных методик особенно повышается риск таких артефактов, как ИНСТРУМЕНТАЛЬНЫЕ ОШИБКИ и ОШИБКА ПСИХОДИАГНОСТА. Более подробно проективные методики в связи с задачами школьной психодиагностики описываются в разделе 2.5.

7) Стандартизированное аналитическое наблюдение. В отличие от свободного исследовательского наблюдения в стандартизированном наблюдении исполнитель следует строгой методике: он знает, какие факты в поведении наблюдаемого объекта регистрировать и как на основании этих фактов производить оценку латентных диагностических переменных. В данном учебном пособии аналитическое наблюдение и методы экспертной оценки его материалов освещаются в параграфах 2.2 и 4.1.

8) Контент-анализ (анализ содержания). Эта техника применяется при наличии однозначно зафиксированного материала наблюдения. Подсчитывает- ся частота появления определенных элементов (фактов, единиц анализа) в материале наблюдения, а затем по соотношению этих частот делаются психологические выводы. Первоначально метод был разработан для социально-психологического анализа газетных текстов, но затем его принципы распространились на любые продукты деятельности (в том числе тексты свободных сочинений учащихся, продукты их творчества и т. п.). При появлении совершенной техники аудио- и видеозаписи приемы подобного анализа стали применяться к аудио- и видеолентам, в которых живое поведение однозначно зафиксировано и может быть многократно воспроизведено: как для экспертной оценки независимыми экспертами, так и для формально-статистического анализа частоты появления однозначно регистриру-

Психодиагностика как научная технология

емых фактов.

Например, если на видеозаписи урока зафиксировано, что ученик Сидоров три раза выстрелил из рогатки, то частота этого элементарного и однозначно интерпретируемого события является практически таким же объективным «протокольным» фактом, как и ответы испытуемого на объективный тест. Поэтому, для так называемого «кодирования» единиц анализа (подсчет частоты их появления в материале наблюдения), в контент-анализе привлекаются исполнители сравнительно невысокой квалификации («кодировщики»). Результаты работы «кодировщиков» затем интерпретируются подготовленным экспертами-психологами.

9) Включенное наблюдение с последующим рейтинг-шкалированием. Очень часто у нас нет практической возможности организовать сколь-нибудь продолжительное наблюдение с привлечением независимых наблюдателей, не включенных в педагогический процесс (их рабочее время тоже надо оплачивать и это слишком дорого). Поэтому к вынесению суждений об объектах наблюдения привлекаются участники педагогического процесса. В общем случае, это могут быть ученики (подобная разновидность данного метода зафиксирована в отечественной литературе под аббревиатурой ГОЛ — «групповая оценка личности»), но, конечно, более квалифицированную информацию здесь может и должен дать сам учитель. Мера выраженности оцениваемого свойства здесь обеспечивается не частотой появления определенного факта в материале наблюдения (определенного поступка), а градацией субъективной оценки по определенной рейтинг-шкале (семибалльной, пятибалльной или более или менее дробной)-

В разделе 4.1. приведена одна из возможных методик такого типа, призванная суммировать впе-

Основы психодиагностики

чатления учителя от ученика, накопленные в течение учебного года и выраженные в виде балльных (рейтинговых) оценок по обширному набору шкал с названиями личностных характеристик.

При интерпретации результатов данного метода следует, безусловно, учитывать, что оценки включенного наблюдателя могут быть гораздо более субъективными, чем оценки независимого наблюдателя, не включенного в процесс взаимодействия с объектом наблюдения. Здесь резко повышается риск ОШИБОК ПСИХОДИАГНОСТА — в силу определенной заинтересованности, которую проявляет включенный наблюдатель. Сокращение этого риска возможно только путем выяснения согласованности оценок, полученных от разных независимых наблюдателей (см. 2.2)..

10) Психологическая беседа (интервью). Этот метод, один из наиболее древних и популярных в паранаучной психологии, очень часто кажется новичкам и дилетантам самым простым, естественным и эффективным. На самом деле этот метод является самым субъективным из всех перечисленных. Ведь интервьюер добывает сведения об испытуемых, наблюдая и анализируя его ответы в момент оказания на него воздействия. А именно воздействием следует считать вопросы интервьюера. В случае непосредственного контактного интервьюирования (не по переписке и не по телефону) на испытуемого воздействуют все коммуникативные особенности интервьюера — не только слова, но и его поза, жесты, мимика, интонации. Результаты вскрытия личностных проблем оказываются совершенно различными, в зависимости от того, устанавливается или нет доверительный контакт между интервьюером и интервьюируемым. Метод психологической беседы больше используют психологи-консультанты, чем психоло-

Психодиагностика как научная технология

ги-диагносты. Во всех случаях профессиональные психологи учатся целые годы овладению только одним каким-то видом беседы. Подчеркнем еще раз, что беседа относится к классу интерактивных методов (методов прямого взаимодействия) и в этом качестве всегда сочетает сбор информации с оказанием психолого-педагогического воздействия.

Определенной модификацией и формализацией метода беседы можно считать письменное заочное анкетирование, хотя сама по себе разработка АНКЕТЫ предъявляет совершенно иные требования профессиональным и личным качествам исполнителя, чем проведение живой беседы. В школе анкетные опросы могут успешно проводиться только в старших классах.

11) Ролевая игра. Особой разновидностью интерактивных методов, эффективных для диагностики детей, следует считать * ролевую игру». Сам психолог, если даже он и не участвует _в игре в определенной роли, так или иначе включен в процесс, так как выполняет роль ведущего (игротехника). Ребенок, безусловно, проявляет в игре присущие ему черты поведения. Но сами правила игры, раскладка ролей и поведение конкретных участников очень часто тут же оказывают столь серьезное воздействие на ребенка, что не только его психическое состояние, но и установки, тактика поведения и другие долговременные психические свойства трансформируются (коррегируются). Таким образом, также как и беседа, «ролевая игра» является комплексным, коррекционно-диагностическим методом.

12) Активный (обучающий) эксперимент. С психологической точки зрения, данный метод диагностики весьма важно отличать от стандартного теста, так как в этом случае дополнительными тестовыми

* ■

Основы психодиагностики

стимулами служат не вполне стандартизированные дополнительные инструкции, а также обучающие воздействия (помощь), исходящие от экспериментатора. В области возрастной психологии этот тип эксперимента имеет широкое распространение для определения диапазона отклонения от нормы и перспективы компенсации этого отклонения (в некоторых случаях это позволяет выявить так называемую «зону ближайшего развития»). Это типичная диалоговая техника, требующая высокопрофессионального уровня рефлексии (самоучета) от экспериментатора. Для эмоционально-лабильных детей, сверхчувствительных к социальному контексту, помощь от взрослого-экспериментатора помогает осмыслить диагностическую обстановку не как враждебно-угрожающее дознание, а как доброжелательное сотрудничество. Помощь помогает всем, но полнее всего она позволяет раскрыть свой потенциал именно эмоционально-лабильным детям с повышенным уровнем коммуникативной тревожности, неуверенности в себе, с неустойчивой зависимой самооценкой. Особое значение «обучающий эксперимент» имеет для диагностики детей с недостатками развития (3.3).

Отдельного комментария заслуживает метод так называемого «КАЧЕСТВЕННОГО АНАЛИЗА ДЕЯТЕЛЬНОСТИ», который занимал практически доминирующее положение в отечественной (особенно столичной) психологии в период с 30-х по 70-е годы — период действия запрета на тестирование. По своей логико-семантической сути продукт любого «качес-. твенного анализа» — не более чем произвольное описание с использованием нестандартизированного набора так называемых «качественных признаков». На практике это означает, что одного испытуемого «качественный» психолог-диагност описывает в одних терминах, а другого — в других терминах. Такой подход необходим для педагогической или психоте-

•

Психодиагностика как. научная технология

рапевтической коррекции, так как без учета индивидуального комплекса причин каких-то отклонений от нормы нельзя добиться результативной коррекции этих отклонений. Особенно эффективен качественный анализ в том случае, когда психолог-диагност и психолог-корректор объединяются в одном лице (и причем в лице высококвалифицированного и творчески одаренного исполнителя).

Но качественный подход фактически ничего не дает для принятия решений. Особенно, когда это решение приходится принимать другому человеку — не тому, кто проводит диагностику. Дело в том, что качественные методы не дают обоснования уровню уверенности в принятии решения, тогда как количественный показатель явно или менее явно дает такую возможность. Особенно важно учесть это обстоятельство, когда практическому работнику (педагогу, администратору) приходится принимать СРАВНИТЕЛЬНОЕ РЕШЕНИЕ — сравнивать уровни (зрелости, способностей, отклонений и т. п.) разных кандидатов, или НОРМАТИВНОЕ РЕШЕНИЕ — сравнивать выявленные уровни с определенным «социокультурным нормативом». Несопоставимые друг с другом качественные описания не только не дают проекции на шкалу уверенности в принятии решений, но и не позволяют произвести с определенной уверенностью сравнительное предпочтение двух кандидатов. Такое качественное описание в задачах данного типа есть не что иное, как уход специалиста (психолога) от ответственности за принятие решения и перекладывание ее на другое лицо. Таким образом, в ситуациях принятия решения о готовности ребенка к обучению в школе (см.3.2), о переводе ребенка в дефектологическое образовательное учреждение (см.3.3), зачислении ребенка в класс для особо одаренных детей (см.3.4) — во всех этих случаях кто-то все равно вынужден произвести количествен-

Основы психодиагностики

ную интеграцию всех собранных качественных данных и сопоставить некий «суммарный балл» с количественным критерием принятия решения.

Конкретные психодиагностические методики освещаются в связи с определенными практическими задачами школьной психодиагностики в отдельных главах и параграфах второй части настоящего учебника. Задача данного раздела — дать студентам общую основу, ориентировку в самых широких классах психодиагностических методик.

Изложенные в настоящем параграфе сведения о методах позволяют либо увидеть следующую общую закономерность: методы, относящиеся к образовательной функции школы, являются явно более объективными и стандартизированными. В их примене-нии возможна более активная роль учителя: от проведения тестов общих способностей под общим руководством школьного психолога — до самостоятельной разработки определенных тестов предметных знаний. Хотя следует подчеркнуть, что и в случае стандартизованных методов пользователь должен быть бдительным к появлению возможных артефактов в виде ИНСТРУМЕНТАЛЬНЫХ ОШИБОК — ошибок, вызванных неправильным выполнением методики со стороны испытуемого (в результате неправильного понимания инструкции, в результате случайного предварительного знакомства с данной или аналогичной методикой и т. п.).

С другой стороны, большинство методов личностной психодиагностики следует считать прерогативой специально подготовленного школьного психолога. И если тест-опросники могут быть проведены учителями под его общим руководством (для этого достаточно раздать буклеты с вопросами и бланки для ответов или включить соответствующую компьютерную программу), то большинство специальных методов наблюдения и тем более интерактивные методы

Психодиагностика как научная технология

(психологическая беседа и ролевая игра) должны быть реализованы школьным психологом в непосредственном контакте со школьниками.

Ключевые термины: критериальное поведение, критериальный показатель, метод, методика, физиологическая регистрация, аппаратурные методики, хронометрические методики, тест-тренажер, субъективное шкалирование, свободная сортировка, свободный ответ, контент-анализ, протокольный факт, материал наблюдения, включенное наблюдение, интервью, анкета, ролевая игра, качественный анализ, сравнительное решение, нормативное решение, инструментальные ошибки, ошибки психодиагноста.

2.2. АНАЛИТИЧЕСКОЕ НАБЛЮДЕНИЕ И ЭКСПЕРТНЫЕ ОЦЕНКИ

Метод экспертных оценок в явном или неявном виде используется в психодиагностике в очень широком спектре задач и процедур. Он используется фактически везде, где имеет место нестандартизированный переход от диагностических признаков (эмпирических индикаторов) к диагностическим выводам (диагностическим категориям)- Как уже отмечено в предыдущем разделе, сюда относятся и проективные методики, и контент-анализ продуктов деятельности» и включенное наблюдение, и анализ материалов беседы. Но в наиболее своей явной форме он используется, как правило, в сочетании с так называемым стандартизированным «аналитическим наблюдением».

Что такое «аналитическое наблюдение»? Чем оно отличается от обычного наблюдения? Где заканчива-

Основы психодиагностики

■

ется поисковое и начинается собственно стандартизованное наблюдение? — Вот первые из наиболее важных вопросов, которые мы затрагиваем в настоящем разделе.

Казалось, что может быть проще, чем наблюдать за интересующим нас объектом. К этому самому простому методу сбора информации мы прибегаем всякий раз, когда у нас отсутствуют какие-либо другие более изощренные, более совершенные методы. Так чаще всего и происходит на практике. Исходя из ложного представления о том, что наблюдение — самый простой метод, методически малограмотные исполнители прибегает к стихийному и неорганизованному наблюдению под девизом «Надо присмотреться, авось что-нибудь увидим».

На самом деле такое неорганизованное наблюдение оказывается малоэффективным занятием. При правильном, научном подходе к наблюдению даже минимально организованное «ПОИСКОВОЕ НАБЛЮДЕНИЕ» все равно характеризуется рядом признаков, которые делают его эффективным:

1) Наличие цели и предмета наблюдения. Мы должны ответить себе на вопрос, за чем наблюдаем и с какой целью. В психодиагностике необходимо сформулировать для себя перечень психических свойств, которые являются предметом наблюдения. А цель может быть зафиксирована так: в какой степени выражены указанные психические свойства у наблюдаемых объектов (в нашем случае — у детей).

2) Наличие процедурной схемы наблюдения,* одинаковой для всех объектов наблюдения. В каких условиях происходит наблюдение (в классе, на перемене, во время ответа у доски, во время выполнения самостоятельной или контрольной письменной работы, во внеклассных играх и мероприятиях и т. п.)? Сколько времени продолжается один сеанс наблюдения? Сколько всего сеансов предусматривается и с

Психодиагностика как научная технология

какой периодичностью? Сколько объектов наблюдения охватывается одним наблюдателем за один сеанс (1 ребенок или сразу весь класс из 30 и более человек)? Понятно, что было бы неправильно, не ответив себе на эти вопросы; заведомо обречь себя на стихийный перекос: за одними детьми мы больше наблюдали на уроке, за другими — вне урока и т. п. Кстати, о количестве объектов наблюдения. По-видимому _v из курса общей психологии все студенты-педагоги должны знать о «магическом числе семь плюс-минус два». Нецелесообразно планировать за один сеанс следить более, чем за 7 объектами одновременно.

Как видим, серьезное аналитическое наблюдение требует значительных усилий уже на этапе планирования и практически полной загрузки наблюдателя на этапе осуществления плана. Это крайне трудно сочетать с активным решением педагогических задач (ведение урока, руководство классом). Поэтому целесообразно освобождать наблюдателя на время наблюдения от непосредственной занятости педагогической работой.

3) Наличие признаков наблюдения. Это критический пункт плана наблюдения, по которому различаются поисковое и стандартизированное наблюдение. В поисковом наблюдении задача заключается в том, чтобы как раз обнаружить, выделить и однозначно описать признаки наблюдения. Речь идет о любых симптомах, поведенческих проявлениях (поступках) и других внешних признаках, по которым можно сделать вывод о наличии определенной выраженности искомого психического свойства. Выделение системы признаков — главный продукт поискового этапа, после которого наблюдение становится собственно АНАЛИТИЧЕСКИМ, то есть производится анализ признаков.

Основы психодиагностики

Стандартизированное наблюдение

В СТАНДАРТИЗИРОВАННОМ НАБЛЮДЕНИИ набор признаков уже задан в инструкции, подготовленной для наблюдателя другим исполнителем — автором данной методики стандартизированного наблюдения, Если наблюдение производится в практических, а не в исследовательских целях, то поисковое наблюдение никогда не завершается на поисковом этапе, и после выделения минимального набора признаков наблюдение переходит на этап реализации — этап фиксации выделенных признаков и статистики (частоты) их появлейия у наблюдаемых объектов. Иногда этот этап называется кодированием.

Приведем простейший пример. Пусть нас интересует такое психическое свойство детей, как «экзаменационная тревожность». Этот термин пришел из психологической службы вузов, где студентам постоянно приходится сдавать экзамены. В школе он обозначает особую тревожность детей при выполнении любого задания, за которое они заведомо будут аттестованы (в частности, за ответ у доски). Каковы внешние признаки тревожности? Один из очевидных признаков — «мышечный тремор» (обыкновенная дрожь). В состоянии тревожного возбуждения дрожат не только руки, но и мышцы голосовых связок, что придает голосу характерную неровную интонацию. Выраженный мышечный тремор (в стадии, сильно заметной для постороннего наблюдателя), очевидно, является более «сильным» признаком тревожности, чем изменение окраски лица (как известно, покраснение или побледнение является следствием так называемой вазомоторной, или сосудистой, реакции, появляющейся в состоянии тревожного возбуждения). За «выраженный тремор» следует начислять 3 очка, за «выраженную вазомоторику» —

Психодиагностика как научная технология

2 очка, а например, за единичную речевую запинку (синтаксический и интонационный сбой в произнесении фразы или оговорка) — 1 очко.

Таким образом, полная инструкция для стандартизированного наблюдения должна включать максимально развернутые описания кодифицированных признаков (лучше с обоснованием их связи с диагностическими категориями).

Под КОДИФИКАЦИЕЙ ПРИЗНАКА понимается то краткое обозначение, под которым данный признак фиксируется в протоколе наблюдения. Распространенный вариант — использование трехбуквенных обозначений. Например, «трм» — тремор, «взм» — вазомоторика, «зпк» — запинка.

Тогда фрагмент типичного ПРОТОКОЛА с кодифицированными признаками может иметь следующий вид:

Ситуация наблюдения: ответ у доски
Сеанс наблюдения №(1
1. Петров	взм,2*зпк	вам	зпк
2. Сидоров	трм	трм	—

Таким образом, на данном отрезке наблюдения ученик Петров получил 7 очков по шкале «экзаменационной тревожности», а ученик Сидоров — 6 очков.

■

■

_л Щ

-

Как обеспечиваются надежность и валидность наблюдения? То есть как установить, что данные наблюдения лишены случайных ошибок (надежность) и отражают заданное психическое свойство (валидность)? Для этого необходимо привлечь к стандартизированному наблюдению за одними и теми же объ-

Основы психодиагностики

ектами и событиями не менее двух независимых наблюдателей-кодировщиков. При этом либо все наблюдатели одновременно производят «живое» наблюдение, либо они имеют дело с видеозаписью.

После получения независимых протоколов между протоколами рассчитываются хорошо известные психологам с университетским образованием коэффициенты сопряженности (аналог коэффициентов корреляции для качественных признаков — Рунион, 1982). Значение вычисленного коэффициента сопря-женности указывает на сводный показатель «надеж-ность+валидность». Чем ближе к единице этот коэффициент, тем более надежным и валидным считается методика наблюдения в исполнении данного коллектива наблюдателей. Степень отличия коэффициента от 1 указывает на одновременное наличие случайных (ненадежность) и систематических (невалидность) ошибок наблюдения. Огрубленно можно сказать, что относительная доля правильных кодировок в отношении к общему числу кодировок и есть мера «НАДЕЖНОСТИ-ВАЛИДНОСТИ» наблюдения. Таком образом, в любом методе экспертной оценки в качестве меры «надежности-валидности» выступает СОГЛАСОВАННОСТЬ оценок независимых экспертов.

Очевидно, что подобный эксперимент по измерению надежности и валидности наблюдения не есть удел и задача практиков. Этим должны заниматься те, кто разрабатывает методику стандартизированного наблюдения- Но... Но в отличие от психометрической стандартизации теста (см. следующий раздел 2.3), важно апробировать не только качество методики и однозначность инструкции, но и проверить то, насколько квалифицированными исполнителями оказались данные конкретные наблюдатели-кодировщики.

Отступление для пояснения. Как учатся изме-

Психодиагностика как научная технология

рять артериальное давление медики? Им дают прослушивать записанный на аудиокассеты стандартный набор шумов. Они учатся различать систолические и диастолические тоны сердца. Они проходят так называемую «стандартизацию». Только добившись определенного уровня точности (надежности), медик получает соответствующее аттестационное удостоверение, в котором фиксируется его право производить измерение артериального давления.

В идеале подобную стандартизацию на эталонном материале должны проходить все наблюдатели-кодировщики для исполнения любой методики стандартизированного наблюдения. То есть после того, как состоялась проверка самой методики на эталонном наборе наблюдателей, и методика признается разработанной, каждый новый наблюдатель-исполнитель проходит стандартизацию по отношению к тому материалу, на котором добились успеха (то есть дали согласованные протоколы) первые наблюдатели. Такова общая логика в разработке любой методики экспертной оценки. Вначале первичный материал для оценки и инструкция по оценке считаются нестан-дартизированными, а в качестве своего рода эталона выступают те первые эксперты, которые с ним знакомятся и первыми добиваются согласованности (нередко путем многократного внесения уточнений и модификаций в инструкцию, кодифицирующую признаки). Но после этого данный проинтерпретированный (запротоколированный) материал уже в свою очередь считается эталонным, а новые эксперты. проходят стандартизацию по отношению к этому материалу. Понятно, что чем больше независимых экспертов привлечено к этапу первичной отработки кодифицированной системы признаков и чем больше кодировщиков участвует в практическом наблюдении, тем надежнее оказываются результаты этого наблюдения. Это происходит из-за того, что и слу-

Основу психодиагностики

чайные ошибки (вследствие колебаний внимания), и систематические ошибки (в силу неправильного толкования инструкции по какому-то признаку), допущенные одним экспертом, погашаются при суммировании с результатами других экспертов. Эти другие эксперты также допускают ошибки, но это — разные ошибки. Если вероятность единичной ошибки у среднего эксперта равна, допустим, 0.2, то вероятность того, что одну и ту же ошибку совершат 3 (или больше) экспертов из 5, равна всего лишь порядка 0.05. То есть коллектив, как видим, работает гораздо надежнее, чем одиночка. При ощутимой вероятности ошибки одиночного эксперта вероятность ошибки коллектива оказывается уже близкой к пренебрежимо малой вероятности. (Напомним, что 5 процентный уровень ошибки считается признанным стандартным допустимым уровнем вероятности ошибки в гуманитарных отраслях знания).

Принцип суммирования независимых экспертных оценок широко используется в такой общеизвестной сфере, как спорт. Напомним, к примеру, о практике фигурного катания. Минимальное число судей присуждает победу в боксе — пять. И даже если двое из них ошиблись и присудили победу слабейшему боксеру, то победа все равно присуждается сильнейшему — достаточным оказывается мнение трех других.

Массовое распространение компьютерной техники, в том числе в школе, придает новый импульс методам стандартизированного наблюдения. Дело в том, что провести корректное согласование экспертных оценок и измерить их надежность-валидность вручную, конечно, довольно трудно. Другое дело, когда вы вооружены специализированной компьютерной программой, облегчающей и сбор, и анализ таких экспертных оценок. Образец подобной программы под названием ЭКСПАН (ЭКСПертный АНализ) распространяется в России фирмой «Гуманитарные

Психодиагностика как научная технология

технологии», работающей на базе факультета психологии МГУ (разработчик — А. Г. Шмелев, 1990,1995). С помощью этой программы вы можете оценить у целого класса учеников (до 50 человек) широкий набор до 50 признаков с помощью весьма представи-тельной группы экспертов (до 50 человек). ЭКСПАН быстро подсчитает как суммарную согласованность между экспертами (после этого можно удалить экспертов, которые совершенно не поняли смысла задания и сильно разошлись с оценками остальных), а также согласованность по отдельным признакам, что позволяет быстро определить, какие уточнения в инструкцию для данного признака нужно внести, чтобы добиться согласованности.

Дата добавления: 2014-10-15