Тесты и экспертные оценки

По моему убеждению, стандарти­зованные тесты не дают основания для окончательного положительного диагноза (т. е. диагноза о пригоднос­ти к определенной деятельности), для этого они должны быть дополнены экспертными оценками (или другими менее стандартизованными диагнос­тическими процедурами, включаю­щими экспертные оценки в той или иной мере, как это, например, проис­ходит в проективных методиках).

Таким образом, позитивный ис­ход тестового испытания выступает логически необходимым, но не до­статочным условием для оконча­тельного позитивного заключения. Поскольку мне как тестологу, увы, хорошо известно, что с элементар­ной логикой у наших сограждан по­рой возникают серьезные пробле­мы⁵, схематизируем сказанное в виде следующей таблички.

	Вывод о пригодности	Вывод о непригодности
Позитивный исход теста	Нельзя сделать	Нельзя сделать
Негативный исход теста	Нельзя сделать	Можно сделать

⁵ Это показали, в частности, тестологические обследования десятков тысяч наших выпускни­ков школ и абитуриентов вузов в рамках проекта компьютеризованного тестирования «Телете­стинг» (Шмелев, 2000): наши российские учащиеся в массе своей демонстрируют поразительную беспомощность при решении простейших текстовых логических задачек, хотя при этом «щелка­ют как орешки» сложные математические уравнения (правда, опять-таки не имея ни малейшего представления о том, какие физические процессы могут быть описаны с помощью этих фор­мально-математических моделей).

А.Г. Шмелев

Поясним это на содержательном примере. Вначале возьмем самый тривиальный случай, далекий от психологии — уже упомянутый экзамен на знание правил дорожного движения. Если кандидат сдал тест по правилам, то ему еще нельзя вы­давать права: он должен пройти по­сле этого менее формализованный экзамен на практическое вождение. Если же кандидат провалил тест, то он не допускается до следующего испытания. В этом контексте самое время также сделать и такую ого­ворку: отрицательный результат тес­тирования — не приговор. Всем по­нятно, что правила можно выучить, прийти снова и пересдать экзамен.

Возьмем теперь менее очевидную (не оформленную пока нормативно) процедуру тестирования кандидата при приеме на работу на предмет уровня так называемой «корпора­тивной лояльности». Предположим, что испытуемому при этом предъяв­ляется совершенно примитивный тест-опросник, содержащий лобовые вопросы типа «Вам никогда не дово­дилось обманывать учителей при сдаче экзаменов в школе?» Как мы говорили выше, испытуемый в этом случае использует свое право на фальсификацию и отвечает: «Вер-

но, не доводилось». И какой вывод в данном случае мы сделаем? Ника­кой! Но если испытуемый вдруг сам в порыве откровенности отвечает: «Неверно, доводилось», — то по крайней мере насторожиться следует.

В еще большей степени этот прин­цип относится к базовым тестам на элементарные профессиональные знания. Если кандидат в бухгалтеры не может ответить на вопрос кон­курсного теста-опросника о том, что такое «план счетов», то следует ли дальше заниматься с этим кандида­том? Следует ли тратить дорогое вре­мя квалифицированных экспертов на детальное интервьюирование по­добного кандидата? Конечно, нет*.

Таким образом, я предлагаю бук­вально везде, во всех отраслях прак­тики использовать тест как первич­ный дешевый и формализованный фильтр, предшествующий примене­нию более сложных и дорогих экс­пертных процедур. В какой-то мере подобной логикой руководствуются в настоящее время специалисты по оценке персонала, которые при­меняют технологию «Ассессмент-центр» (2003).

Таким образом, приведенную вы­ше табличку следует изменить таким образом:

	Позитивный исход экспертной оценки	Негативный исход экспертной оценки
Позитивный исход теста	Вывод о пригодности	Вывод о непригодности
Негативный исход теста	Вывод о непригодности	Вывод о непригодности

⁶

Тест как оружие

Процедура	Прогностическая валидность
Интервью	0,1-0,3
Психологическое тестирование	0,3-0,5
Квалификационное тестирование	0,4-0,6
Ассессмент-центр	0,5-0,7

Как видим, для позитивного об­щего заключения требуется конъ­юнкция (логическое «И») двух неза­висимых событий — позитивного те­стового исхода и позитивного исхо­да экспертной оценки. Отсутствие хотя бы одного из позитивных исхо­дов не дает возможности делать об­щий позитивный вывод.

Качество такой двухфильтровой системы отбора в любом случае вы­ше, чем любой однофильтровой — основанной только на экспертных оценках или только на тестах. А раз­говоры о том, что в нашей стране ре­зультаты тестирования очень легко купить (увы, такие разговоры часто затевались, например, на дискуссион­ном форуме портала ЕГЭ), носят ли­бо сознательно демагогический ха­рактер, либо опять-таки выявляют де­фект логического мышления. Там, где можно купить результаты тестирова­ния, как правило, можно купить и ре­зультаты экспертной оценки, и нужно еще специально изучать, какой из фильтров по факту является менее продажным. Если даже при широком распространении теста происходит утечка ключей, негативный исход тес­тирования продолжает сохранять свою ценность, но особенно важно, чтобы после позитивного исхода в де­ло вступали неподкупные эксперты. Если мы связываем результаты двух процедур логическим «И», то число­вые результаты теста и экс­пертной оценки правильнее не суммировать, но умножать, то есть агрегировать не адди­тивно, а мультипликативно:

О= ТхЕ,

где Т — результат теста, Е — результат экспертной оценки,

О — общая оценка. Если любой из сомножителей принимает нуле­вое значение (оказывается ниже ми­нимального порога), то общий ре­зультат оказывается нулевым неза­висимо от значения второго сомно­жителя.

Дата добавления: 2014-12-16