Конструктная валидность

Содержательная валидность.

Г.8. Если деятельность по выполнению теста интерпретируется как репрезента­тивная выборка из видов деятельности в общем множестве ситуаций, в руковод­стве необходимо дать четкое определение учитываемого общего множества и опи­сать критерии отбора выборки из него. (Существенно.)

Комментарий. В определение не должны включаться предположения о де­терминирующих деятельность психичес­ких процессах, т. к. это объект не содер­жательной, а конструктной валидности.

Г.8.1. Если вопрос о соответствии вы­борки заданий их общему множеству или о точности выставления оценок решали эксперты, в руководстве должен быть опи­сан соответствующий профессиональный опыт и квалификация экспертов, а также инструкции, на основании которых прово­дилась экспертная оценка. (Очень жела­тельно.)

Г.8.1.1. Если задания отобраны экспер­тами, то должна быть обобщена степень согласованности между их суждениями. (Желательно.)

Г.8.1.2. Содержание теста должно быть проверено относительно возможно­сти смещения. (Желательно.)

Комментарий. Смещение может иметь место, если задания не представля­ют сравнимых видов деятельности и по­этому не являются выборкой из области деятельности, общей для различных под­групп. Такое смещение следует выявлять с помощью достаточно полных суждений экспертов. Изучение установок или интер­претаций заданий в различных подгруппах также дает полезную информацию. Суж­дения о смещении могут быть сами смеще­ны — следует придерживаться принципа,

что по возможности суждения должны подтверждаться статистическими дан­ными.

Г.8.2. В руководствах к тестам дости­жений учебных результатов должна быть сообщена система классификации, ис­пользованная для отбора заданий. (Жела­тельно.) *

Г.8.2.1. Если тест достижений был разработан в соответствии с двумерной схемой «темы—процессы», в руководстве должна быть представлена эта схема с пе­речислением заданий, относимых к каж­дой клетке схемы. (Очень желательно.)

Г.8.3. Для любого утверждения о свя­зи заданий с изучаемым предметом (или другими источниками содержания) в руко­водстве должна быть указана дата, когда изучаемый предмет был разработан. (Су­щественно.)

Г.8.4. Если тест описан как валидный по содержанию труда или видов трудовой деятельности, в свидетельствах о валидно­сти должно быть полное описание трудо­вых обязанностей, относительная частота, важность, а также уровень умений, тре­бующихся при их выполнении. (Суще­ственно.)

Г.9. Если автор интерпретирует тест как меру диагносцируемого конструкта (способности, черты установки), то долж­на быть полностью изложена предпола­гаемая интерпретация. Этот конструкт должен быть полностью ограничен^ ин­терпретаций, вытекающих из других тео­рий. (Существенно.)

Комментарий. Например, если тест предназначен для измерения конст­рукта «тревожность», автор теста должен отразить отличия самого определения дан­ного конструкта от некоторого другого возможного значения термина, которое подразумевается, и должен соотнести свою концепцию с мерами тревожности, рассмотренными в литературе.

Описание конструкта может быть простым, например определение «креатив­ности» как «совершения многих ориги­нальных действий». Все подобные харак­теристики или гипотезы являются частью авторской концепции.

Г.9.1. В руководстве должна быть от­ражена степень случайности предложен­ной интерпретации и обобщены исследо­вания гипотез, вытекающих изданной те­ории. (Существенно.)

Г.9.1.1. Каждое исследование, содер­жащее теоретические выводы о тесте, дол­жно быть отражено так, чтобы были рас­крыты и операциональные процедуры ис­следования, и соотнесение результатов с теорией. (Очень желательно.)

Г.9.1.2. В руководстве должны быть сообщены корреляции между тестом и другими тестами, для которых интерпре­тация относительно ясна. (Очень жела­тельно.)

Г.9.2. В руководстве необходимо приве­сти доказательства степени, с которой дру­гие конструкты, отличающиеся от пред­полагаемого автором, объясняют диспер­сию баллов теста. (Очень желательно.)

Комментарий. Хотя неразумно требовать от автора теста предвосхище­ния или включения в руководство каждой противоположной интерпретации, он все же должен представить достаточные дан­ные о противоположных гипотезах, наибо­лее вероятно объясняющих дисперсию те­стовых баллов.

Г.9.2.1. В руководстве к любому специ­ализированному тесту или вопроснику, используемому в образовательном отборе, профориентации, необходимо приводить корреляцию его баллов с общепринятыми мерами вербальной и вычислительной спо­собности в соответствующей популяции. (Очень желательно.)

Г.9.2.2. В руководстве должна быть представлена информация о факторных исследованиях (если тест подвергался

им), показывающих процент тестовой дис­персии, выявляемой хорошо известными факторами. (Желательно.)

Г.9.2.3. Для опросников, являющихся мерами личности, интересов или устано­вок, должны быть представлены дока­зательства степени, с которой оценки чувствительны к попыткам испытуемых представить социально желаемую (кон­формную) картину своей личности или с которой баллы могут отражать'другие ис­кажающие особенности ответов. Такие виды ответов должны изучаться в первую очередь для определенных выборок, а не для более общей генеральной выборки. Могут быть представлены корреляцион­ные или экспериментальные исследова-ния.„ (Очень желательно.)

Г.9.2.4. Если тест, проводимый с огра­ничением во времени, интерпретируется в качестве измеряющего гипотетическое психологическое свойство, не связанное специально с быстротой выполнения тес­та, то должны быть представлены свиде­тельства о влиянии скорости на тестовые баллы и об их корреляции с другими пере­менными. (Существенно.)

Комментарий. Наиболее полным доказательством влияния скорости выпол­нения может быть сравнение баллов по двум формам с обычным ограничением при неограниченном времени. Корреляция баллов этих вариантов имеет ограничен­ный смысл, т. к. эти два балла не являют­ся независимыми. Менее исчерпывающим доказательством является процент испы­туемых, ответивших на последнее задание или некоторое задание, близкое к концу теста, за время, отведенное на выполне­ние теста. Если этот процент ниже 90, не­обходимо более глубокое исследование, чтобы показать, что индивидуальные раз­личия по тесту существенно не отражают скорости.

Г.9.2.5. Если различия в стратегии вы­полнения теста влияют на интерпретацию

баллов, связанных с определенными ха­рактеристиками подгрупп, об этом долж­на быть дана ясная информация или ясно указано на отсутствие ее. (Очень жела­тельно.)

Г.9.2.6. Если свидетельство против противоположной интерпретации основа­но на низкой корреляции при малом раз­личии между группами, в руководстве не-. обходимо сообщить доверительность по­правки или обсудить ошибки измерения, которые могли снизить соответствующую зависимость. (Желательно.)

Дата добавления: 2015-06-04