Валидность консенсусная 1 страница

(consensual validity) — тип валидности, основывающейся на установлении связи (корреляции) тестовых данных с данны­ми, полученными от внешних экспертов, хорошо знакомых с теми лицами, которые были подвергнуты тестированию. Поня­тие и процедура В. к. введены Р. Мак-Краэ в 1982 г. с целью обеспечения валидизации опросников личностных, кото­рая нередко затруднена (а иногда и невоз­можна) в связи с отсутствием необходи­мых для установления валидности крите­риев.

ВАЛИДНОСТЬ КОНСТРУКТНАЯ — один из основных типов валидности, от­ражающий степень репрезентации иссле­дуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать практический или вер­бальный интеллект, эмоциональная неус­тойчивость, интроверсия, понимание ре­чи, переключаемость внимания и т. д. Иначе говоря, В. к. определяет область те­оретической структуры психологических явлений, измеряемых тестом.

Поскольку проявления таких конст­руктов, как, напр., интеллект в деятельно­сти человека многообразны и неоднознач­ны с т. з. их выделения, процедура уста­новления В. к. по сравнению с валиднос­тью критериальной или валидностью содержательной сложна.

При объяснении связи полученных тестовых результатов с теоретическим конструктом необходимо постепенное на­копление разнообразной информации о динамике развития измеряемого свой­ства, а также о его взаимодействии с дру­гими психическими явлениями.

Среди конкретных методов характери­стики В. к. в первую очередь необходимо назвать сопоставление исследуемого на предмет В. к. теста с другими методиками, конструктное содержание которых известно. Наличие корреляции между новым и аналогичным по конструкту тестом ука­зывает на то, что разрабатываемый тест «измеряет» примерно ту же сферу поведе­ния, способность, личностное качество, что и эталонная методика. Такая процеду­ра валидизации напоминает определение критериальной валидности в том смысле, что эталонный тест, валидность которого определена, выступает в качестве незави­симого критерия.

Следует, однако, заметить, что, в отли­чие от критериальной валидизации, при анализе В. к. не требуется высокой степе­ни связи результатов двух тестов. Если окажется, что новый и эталонный тесты практически идентичны по содержанию и результатам и разрабатываемая методика не обладает преимуществами краткости или легкости применения, это означает лишь дублирование теста, оправданное только с т. з. создания параллельной формы теста. Смысл процедуры В. к. со­стоит в установлении одновременно как сходства, так и различия психологичес­ких феноменов, измеряемых новым тес­том по сравнению с известным.

При анализе В. к. методики обычно формулируют ряд гипотез о том, как будет коррелировать разрабатываемый тест с широким кругом других тестов, направ­ленных на конструкты, находящиеся в те­оретически известной или предполагае­мой связи с исследуемыми. При этом В. к. характеризуется не только связями про­веряемого теста с близкородственными показателями, но и с теми, где, исходя из гипотезы, значимых связей наблюдаться не должно. Эти подходы определяются как конвергентная (проверка степени близости прямой или обратной связи) и дискриминантная (установление отсут­ствия связи) валидизации. Подтвержде­ние совокупности теоретически ожидае­мых связей составляет важный круг све­дений В. к. В англоязычной психодиагностике такое операциональное определе­ние В. к. обозначается как «предполагае­мая валидность» (assumed validity).

Прямое отношение к характеристике В. к. имеет факторный анализ, позволя­ющий строго статистически проанализи­ровать структуру связей показателей ис­следуемого теста с другими известными и латентными факторами, выявить общие и специфические для группы сопоставляе­мых тестов факторы, степень их представ­ленное™ в результатах, т. е. определить факторный состав и факторные нагрузки результата теста. Исключительная важ­ность такой процедуры является основа­нием для выделения ее в особый вид В. к. — факторную валидность.

Важным аспектом В. к. является внутренняя согласованность, отражаю­щая то, насколько определенные пункты (задания, вопросы), составляющие мате­риал теста, подчинены основному направлению теста как целого, ориентированы на изучение одних и тех же конструктов. Анализ внутренней согласованности осу­ществляется путем коррелирования отве­тов на каждое задание с общим результатом теста. Следует отметить, что крите­рий внутренней согласованности указы­вает лишь на меру связи всего содержа­ния теста с измеряемым конструктом, да­вая лишь косвенную информацию о при­роде измеряемого свойства.

При определении В. к. важное место принадлежит изучению динамики измеря­емого конструкта. При этом мы можем опираться на гипотезы о его возрастном развитии, влиянии тренировок, обучения, освоения профессии и т. д. Одним из та­ких подходов является применение крите­рия возрастной дифференциации (см. Ва­лидность по возрастной дифференциа­ции), что предусматривает согласование результатов теста с ожидаемыми измене­ниями, которые претерпевает изучаемое психическое свойство в возрастной динамике при переходе на новый этап разви­тия. Этот метод В. к. особенно важен для валидизации тестов интеллекта, дос­тижений в обучении.

В комплекс сведений о В. к. методики входят также данные, относящиеся к сфе­ре критериальной и содержательной валидности. Так, критерии, используемые при валидизации, несут информацию, позволяющую раскрыть область поведения, качества, представленные в тесте в виде конструкта. Для характеристики В. к. не­обходимы связь с практическими форма­ми деятельности, достоверность прогноза реального поведения. Однако В. к. являет­ся качественно более высоким и комплек­сным уровнем описания теста, характери­зуя область измеряемого поведения в ши­роких психологических понятиях. Благо­даря данным В. к. мы можем с психологи­ческих позиций закономерно объяснить результаты теста и их дисперсию, обосно­вать диагноз, введя измеряемое свойство в систему психологических категорий, прогнозировать поведение в более широ­ких пределах, чем это задается областью деятельности, для которой определялась содержательная валидность.

В качестве примера, иллюстрирующе­го необходимость глубокого анализа тео­ретического конструкта, лежащего в ос­нове конкретной методики, для правиль­ного применения теста и интерпретации его результатов, можно привести сопос­тавление двух популярных опросников личностных «Проявления тревожнос­ти» шкалы (MAS) и варианта Айзенка личностных опросников ЕРI. Корреля­ционные исследования показывают, что шкала «тревожности» MAS положитель­но коррелирует со шкалой «нейротизма» и отрицательно — со шкалой «экстравер­сии» EPI. С т. з. концепции Айзенка, эти данные можно рассматривать как свиде­тельство низкой валидности шкалы MAS: «тревожность» коррелирует не только с релевантным фактором «нейротизм», но и с иррелевантным фактором «интроверсия». С этой т. з. MAS оказывается про­сто нечувствительным к особой разновид­ности «нейротизма» — нейротизму (тре­вожности) экстравертов: из перечня пун­ктов MAS исключены высказывания, в ко­торых могла бы проявиться тревожность экстраверта. Однако с теоретических по­зиций К. Спенса и Дж. Тейлор, эта ситуа­ция вполне закономерна, желательна и никак не является артефактом — след­ствием дефекта данного диагностическо­го средства. Согласно К. Спенсу, пытав­шемуся переносить на человеческое пове­дение теорию научения Халла, MAS изме­ряет общий уровень драйва — неспециа­лизированного побуждения, которое как раз достигает максимума при сочетании нейротизма (специфическая активация, по Айзенку) и интроверсии (неспецифи­ческая активация) (Практикум по психо­диагностике, 1984). Таким образом, на­звания тестов не всегда однозначно вы­ражают понятия об измеряемом свойст­ве. В данном примере особенно подчерки­вается роль психологической теории, ле­жащей в основе методики для раскрытия содержания показателей, получаемых с ее помощью.

ВАЛИДНОСТЬ КРИТЕРИАЛЬНАЯ — комплекс характеристик, вклю­чающий валидность текущую и прогно­стическую методики и отражающий соответствие диагноза и прогноза определенному кругу критериев измеряемого явления. В качестве валидизации крите­рия выступают независимые от результа­тов теста и непосредственные меры ис­следуемого качества, такие как уровень достижений в какой-либо деятельности, степень развития способности, выражен­ность определенного свойства личности и т. д. Так, В. к. опросника личностного для измерения социальной интроверсии может быть определена на основании со­поставления результатов теста с экспер­тными оценками хорошо знающих обсле­дуемого лиц, с результатами наблюдения за проявлением этой особенности в его поведении, с объективными сведениями о круге общения. При валидизации тестов достижений результат измерений срав­нивается с мнением педагогов о знаниях обследуемого в определенной области, с академическими оценками, контрольны­ми проверками и т. д. В случае валидиза­ции профориентационных тестов и мето­дик тестовые оценки сравниваются как с экспертными оценками коллег и руково­дителей, так и с объективными показате­лями достижений в профессиональной сфере.

В. к. включает как комплекс связей с текущим состоянием изучаемого явле­ния, так и вероятность и обоснованность прогноза о его состоянии в будущем. Здесь в рамках В. к. различаются валидно­сти текущая (диагностическая, конкурен­тная) и прогностическая. В случае харак­теристики текущей В. к. изучение корре­ляции результатов теста с независимыми критериями проводится параллельно с измерением. Таким образом, показатели те­кущей В. к. указывают на степень репре­зентации характеристик изучаемого пси­хического явления в результате теста. Предсказательная В. к. может отражать как соответствие прогноза, сделанного на основании данного теста, с реальным со­стоянием измеряемого качества спустя некоторое время, так и временной интер­вал, в котором результат теста является валидным.

Валидизация по какому-либо крите­рию эффективно осуществляется мето­дом контрастных групп. При этом, как правило, используют сложный критерий, в котором отражено комплексное влияние различных факторов. Напр., при характе­ристике В. к. теста интеллекта показатели умственно отсталых детей могут быть сопоставлены с показателями нормаль­ных школьников того же возраста. Мно­жество факторов, обусловивших помеще­ние ребенка в специальное учреждение для детей с глубокой умственной отстало­стью, составят критерий валидизации. Аналогично В. к. личностного опросника, предназначенного для выявления «уровня невротизации», определяется на основе сравнения его результатов у пациентов, страдающих неврозами, и практически здоровых людей. Такой критерий в силу его обобщенности и интегративности при­ближает В. к. к области валидности конструктной.

Более эффективным с т. з. практи­ческой направленности теста (т.е. его адекватности как средства диагноза и про­гноза реальной деятельности) является соотнесение результатов с критериальны­ми мерами определенных существенных элементов изучаемой деятельности или способности. Так, напр., тест для опреде­ления профессиональных способностей конторского служащего может включать анализ грамотности письма, счетных спо­собностей, комбинаторного мышления, навыков делового общения и т. д. Валид­ность такого сложного по составу теста, включающего разные группы заданий, мо­жет определяться, как показано выше, критерием «успешности трудовой дея­тельности», однако более точным и пра­вильным будет соотнесение с ее элемен­тами, перечисленными выше, по отдель­ности. Информация о текущей или про­гностической валидности по такому эле­ментному критерию носит название син­тетической валидности. Процесс валиди­зации в данном случае складывается из детального анализа тестируемой деятель­ности для выявления ее существенных со­ставных элементов, определения удельно­го веса элементов в составе сложной дея­тельности; определения связи с критериями по каждому из выделенных элемен­тов деятельности; определения валидности теста путем «синтеза весов» отдельных элементов в реальной деятельности и в тесте (см. Валидности коэффициенты).

Валидизация теста может осуществ­ляться на основе критерия, отражающего событие или состояние качества в прошлом (ретроспективная валидизация). Сведения такого рода, как правило, явля­ются дополнительными и применяются в случаях невозможности валидизировать тест по текущему или перспективному критерию. Одним из видов В. к. является валидность инкрементная.

ВАЛИДНОСТЬ ОЧЕВИДНАЯ — пред­ставление о тесте, сфере его применения, результативности и прогностической цен­ности, которое возникает у испытуемого или другого лица, не располагающего спе­циальными сведениями о характере ис­пользования и целях методики. В. о. не является компонентом объективно уста­навливаемой валидности. Вместе с тем высокая В. о. в большинстве случаев яв­ляется весьма желательной. Она выступа­ет в качестве фактора, побуждающего ис­пытуемых к обследованию, способствует более серьезному и ответственному отно­шению к работе по выполнению заданий теста и к заключениям, формулируемым психологом.

Достаточный уровень В. о. особенно значим для методик обследования взрос­лых. Если содержание тестовых заданий будет представляться несерьезным, чрез­мерно легким, не соответствующим сути изучаемой дстттслытоспт. это может при­вести к ироническому, негативному или враждебному отношению испытуемых к ситуации обследования. Напротив, ги­пертрофированное отношение к возмож­ностям методики, не вполне адекватное представление о ее направленности и прогностической значимости может вызвать избыточную мотивацию, неже­лательную эмоциональную напряжен­ность при обследовании, выраженное ус­тановочное поведение. Очевидно, что в приведенных случаях за счет неадекват­ной В. о. реальная валидность теста сни­зится.

Представления испытуемых и пользо­вателей психодиагностической информа­цией о В. о. в немалой степени определя­ются названием методики, поскольку эта часть сведений о тесте наиболее доступ­на неспециалистам. Для предупреждения неадекватных мнений о методике следует избегать помещения на бланках, опрос­ных листах, тестовых тетрадях туманных, необоснованно общих названий, которые могут быть неправильно истолкованы (напр.: «Тест личности», «Тест умствен­ных способностей», «Комплексная бата­рея оценки достижений» и т. д.). Адекват­ность В. о. повышается путем введения в инструкцию краткой характеристики це­лей исследования.

В. о. существенно улучшает примене­ние понятных формулировок и терминов, а также заданий, по содержанию являю­щихся наиболее естественными с учетом возрастной, половой, профессиональной специфики испытуемых. Неадекватно за­вышенная В. о. способствует более выра­женному проявлению эффекта контами­нации критерия.

В. о. иногда носит название внешней (face validity), или «доверительной» (faith validity), валидности.

ВАЛИДНОСТЬ ПО ВОЗРАСТНОЙ ДИФФЕРЕНЦИАЦИИ -один из ком понентов валидности конструктной, связанный с возрастной динамикой изме­нений исследуемого качества. Характери­стика валидности по конструкту здесь за­ключается в определении соответствия результатов теста теоретически ожидае­мым и практически наблюдаемым возрастным изменениям данного конструкта или свойства.

Наибольшее значение В. в. д. имеет для характеристики валидности тестов, направленных на измерение психологи­ческих свойств, функций, отличающихся относительно быстрым изменением под воздействием индивидуального опыта, вы­раженной иерархичностью ступеней раз­вития (осведомленность, навыки, интел­лектуальные операции и др.). По этой при­чине В. в. д. является главным оценочным критерием при валидизации тестов ин­теллекта, особенно предназначенных для детей. Здесь закономерное повышение результатов выполнения заданий теста в каждой последующей возрастной группе является основным психометрическим принципом диагностики уровня развития, базой для построения психометрической шкалы. Прослеживается связь В. в. д. с валидностью текущей за счет более точ­ной дифференциации возрастных этапов развития исследуемых свойств. Большое значение В. в. д. имеет и для характерис­тики валидности тестов способностей, до­стижений, уровня образования, навыков, умений. Высокие показатели по этому критерию необходимы также для методик, применяемых в клинике в целях повыше­ния точности дифференцированной диаг­ностики изменений возрастного и патоло­гического характера, психодиагностичес­кого обследования лиц пожилого и преклонного возраста.

В ряде случаев В. в. д. обнаруживает связь с валидностью прогностической методик. Наличие высоких показателей по этому критерию означает стабильное изменение исследуемых свойств в большой статистической выборке при перехо­де от одной возрастной группы к другой, повышает точность индивидуального про­гноза.

Критерий В. в. д. обычно не находит широкого применения при валидизации методик, предназначенных для психологи­ческой диагностики функций, свойств, не обнаруживающих четкой и однознач­ной тенденции к возрастным изменениям. К их числу, в частности, относятся мето­дики диагностики личности.

Одной из конкретных форм выраже­ния показателей В. в. д. является статис­тический анализ достоверности разли­чий между результатами теста у испы­туемых различного возраста. Более точ­ным, однако и более трудоемким и продол­жительным методом определения В. в. д. является лонгитюдное исследование.

ВАЛИДНОСТЬ ПРОГНОСТИЧЕ­СКАЯ — информация о том, с какой сте­пенью точности и обоснованности методи­ка (тест) позволяет судить о диагности­руемом психологическом качестве спустя определенное время после измерения. В. п. отражает временной интервал, на ко­торый распространяется обоснование та­кого суждения. Сведения о В. п. имеют са­мое непосредственное отношение к рас­крытию предсказательной силы методики, выяснению степени обоснованности сформулированного на ее основе ближай­шего и более отдаленного прогноза, ана­лизу значимости получаемых в тесте по­казателей с т. з. экстраполирования ре­зультатов на будущее.

В стандартных требованиях к педаго­гическим и психологическим тестам (Standarts.... 1974) различают В. п. и ва­лидность текущую в зависимости от временной связи между критерием и тес­том. Эти два вида относятся к валиднос­ти критериальной теста. Иногда говорят о предсказательной валидности. Термин «предсказание», по мнению А. Анастази (1982), может использоваться как в широком смысле, означая прогноз на основе данных тестирования поведения испыту­емого в реальной (критериальной) ситуа­ции, так и в более узком смысле, указывая лишь на временной интервал. В последнем смысле он и используется в В. п. Характеристика В. п. определяет отрезок времени, для которого задается или про­веряется связь с критерием исследуемых качеств.

В качестве валидизации критерия могут выступать не только показатели ак­туального поведения, но и ожидаемые ре­зультаты деятельности, лечения, обуче­ния и т. д. Процедура определения В. п. опирается на анализ корреляции между оценками по тесту и предсказанными ре­зультатами деятельности, формирующи­мися свойствами личности, исходом лече­ния и т. п. Вместе с тем различие двух видов критериальной валидности связано не только с временными пределами крите­риальных сопоставлений. Валидность те­кущая и В. п. отражают разные цели при­менения методики: текущий диагноз, оценка настоящего положения, с одной стороны, и прогнозирование развития ка­чества или успеха в деятельности — с другой.

Сравнивая В. п. и валидность теку­щую, следует отметить, что, несмотря на общий принцип критериального сопостав­ления, характерный для двух типов валид­ности, оценка В. п. является более слож­ной проблемой. Точность прогноза и, следовательно, суждения о В. п. находит­ся в обратной зависимости от времени, за­данного для такого прогнозирования. Обоснование отдаленной экстраполяции данных теста требует учета большего ко­личества факторов, чем оценка диагнос­тической значимости теста.

С большими сложностями сопряжено определение В. п. для тестов, направлен­ных на измерение комплексных свойств и видов деятельности, таких сложных пси­хологических конструктов, как общие способности, особенности личности, уровни достижений в учебной и професси­ональной деятельности и т. д. Развитие этих психологических свойств в большой степени зависит от приобретаемых зна­ний, навыков и может резко изменяться в зависимости от обстоятельств жизни и де­ятельности индивида. Особую проблему представляет прогноз качеств в случае изменения со временем наиболее важных для их реализации элементов. Так, при прогнозе достижений в овладении чтени­ем на первых этапах обучения одним из ведущих показателей, на котором может базироваться прогноз, является беглость. Впоследствии ведущей характеристикой становится уровень понимания, развитие которого будет доминирующим при обуче­нии чтению. С этого момента методика, опирающаяся лишь на показатели темпа, теряет прогностическую значимость, по­скольку повторяет уже пройденные этапы развития навыка.

При диагностике обучаемости млад­ших школьников в комплексе показате­лей, на которые может опираться про­гноз, на первый план выступает меха­ническая память. В старших классах прогностическое значение этого показателя значительно снижается, уступая место смысловой организованной памяти, ана­литическому усвоению знаний. Приведен­ные примеры указывают на необходи­мость глубокого анализа психологичес­ких конструктов, лежащих в основе тес­тов, понимания динамики их развития, четкого представления о значимости изу­чаемых показателей с т. з. будущей деятельности. Необходимость такого анали­за при определении отдаленной В. п. сближает эти характеристики теста с валидностью конструктной.

При отдаленном критериальном сопо­ставлении легко получить неправильное представление о В. п., если взять для сравнения независимый критерий, приме­нявшийся раннее для текущей валидиза­ции. Так, объективный показатель успеш­ности профессиональной деятельности к моменту отдаленного сопоставления мо­жет оказаться слишком простым (напр., если тест достижении при анализе его диагностической валидности сопоставляет­ся с успешностью выполнения самой про­стой сборочной операции, которая в мо­мент отдаленного сравнения хорошо усва­ивается практически всеми испытуемыми из выборки валидизации). Более правиль­ным будет сопоставление с новым уров­нем независимого критерия, комплексом более сложных навыков и операций, тре­бующихся для успешной профессиональ­ной деятельности с учетом приобретенно­го работниками опыта. Определение ново­го, более сложного независимого крите­рия может базироваться на исследовании статистического распределения и разбро­са показателей критерия в выборке лиц, относительно которой проверяется В. п. методики.

При использовании критериев дея­тельности, определяемых субъективными методами (напр., экспертной оценкой), необходимо избегать возникновения явле­ния контаминации критерия.

В ряде случаев текущая валидность за­меняет В. п. Часто практически невыгод­но слишком затягивать валидизацию, изу­чая отдаленные критериальные меры тес­тируемого свойства в обследуемой выбор­ке валидизации. В качестве компромисс­ного решения для ускорения процедуры валидизации тест может быть проведен на группе, для которой уже имеются крите­риальные данные. Напр., результаты обследования студентов могут сравниваться с данными об их успеваемости, данные те­стирования служащих — с их успешнос­тью в деятельности. В отдельных случаях для быстрого получения сведений о пред­сказательных возможностях можно вос­пользоваться ретроспективной валидизацией (см. Валидность критериальная). Так, для проверки того, в какой мере хо­рошие результаты теста способностей со­ответствуют быстрому обучению в какой-либо области, можно сопоставить критериальные оценки (успеваемость, ретроспективные экспертные заключения и т. д.) за период обследования и в теку­щий момент у лиц с высокими и низкими оценками по тесту.

Одним из наиболее надежных спосо­бов получения сведений о прогности­ческих возможностях результата теста является метод «когорт». Предположим, следует проверить, насколько результат теста, предназначенного для изучения не­которых аспектов эмоциональных состоя­ний у больных предсказателен в отноше­нии вероятности возникновения психосо­матических заболеваний, позволяет ли определенный результат по этому тесту судить о повышенном риске подвергнуть­ся таким расстройствам. Учитывая веро­ятный объем экстремальных (контраст­ных) групп, выборка должна быть доста­точно большой. На основании эпидемио­логических данных, напр., можно предпо­ложить, что определенной болезнью в те­чение трех лет заболевает 57 человек из 1000. Тогда превентивной диагностикой должно быть охвачено около 2000 чело­век, чтобы получить численность группы заболевших порядка 100. Прогностичес­кие возможности в таком случае будут подтверждаться исходя из значимости ко­личественных различий в результатах те­ста, проведенного в момент набора «ко­горт» из числа заболевших и здоровых (Практикум по психодиагностике, 1984). Определение В. п. обязательно для пра­вильного использования и интерпретации результатов большинства тестов. Глубокое изучение этих характеристик необхо­димо для формулирования прогноза в ди­агностическом заключении на основании данных методики, выявления значения измеряемых тестом показателей в дина­мике развития изучаемых свойств и спо­собностей. Естественно, наибольшее зна­чение критерий В. п. имеет для методик, прямо или косвенно направленных на предсказание развития того или иного психологического свойства или вида деятельности. К их числу в первую очередь относятся тесты общих способностей, профориентационные методики, тесты от­бора и т. д.

Важность показателей В. п. при ана­лизе тестовых процедур, направленных на отбор, подчеркивается введением спе­циального понятия валидности инкрементной. Этот показатель В. п. дает ин­формацию о том, насколько улучшается процедура отбора с применением данного теста по сравнению с традиционной (осно­вывающейся лишь на формальных сведе­ниях о предыдущей деятельности, анали­зе документов личного дела, беседах).

ВАЛИДНОСТЬ СОДЕРЖАТЕЛЬ­НАЯ — один из основных типов валидно­сти методики, характеризующий степень репрезентативности содержания зада­ний теста измеряемой области психичес­ких свойств.

Комплекс сведений В. с. традиционно имеет наибольшее значение для тестов, исследующих деятельность, близкую или совпадающую с реальной (чаще всего учебной или профессиональной). Изучае­мая деятельность носит, как правило, син­тетический характер, складывается из многих, подчас разнородных факторов (проявления личностных особенностей, комплекс необходимых знаний и навыков, специфические способности и т. д.). По­этому одной из важнейших задач созда­ния адекватной модели тестируемой дея­тельности является подбор таких зада­ний, которые будут охватывать главные аспекты изучаемого феномена в правиль­ной пропорции к реальной деятельности в целом.

Валидность по содержанию заклады­вается в тест уже при подборе заданий будущей методики. Первым этапом валидизации является определение круга ис­следуемых свойств и видов деятельности, расчленение сложной способности или деятельности на элементы. На втором этапе разрабатывают собственно модель тестовой деятельности на основе наибо­лее важных элементов реальной деятельности. Наконец, на последнем этапе про­водят анализ степени соответствия разра­ботанной модели реальной деятельности, проверку соответствия пропорций представленности элементов в заданиях теста и в реальной деятельности. Так, для тес­тов достижений по отдельным предме­там разработке конкретного содержания тестовых задач предшествуют полная си­стематическая проверка соответствую­щих учебников и учебных программ, а также консультации со специалистами по данному предмету. На основе собранной таким путем информации составляют спе­цификацию теста, где указывают тестиру­емые области содержания (темы), задачи (процессы) обучения, а также относительное значение каждой темы и процес­са для достижения целей обучения на дан­ном этапе. Конкретные задания оценива­ются экспертами по принципу их близос­ти к реальным требованиям. Эксперты вы­носят суждения о том, охватывает ли тест репрезентативную выборку конкретных навыков и знаний исследуемой области обучения.

Широкое использование экспертных оценок сближает В. с. с процедурой опре­деления валидности критериальной. Однако существенным различием между этими типами валидности является то, что экспертные оценки при анализе содер­жания являются критерием самого теста, в то время как при критериальной валидизации они относятся к испытуемым из вы­борки стандартизации. Расчленение изу­чаемой деятельности или способности на элементы является необходимым этапом характеристики синтетической валиднос­ти (см. Валидность критериальная). В В. с. синтетический подход реализуется в анализе элементного состава содержания самого теста, а не совокупности внешних валидизации критериев.

Экспертная оценка адекватности со­держания заданий теста может быть до­полнена при характеристике В. с. рядом эмпирических процедур. Так, можно про­верить, насколько от класса к классу по­вышается суммарный показатель для группы и индивидуальное выполнение те­ста достижений. Эта процедура в значи­тельной мере близка определению валид­ности конструктной с помощью критерия возрастной дифференциации (см. Валид­ность по возрастной дифференциации). Роль этого критерия при оценке В. с. зак­лючается не в верификации конструкта, лежащего в основе теста, а лишь в анали­зе гипотез, приведших к выбору того или иного материала теста.

Дата добавления: 2015-06-04