Е. Сведения о процедуре обработ­ки и интерпретации тестовых резуль­татов

По традиции интерпретация тестовых

баллов является нормированно-референ-тной, т. е. индивидуальная оценка интер­претируется в сравнении с оценками дру­гих индивидов. Однако возможны и другие интерпретации. Содержательно-референ­тная интерпретация имеет место, если балл интерпретируется непосредственно, соответственно деятельности на каждой точке измеренного континуума достиже-

ний. Критериально-референтная интер­претация отражает непосредственно ин­терпретацию баллов в соответствии с де­ятельностью в любой данной точке кон­тинуума внешней переменной. Перемен­ной внешнего критерия могут быть сред­ние оценки или уровни трудовой деятель­ности. Стандартные требования парагра­фа в принципе относятся больше к норми-рованно-референтным интерпретациям тестов и в меньшей степени к содержа­тельно-референтным.

ЕЛ. Нормы должны публиковаться в руководстве к тесту одновременно с пуб­ликацией теста (для операционального использования). (Существенно.)

Н. 1.1. Нормы должны быть определе­ны также к тесту, разработанному только для локального применения или только для целей предсказания. (Желательно.)

Комментарий. Иногда забывают, что таблицы норм дают информацию, по­лезную не только для сравнения индивида с групповыми данными. Например, поль­зователь теста из таблицы норм может из­влечь информацию относительно уровня баллов, на котором различительная сила измерения хороша или плоха.

ЕЛ.2. Даже если предполагается, что тест в первую очередь будет использовать­ся с локальными нормами, в руководстве к тесту следует предусмотреть нормиро­вочные данные, чтобы помочь интерпре­татору, не имеющему локальных норм. (Очень желательно.)

Е.2. Нормы, представленные в руко­водстве к тесту, должны относиться к определенным и ясно описанным популя­циям. Этими популяциями должны быть группы, с которыми пользователи теста обычно желают сравнивать тестируемых лиц. (Существенно.)

Комментарий. Почти во всех случаях, когда тесты разработаны не толь­ко для локальных целей, пользователь хо­чет знать, насколько они применимы для

различных групп. Для тестов, разработан­ных с целью широкого использования в школах или в промышленности, необходи­ма информация о различиях и сходствах нормативных данных для таких групп, как группы по полу, национальности, образо­ванию или возрасту. В руководстве долж­ны быть описаны случаи, когда нормы для одних групп также подходят и для других групп.

Например, руководство к вяпроснику профессиональных интересов или к тес­там способностей, важных для некоторых профессий, должно подчеркивать, что лицо, получающее высокую оценку инте­ресов или способностей к учебному пред­мету или профессии при сравнении со «средним» человеком, получает более низ­кую оценку интересов при сравнении с ли­цами, фактически занимающимися в этой области. Так, высокий процентильный балл по шкале музыкальных интересов, в которой испытуемый сравнивается со «средним» человеком, может быть эквива­лентен низкому процентильному баллу при сравнении испытуемого с профессио­нальным музыкантом.

Е.2.1. Необходимо предотвращение ошибочного впечатления о генерализован-ности нормативных данных. (Существен­но.)

Комментарий. Нормативные данные, полученные для выборки людей или школ со специфическими чертами, часто используются так, как будто они получены по репрезентативным общего­сударственным группам. Так, имеются пользователи тестов, которые могут ска­зать, что испытуемый читает на уровне де­сятиклассника, вне учета того, что нормы фактически получены на основе лучших школ, добровольно принявших участие в исследовании по разработке теста. Ошиб­кой интерпретации является предположе­ние, что нормы добровольных групп уча­щихся приложимы к школам вообще. Сфе-

pa действия таких ошибок может быть со­кращена, если в руководстве к тесту чет­ко определены характеристики норматив­ной популяции.

Е.2.1.1. В руководстве к тесту необхо­димо сообщить метод отбора выборки из популяции испытуемых и обсудить веро­ятное смещение в выборочной процедуре. (Существенно.)

£.2.1.2. Нормы, сообщенные в руко­водстве к тесту, должны быть основаны на хорошо спланированной выборке, а не на данных, собранных в основном из-за их относительной доступности. Любое откло­нение от намеченного плана должно быть отражено одновременно с описанием дей­ствий, предпринятых или не предприня­тых в связи с этим. (Существенно.)

Комментарий. Нормы професси­ональных и педагогических тестов иногда основаны на разрозненных выборках тес­тируемых, так как авторы иногда просят пользователей тестов прислать результа­ты тестирования для использования их в последующих сообщениях о тестовых нор­мах. Полученные таким образом распреде­ления подвержены смещениям неизвест­ного типа и степени. Следовательно, ме­тоды получения выборок должны быть ясно описаны.

Е.2.1.3. Наряду с сообщением числа индивидов, результаты тестирования ко­торых были использованы при разработке нормативных данных, руководство долж­но также сообщить число выборочных еди­ниц (например, классов), из которых были взяты эти индивиды, а также число инди­видов в каждой единице. (Существенно.)

Е.2.2. В руководстве к тесту описание нормативной группы должно быть доста­точно полным, чтобы пользователь мог судить'о пригодности для собственного применения. В описании должно быть ука­зано число случаев, классифицированных по одной или более таких переменных, как возраст, пол, социоэконрмический статус,

образовательный уровень. Если взята обобщенная выборка, в описании норма­тивной группы должно быть указано чис­ло отдельных тестированных групп. (Су­щественно.)

Комментарий. Для описания нормативных данных в руководствах час­то используются классификационные си­стемы в целом. Например, в руководстве к одной методике даны сведения для мно­гих профессиональных и образовательных групп. Однако отсутствие информации о таких признаках, как пол, возраст, обра­зование и уровень опыта, внутри этих групп существенно уменьшает полезность норм.

Е.2.2.1. В руководстве должны быть ясно и рельефно описаны популяции, на основе которых определены психометри­ческие свойства теста и для которых при­менимы нормативные данные. В любом сообщении о доработке теста должны от­разиться характеристики нормативных групп, использованных в интерпретации результатов. (Существенно.),

Комментарий. Назначение этого стандартного требования — предупредить пользователей и испытуемых относитель­но необоснованных интерпретаций. Если сообщение о стандартизации представля­ет результаты в интерпретации процен-тильных рангов или стандартных баллов при последовательном использовании той же нормативной популяции, будет доста­точным определение этой популяции с указанием времени сбора данных.

Е.2.3. Если выборка, на основе которой установлены нормы, мала или, по другим причинам, ненадежна, в руководстве к те­сту необходимо ясно предупредить пользователя относительно возможности величины ошибок при интерпретации бал­лов. (Существенно.)

Е.2.4. В руководстве к тесту нормы по субтестам или группам заданий сообща­ются только в том случае, если указана ва-

лидность и надежность таких субтестов или групп заданий. (Существенно.)

Комментарий. Пользователь те­ста уверен, что, когда даны нормы для ча­сти теста, автор считает их пригодными для интерпретации. Должна сообщаться также надежность и валидность таких бал­лов.

Е.2.5. В руководстве к тесту должны быть описаны условия, при которых по­лучены нормативные данные. (Сущест­венно.)

Комментарий. В случае, когда некоторые аспекты стандартизированы на группах кандидатов на работу, другие — на группах, обратившихся за профкон-сультацией, а третьи — на группах, осоз­нающих себя как испытуемые, то между такими группами и внутри них индивиды часто различаются по мотивации выполне­ния теста, установке к его выполнению, способностям и личностным характерис­тикам, хотя точное описание этих разли­чий не всегда возможно.

Е.З. При сообщении норм в руковод­стве к тесту следует пользоваться процен-тилями для одной или нескольких подхо­дящих референтных групп или стандарт­ными баллами, для которых ясно опреде­лено основание. В руководстве к тесту должны быть даны меры центральной тен­денции и рассеивания. (Существенно.)

Е.З.1. Если тест используется для предсказания, должны быть приведены, насколько это возможно, таблицы ожида­ний или эмпирические таблицы перевода баллов в уровни вероятности успеха или умения. (Желательно.)

Е.4. Для многих применений теста ло­кальные нормы более важны, чем опубли­кованные. В таких случаях руководство к тесту должно давать возможность исполь­зования локальных норм. (Очень жела­тельно.)

Е.5. В руководстве к тесту должны быть полностью описаны производные

шкал, использованные для стандартизиро­ванных баллов, чтобы увеличить вероят­ность точной интерпретации и понимания баллов интерпретатором теста и испыту­емым. (Существенно.)

Комментарий. Целесообразно сократить число производных шкал до не­скольких, с которыми пользователи были бы знакомы. Существующее разнообразие ведет к необходимости описания таких шкал в каждом руководстве. Проблема, в частности, в том, что теперь используют­ся многие различные системы, не имею­щие логических преимуществ по сравне­нию друг с другом. Для преодоления недо­статков старых методов шкалирования могут быть предложены новые. Разнооб­разие шкал для окончательных тестовых оценок может привести к недоразумениям и ошибочным интерпретациям, если шка­лы, рекомендованные для данного теста, не описаны в руководстве ясно и полно.

Е.5.1. Построение шкалы на основе нормативных данных должно быть ясно и недвусмысленно описано в терминах, пре­дотвращающих нарушения и интерпрета­ции или неправильные обобщения. (Су­щественно.)

Комментарий. Производные оценки могут быть очень полезны для вы­водов. Однако очень часто они рассматри­ваются как имеющие абсолютный смысл независимо от отдельного теста и норма­тивной популяции. Примером является коэффициент интеллекта, который зачас­тую понимается как просто стандартный балл, который часто видоизменяется и ин­терпретируется так, словно он отражает неизменную и независимую характеристи­ку испытуемого. Оценки эквивалентности классу обучения или даже процентильные ранги также могут интерпретироваться неправильно, как некие абсолютные вели­чины, если в руководстве к тесту не при­ведены характеристики групп, на которых эти оценки построены.

Е.5.2. В руководстве необходимо ука­зать, являются ли стандартные баллы ре­зультатом линейной или нелинейной трансформации суммарных баллов. (Су­щественно.)

Е.5.2.1. Интерпретационных баллов, которые сами по себе включают суще­ственную ошибочность интерпретации (оценки умственного возраста, эквивален­тности классу обучения и др.) надо избе­гать. (Очень желательно.)

Комментарий. Если, несмотря на эту рекомендацию, в руководство вклю­чены подобные оценки, необходимо пре­дусматривать в табличной форме также их связь со стандартными баллами или про-центильными рангами внутри каждой ка­тегории и внутри соответствующей нор­мировочной группы. Например, таблица может отразить вдобавок к баллу экви­валентности классу обучения соответ­ствующий процентильный ранг внутри собственного возраста или класса испыту­емых для каждого суммарного балла. Для старших классов больше подходят нормы внутри предметов, чем внутри классов.

Е.5.3. Если в руководстве к тесту пред­полагается, что процентильные ранги бу­дут выражаться графически профильной звездочкой, график должен основываться на нормальной вероятностной шкале или на некоторой другой приемлемой нелиней­ной трансформации. (Очень желатель­но.)

Е.6. Если шкалы пересмотрены, добав­лены новые формы или сделаны другие изменения, в пересмотренном руковод­стве к тесту должны быть помещены таб­лицы эквивалентности старой и новой форм. (Желательно.)

Комментарий. Новые формы те­ста должны быть приравнены к недавно определенным шкалам стандартных бал­лов других форм, чтобы пользователь мог быть уверен, что баллы, предложенные по

новым формам, сравнимы с баллами пре­дыдущих форм.

Е.6.1. Если новая форма теста прирав­нена к старой, в пересмотренном руковод­стве должно быть описано содержание и старой и новой форм, а также характер нормативных групп для них. (Сущест­венно.)

Комментарий. Изменения в зна­ниях, технологии или учебном материале могут потребовать, чтобы новое издание тестов существенно отличалось от пре­жних, а потребность преемственности требует приравнивания окончательных шкал друг к другу. Пользователь должен иметь возможность оценить эквивалент­ность в соответствии с изменениями со­держания, поскольку у него возникают сомнения, возможно ли значимое сравне­ние баллов при изменении содержания.

Е.6.2. В руководстве должен быть опи­сан метод установления эквивалентности или сравнимости оценок и должна быть дана оценка точности процедуры прирав­нивания. (Очень желательно.)

Е.7. Если предполагается, что тест бу­дет использоваться не столько для оцен-. ки индивидов, сколько групп (например, для школ или программ), должны быть-представлены нормативные данные, осно­ванные на суммарных групповых статис­тиках. (Существенно.)

Комментарий. Например, неце­лесообразно оценивать школы применени­ем норм, разработанных для оценки инди­видов. Также нельзя вычислять групповые средние по нелинейным шкалам, напри­мер по процентильным рангам, выведен­ным для индивидуальных норм.

Е.8. Тест, руководство, формы записи ответов и другие сопровождающие мате­риалы должны помогать пользователю правильно интерпретировать результаты теста и предупреждать неправильное его употребление. (Существенно.)

Комментарий. Многие руковод­ства к тестам подчеркивают переменные, которые следует учитывать при интерпре­тации тестовых оценок. Это может быть информация об учебных достижениях, ре­комендации или соответствующие анамне­стические данные. '

Руководство к средству оценивания личности может включать данные, пока­зывающие, что психолог должен учиты­вать такие факторы, как пол и возраст субъекта, женаты или разведены его роди­тели, возраст и пол его детей, его профес­сиональный и супружеский статус и т. д.

Е.8.2. Руководство к тесту должно под­черкнуть те существенные влияния на тестовую оценку, которые связаны с реги­оном, социоэкономическим статусом, на­циональностью или полом. (Существен­но.)

Е.9. Руководство должно обратить вни­мание пользователя на публикации, с ко­торыми он должен ознакомиться до тести­рования для более точной интерпретации результатов теста. (Очень желательно.)

Комментарий. Публикациями могут быть книги или статьи, относящие­ся к смежным психологическим теориям или к самому тесту, о котором идет речь.

Е. 10. Изложение описываемых в руко­водстве зависимостей по смыслу являет­ся количественным и должно быть приве­дено с точностью, которую позволяют дан­ные. Если данные в поддержку таких ут­верждений не были собраны, этот факт должен быть ясно указан. (Существен­но.)

Комментарий. -Авторы, напри­мер, иногда пишут: «Для инженера-архи­тектора требуется способность простран­ственного мышления» или «Необычные ответы могут указывать на наличие ши­зофрении». Такие утверждения сами по себе количественно неадекватны. Какая частота эксцентрических ответов указы­вает на уже развившуюся шизофрению?

Насколько успех в архитектуре зависит от пространственной способности? Количе­ственные данные, связывающие тестовые оценки с определенными критериями, дол­жны помочь получить ответы.

Е.10.1. Для сообщения количествен­ной информации предпочитаются хорошо известные и легко интерпретируемые ста­тистические процедуры. Любая необще­принятая статистическая техника должна быть объяснена, и должны быть приведены ссылки на источники. (Существенно.)

Комментарий. Издатели не обя­зательно должны однообразно придержи­ваться процедур, широко используемых для сообщения данных, но технологии и процедуры должны быть довольно извес­тными на практике, чтобы компетентные пользователи могли адекватно судить о ре­зультатах.

Это стандартное требование является конкретизацией принципа, что представ­ленные в руководстве данные не должны вводить в заблуждение. Например, оши­бочно показывать ценность объединенных в батарею тестов в уравнении регрессии путем использования данных с интеркор­реляцией более низкой, чем о ней сообща­лось в~другом месте руководства.

Е.10.2. Когда сообщается статистичес­кая значимость, сообщение должно быть в форме, которая делает ясным чувстви­тельность или мощность критерия значи­мости. (Существенно.)

Комментарий. Статистическая значимость, не имеющая практической полезности, часто может быть получена использованием очень большого числа случаев. Наоборот, тот, кто использует не­чувствительный статистический крите­рий, может сделать ошибочный вывод об отсутствии важного в практическом смыс­ле различия. В общем, при сообщении тестовых данных более приемлемо опре­делить доверительный интервал или фун­кцию правдоподобия интересующего пара-

метра, а не просто сообщить, что нулевая гипотеза может или не может быть откло­нена.

Е.10.3. В руководстве должны ясно различаться интерпретация, которая при-ложима только к средней тенденции груп­пы, и интерпретация, приложимая к любо­му индивиду внутри группы. (Сущест­венно.)

Комментарий. Некоторые тесты достаточно надежны для обеспечения от­носительно стабильного среднего балла группы, но недостаточно надежны, чтобы обеспечить использование индивидуаль­ных баллов или позволить сравнение ин­дивидов.

Е.10.4. В руководстве должно быть ясно указано, какая интерпретация отно­сится к каждому баллу субтеста в той же степени, как и для всего теста. (Суще­ственно.)

Комментарий. В руководстве должно быть четко указано, когда баллы субтестов получены только для простоты вычисления балла всего теста и не пред­лагают самостоятельного использования, когда они могут иметь исследовательское применение и предусматривается ли при этом их интерпретация.

Е.11. Составители тестов или другие лица, использующие ЭВМ для интерпре­тации тестов, должны предусмотреть ру­ководство, отражающее алгоритм и свиде­тельства в поддержку интерпретации бал­лов на основе ЭВМ. (Существенно.)

Комментарий. Вычислительная машина позволяет накопить и воспроизве­сти большое количество данных. Интер­претация теста может быть очень об­легчена использованием банка данных, на­копленных в ЭВМ на основе совокупнос­ти индивидуальных оценок по батарее те­стов или вопроснику личности.

Пользователь таких массивов должен знать обоснование и свидетельства в пользу предполагаемой интерпретации, так как она подвержена ошибкам в'той же степени, как и другие субъективные ин­терпретации.

Данный пункт относится только к хра­нению и обработке информации, введен­ной в ЭВМ.

Проведение тестов неавтоматизирова-но и осуществляется обычным способом. В том случае, когда пользователь хочет автоматизировать и проведение теста, тест должен пройти полную психометри­ческую проверку.

Основные статистические таблицы

Таблица 1

Дата добавления: 2015-06-04