Квалиметрическое оценивание

12.4.1. Квалиметрия. Очень часто стоит задача оценить такие признаки, качества, функции объекта, которые в принципе не поддаются объективному измерению — измерению в физических единицах — или такое измерение нам недоступно. Например, речь идет о достоинствах телосложения, эстетичности и ряду других достоинств спортивной одежды, техники СДД или ее конкретной реализации спортсменом, экспрессивности движений и т.д. Чтобы в этом случае по возможности объективизировать процесс оценивания и по возможности избежать грубых ошибок, разработаны специальные приемы, совокупность знаний о которых называют квалиметрией.

Квалиметрия — совокупность знаний о способах, методах, приемах, направленных на количественное отображение и оценивание не измеряемых качеств, качественных (неколичественных по своей сущности) характеристик материальных объектов, их функций, результатов активности, например — внешнего вида, выразительности движений, зрелищности, техничности, агрессивности, ситуации и т.п. Можно сказать и так: знаний о количественном оценивании качественных характеристик. Квалиметрические методы широко применяют в физическом воспитании и спорте, поскольку педагогически оценивать нужно наряду с количественными, измеряемыми в физических единицах, также и качественные (содержательные, сущностные, неизмеряемые, выражаемые не в числах, а в понятиях) признаки.

Квалиметрические оценки гораздо более субъективны, чем измеряемые, поэтому одна из главных задач квалиметрического оценивания — по возможности объективизировать оценку, на что и направлены квалиметрические методы и методики.

Качественные характеристики объекта зависят практически всегда зависят от нескольких разных признаков (факторов), обобщающая оценка часто резко отличается от оценок отдельных признаков (факторов). Более того, нередко успешное стремление добиться наивысшей оценки по отдельным факторам может привести не к повышению, а наоборот, к снижению общей оценки. Существующая между признаками связь может сказаться и в том, что улучшение одних характеристик влечет за собой ухудшение других.

Квалиметрическое оценивание в конечном счете сводится к экспертному оцениванию в той или иной ее форме, в том числе осуществляемому косвенным путем — с применением экспертами установленных правил или построенных на основе разработанных экспертами правил и программ, в том числе компьютерных. Различные способы применения экспертного оценивания и обработки его первичных результатов составляют разные квалиметрические методы, которые целесообразно применять в «по ситуации». Рассмотрим наиболее употребительные в физическом воспитании и спорте.

12.4.2. Метод экспертных оценок, спортивное судейство. Экспертом называют человека, хорошо знающего область оцениваемого, самостоятельного в суждениях и непредвзятого. Обычно спортивное судейство считают частным случаем метода экспертов, но так можно (хотя и с известными оговорками, о них ниже) считать справедливым только применительно к тем формам спортивного судейства, которые используют в спортивных видах гимнастики, в прыжках в воду и фигурном плавании, в фигурном катание на коньках и фристайле), в единоборствах. Другие же формы судейства целесообразно выделить в отдельный метод (основание рассмотрим ниже).

Метод экспертов. Этот метод, вообще говоря, предполагает равноправие и одинаковые функции экспертов. Подразумевается, что интересующие факторы оценивают не один, а несколько человек, в ответственных случаях — десятки, иногда в несколько этапов: например, в методике «Дельфы» (в древнегреческом городе Дельфы в храме Аполлона был знаменитый оракул) в первом туре все эксперты анонимно выставляют свои оценки, координатор предъявляет все оценки всем экспертам, и они снова анонимно выставляют оценки. Координатор и их предъявляет экспертам, после чего (3-й этап) они, уже открыто, выставляют окончательные оценки.

Знакомство с оценками других экспертов помогает каждому из них дважды критически взглянут на свою оценку, и если заметит в ней понятный ему изъян, изменить ее. Такого рода 2–3-этапность оценивания позволяет уточнить оценки. Окончательная оценка выводится как среднее арифметическое из оценок всех участвовавших экспертов, иногда 1–2 наибольшие и 1–2 наименьшие оценки предварительно отбрасываются, чтобы избавиться от влияния на результат значительных отклонений от мнения большинства: велика вероятность, что особо «отклонившиеся» результаты ошибочны.

Поскольку речь идет о спортивном судействе в названных выше видах спорта, следует отметить, что в нем имеет место некоторое неравноправие судей и принципиальное различие в их функциях, что, вообще говоря, искажает метод экспертов.

Требования к эксперту:

1) обширные и современные знания в области оцениваемых факторов и о текущем состоянии вопроса;

2) умение оценивать рассматриваемый объект по доступной в данных условиях информации;

3) независимость суждений в области, определяемой задачами предстоящего оценивания;

4) толерантность к чужим мнениям;

5) не всегда, но нередко: приверженность к общепринятым представлениям применительно к конкретной задаче оценивания.

Распространено мнение, что компетентность эксперта определяется близостью его оценок к среднегрупповой, однако с ним нельзя согласиться. Другое дело, что, как отмечено в п.5, нередко желательна согласованность оценок, пусть даже с некоторым ущербом для их точности. Компетентность эксперта можно определять по результатам решения им специальных тестовых задач, но и здесь следует иметь в виду, что тесты и должные ответы разработаны тоже экспертами, и потому в той или иной мере субъективны.

Из сказанного выше следует: подбор экспертов — отнюдь не простая задача, тем более, что приходится выбирать их из доступного контингента, да и выбирающие не всегда могут справедливо оценить их компетентность и ее степень в конкретном случае.

Особый вопрос — достижение хорошей согласованности оценивания, если эта согласованность требуется (это бывает не всегда). Конечно, малая вариативность оценок позволяет думать, что они выводимая общая оценка достаточно точна. Однако не исключена вероятность того, что согласованность есть результат некоторой общей ошибочности в представлениях — скажем, отсутствие у экспертов новой научной информации, либо их принадлежность к одной из научных школ, либо не совсем верное понимание задачи.

Согласованности стараются достигнуть проведением предварительных совещаний участвующих экспертов, предложением на их рассмотрение обязательной критериальной основы оценивания.

В физическом воспитании и спорте чаще всего желательно иметь однородную (по формируемым оценкам) группу экспертов, в том числе экспертов-спортивных судей, поскольку разнобой в оценках может вызвать возникновение конфликтных ситуаций. Согласованность заключений экспертов, то есть степень близости их оценок между собой, характеризуется коэффициентом конкордации:

W = 12 å(åR_ij – åR_cp) ½ m²(n² – n), где R_ij — ранг каждого объекта

оценивания по определению одного из экспертов, å_cpR_ij — средняя сумма рангов всех объектов, присвоенных всеми экспертами, m — количество экспертов, n — количество оцениваемых объектов.

Конечно, проведение экспертизы должно быть хорошо организовано. Уже было сказано о подборе экспертов. Но их работу нужно организовать, обеспечить, с одной стороны, необходимые им контакты между собой, и, с другой стороны, изоляцию их друг от друга в процессе выведения каждым своей оценки. Необходимо разработать и довести до экспертов программу оценивания, систему критериев и шкал, которые в данном случае должны быть применены.

Организация экспертизы заключается также — притом далеко не в последнюю очередь — в организации объектов оценивания: их сосредоточения в нужное время в нужном месте, обеспечения нормального их функционирования (условий, мотивации, предваряющей подготовки, информированности о задачах и организации экспертизы) и информативного предъявления (демонстрации) экспертам.

При статистической обработке оценки, выведенные каждым экспертом, рассматриваются как случайные величины.

Единоличная экспертиза. Конечно, оценку может выводить и 1 эксперт единолично, но это резко повышает уровень субъективности, а потому и вероятной неточности полученной оценки, она порой может оказаться весьма грубо ошибочной. Часто различные стороны объекта рассмотрения (материального объекта, процесса, результата функции объекта) оценивают разные эксперты. Потом приходится эти оценки как-то интегрировать, придумывая специальные правила и коэффициенты — неизбежно субъективные. Между тем от них в значительной мере зависит суммарная оценка каждого объекта и соотношение суммарных оценок сравниваемых объектов, что немаловажно в сфере физического воспитания и, особенно, спорта.

Поэтому, можно полагать, стоило бы считать единоличную экспертизу отдельным методом. Отмеченные здесь особенности единоличной экспертизы типичны для спортивного судейства.

Содержательные и технологические формы оценивания. Экспертные оценки могут различаться по форме и по технологии их выведения. Выбор формы и технологии определяют целью и условиями.

1. Непосредственное количественное оценивание объектов (субстратных компонентов или функционального состояния, функции, некоторого протекающего либо предполагаемого процесса или его результатов) по заданной шкале (шкалам) для отнесения к той или иной группе в соответствии с заданно градацией либо с определением рангов в соответствующей совокупности объектов.

2. Простое ранжирование: определяются только порядковые места объектов в порядке «от лучшего к худшему» по оцениваемым признакам, причем без количественного определения оценок.

3. Ранжирование (расположение «от лучшего к худшему») попарным сравнением (сопоставлением) объектов. Достоинство метода попарных сравнений в снижении, по сравнении с простым ранжированием, порога различения (то есть выше разрешающая способность, точность различения) благодаря применению прямого сравнения двух объектов, но процесс этот трудоемок: так, при 30 объектах приходится провести 435 сравнений, а при 50 — 1225 (по формуле [n–1]´n ½ 2). Поэтому при большом количестве оцениваемых объектов его обычно не применяют. А при 10–20 объектах число сравнений соответственно всего 45–190, и это зачастую вполне приемлемо.

Можно составить матрицу подсчета предпочтений (лучший в паре 1, худший 0). При небольшом количестве оцениваемых объектов проще нарезать бумагу, каждому объекту сопоставить одну такую карточку и расположить их в ряд. Затем при каждом сравнении перекладывать карточку «победителя» вперед относительно карточки «побежденного» (если она была впереди, оставить ее на месте).

4. Группирование: распределение оцениваемых объектов по группам на основе содержательных различий или сходств либо на основе уровня или наличия оцениваемых свойств (характеристик). Технологически экспертиза может иметь форму опроса, анкетирования, наблюдения, сравнения, обследования, анализа информации.

Метод спортивного судейства. В начале подраздела (12.4.2) перечислены виды спорта, судейство в которых, хотя и с некоторыми оговорками, осуществляют в соответствии с методом экспертов. Судейство в легкой атлетике, плавании, тяжелой атлетике, спортивных играх и во многих других видах спорта отличается от стандартной экспертизы уже тем, что речь не идет об обычном оценивании: основываясь, хотя в неявном виде, на оценивании, судьи, однако выносят решения, констатируют и дают указания, то есть прямо воздействуют на участников соревнований, а не только выводят оценки. Кроме того, судейство чаще всего осуществляется единолично и судьи различаются функциями, так что оценки (констатации) разных судей одной бригады часто не связаны между собой или связаны лишь опосредствованно: один судья для вынесения своего решения использует констатацию или информацию другого. Все же судьи — эксперты.

12.4.3. Метод опроса. Опрашиваемые по специальным вопросам должны быть в какой-то мере сведущими, но отнюдь не обязательно экспертами или специалистами высокого уровня, хотя в некоторых случаях это требуется — но тогда уже речь идет, практически, об экспертных оценках. Это интегральный метод, он включает 3 более узких: интервьюирования, беседы, анкетирования.

Интервьюирование. Интервьюирование осуществляется в соответствии с принятым для данного исследования вопросником: одни и те же вопросы задаются в той или иной форме всем опрашиваемым, по мере надобности обсуждаются с ними. Это позволяет подробно узнать мнения опрашиваемых и, если нужно, мотивы и причины формирования этих мнений, в том числе даже информативные нюансы. Это достоинство метода. Недостатки — привязанность к заранее заготовленному списку вопросов, большая трудоемкость, не позволяющая опросить в короткое время многих, необходимость фиксировать интервью либо письменно, либо на магнитофоне, в последнем случае приходится переписывать текст. Это, если можно так выразиться, «штучная работа». Важно соблюдать одинаковость содержания опроса всех интервьюируемых, желательно даже последовательности вопросов: последовательность вопросов иногда может повлиять на содержание ответов. Вместе с тем, для получения статистически достоверных выводов нужно опросить много людей.

В процессе взятия интервью можно подробно расспрашивать интервьюируемого, выявляя его мнения по интересующим интервьюера вопросам с разными нюансами, получая эти мнения в форме развернутого изложения, но можно и удовлетворяться краткими четкими унифицированными ответами или даже ответами типа «да», «нет», «не знаю» либо выраженными в форме числовых оценок. Возможен и комбинированный вариант: сначала подробный ответ на вопрос интервьюера, (если нужно — включая ответы на уточняющие вопросы), а затем в виде резюме лаконичные четкие оценки.

Беседа. Беседа отличается от интервью более свободной программой, предоставлением части инициативы в определении ее содержания опрашиваемому, что позволяет выйти на новые аспекты изучаемой проблемы, существенно расширить содержательную базу оценивания. Однако материалы проведенных бесед труднее и хуже поддаются статистической обработке, чем материалы проведенных интервью, поскольку их тематическое содержание не стандартизовано. В частности, под влиянием уже проведенных бесед содержание последующих может изменяться. Тем не менее, лицо, проводящее беседы, может выводить оценки обсуждаемым объектам (напомним: таким объектом может быть материальный неживой предмет, животное, человек или группа людей, процесс, его результат, информационная структура), логически связывая полученную информацию.

Анкетирование (анкетный опрос). Этот вид опроса наиболее популярен, им можно охватить за кроткое время затратив немного труда много людей и получить материал в форме, удобной для статистической обработки, причем средствами не только описательной, но и вариационной статистики. Анкетирование не позволяет так развернуто и с такими нюансами узнать мнение опрашиваемых, как интервьюирование или беседа, зато выигрыш в трудоемкости огромен.

На вопросы анкеты можно требовать ответы в форме: 1) развернутых мотивированных оценок или утверждений, 2) кратких оценок, утверждений, пожеланий, 3) ответа «да», «нет», «не знаю», «считаю – не считаю» и т.п., 4) оценки в баллах по требуемой в пояснении к анкете системе (5-бальной, 10-бальной, 20-бальной, 100-бальной), 5) выбора-подчеркивания одного из предложенных вариантов ответа (изложенных фразами, словами «да – нет», «есть – нет», «знаю – не знаю», «считаю – не считаю» и т.п., количественными оценками в физических величинах, очках, баллах). Наиболее прост для интервьюируемых (а это существенно влияет на их желание принять участие в опросе и снижает ошибочность ответов) 5-й вариант.

Вопросы должны быть сформулированы четко и понятно для контингента опрашиваемых, чтобы не вызывать недоумений и разночтений. Вопросов желательно в одной анкете задавать не более 10–15, и среди них не более 1–2 требующих развернутого, разъяснительного ответа — в противном случае у значительного числа анкетируемых может существенно упасть желание добросовестно заполнить анкету, некоторые могут вместо высказывания своего мнения переписывать ответы у других либо отшучиваться.

В анкете 2 части: демографическая и целевая тематическая.

Демографическую составляют вопросы, направленные на установление личности анкетируемого: фамилия и инициалы, пол, возраст, специальность, стаж, спортивный разряд и т.п. Это позволяет по нужной нам схеме сгруппировать анкетируемых в предположении, что мнения членов этих групп по целевой тематике анкеты окажутся различными и что эти различия представляют интерес.

Вопросы целевой тематической части направлены на выяснение мнений анкетируемых по интересующим нас (и в этом смысле целевым) темам, ради чего и проводится анкетирование. Желательно располагать вопросы в некоторой логической последовательности.

В этой части анкеты наряду с вопросами может содержаться предложение высказаться на предложенную самим анкетируемым тему (темы), прямо или косвенно связанную (связанные) с целевой темой анкеты и не отраженную содержащимися в ней вопросами. Обычно это предложение расположено после всех вопросов

В ряде случаев тема анкетирования (например: о той или иной оценке руководства или коллег, о своем отношении к ним, о перенесенных заболеваниях, о своих пристрастиях или взглядах на спортивные или социальные проблемы, на мотивацию своей деятельности) дает основание полагать, что опрашиваемый не захочет, чтобы была известна принадлежность именно ему содержания искреннего ответа на вопросы анкеты (например: оценка спортсменом личностных и профессиональных качеств его тренера или подчиненным — руководителя; что именно: стремление защитить честь коллектива, высокие идеалы — скажем, защита дела мира — или материальная выгода главным образом стимулирует выступления анкетируемого спортсмена). Чтобы повысить вероятность искренности ответов и тем самым достоверного выявления истинных, а не показных, мнений, проводят анонимное («закрытое») анкетирование.

При этом в анкете либо вообще отсутствует демографическая часть, либо запрашиваются только те данные, которые в данных конкретных условиях не позволяют выявить автора ответов на вопросы конкретного экземпляра анкеты. Анкета должна быть составлена так, чтобы не нужно было писать, а достаточно подчеркнуть, обвести, перечеркнуть, поставить «галочку» или крестик. Все анкетируемые должны пользоваться одной ручкой или ручками, пишущими одинаково по толщине линий и цвету чернил или пасты (в противном случае возможна идентификация по почерку, толщине линий или цвету написанного). Собирать заполненные анкеты так, чтобы анкетируемый был убежден в невозможность его «вычислить», в действительной анонимности его высказываний.

Только при соблюдении этих правил можно рассчитывать на относительную достоверность полученной анкетированием конфиденциальной информации, таких сведений о себе и своих мнениях, которые, по мнению анкетируемого, могут ему повредить, если станет известно, что они относятся именно к нему.

Недостатки анонимного анкетирования в невозможности после ознакомления с анкетами выяснить, чем мотивированы именно такие ответы, а также риск получить некоторую долю бездумных, шуточных или вызывающих (с целью шокировать) ответов, поскольку отвечающие не боятся ответственности за них.

Дата добавления: 2015-04-30