Каковы последовательные шаги, касающиеся организации и подготовки экспериментальных исследований

Подготовка психолого-педагогического исследования начи­нается с конкретизации, уточнения его проблемы, целей и задач, так как от них зависит выбор вида исследования. Разные виды исследований требуют различных затрат сил, ресурсов и време­ни. Поэтому с самого начала, определяя вид исследования, чрез­вычайно важно исходить из принципа экономии сил и ресурсов. Этот принцип можно сформулировать следующим образом: ма­териальные, временные и интеллектуальные затраты на прове­дение исследования должны быть соразмерными его проблеме, це­лям, задачам и вместе с тем минимально достаточными для то­го, чтобы решить поставленную проблему, достичь тех целей, ко­торые изначально интересовали исследователя.

Если вопрос, который подлежит рассмотрению в проводимом исследовании, сравнительно прост, а для его разрешения орга­низуется и проводится весьма громоздкое, дорогостоящее иссле­дование, то оно не будет соответствовать принципу экономии сил и ресурсов. Если, напротив, проблема относительно сложна, но исследование, организуемое и проводимое с целью нахождения ее решения, сравнительно простое, то оно соответствует прин­ципу экономии сил и ресурсов. Однако, проводя упрощенное ис­следование, далеко не всегда можно рассчитывать на полное, ос­новательное решение сложной проблемы.

После того как в соответствии с принципом экономии сил и ресурсов определен оптимальный вид предстоящего исследова­ния, приступают к теоретической разработке проблемы иссле­дования. Эта работа обычно начинается с конкретизации темы исследования.

Уточнение темы исследования представляет собой определение тех конкретных вопросов, на которые данное исследование при­звано ответить. Проблема исследования обычно шире его темы и включает в себя список логически связанных вопросов, которые напрямую соотносятся с содержанием проведенного обзора и анализа литературы, с разработанной теорией, касающейся иссле­дуемой научной проблемы. Для каждого этапа и каждой части планируемого исследования необходимо сформулировать свои частные вопросы, соотнеся их с названием темы. Планируя исследование, с самого начала необхо­димо уточнять, сужать и конкретизировать тему исследования.

После этой процедуры определяют объект и предмет иссле­дования, выбирают адекватные средства психолого-педагогичес­кой оценки — диагностики состояния данного объекта под углом зрения избранного предмета исследования до и после про­ведения эксперимента.

Объектом исследования называется тот материальный или идеальный объект, который в данном случае изучается, т.е. с ко­торым проводится планируемое экспериментальное исследова­ние. Объектом психолого-педагогического эксперимента могут стать люди или группа людей, один или несколько неодушевлен­ных, в том числе абстрактных объектов (понятия, гипотезы, тео­рии и т.п.), связанных с системой образования.

Как и проблему исследования в целом, так и любой объект изучить исчерпывающим образом в единственном эксперимен­тальном исследовании практически невозможно. Всякий мате­риальный и идеальный объект обладает множеством разнооб­разных свойств. Из них для теоретического анализа и последую­щего экспериментирования выбираются, как правило, не более трех. Они-то и составляют предмет данного экспериментального исследования. Им могут стать, например, содержание и методы образования, знания и умения учащихся, их способности, квали­фикация учителей, управление образованием и многое другое.

Определение предмета исследования по своему объекту и со­держанию всегда намного уже, чем детальная характеристика объекта исследования в совокупности всевозможных его свойств. Предмет исследования должен соответствовать его теме и тому, что далее утверждается в гипотезах и проверяется в самом экс­перименте. Гипотезы в их уточненных формулировках являются дополнительным определением предмета исследования, поэто­му их конкретизация - один из важнейших этапов в подготовке исследования. В любом эксперименте должны присутствовать гипотезы разных уровней общности: общие, частные и рабочие. Их наличие является одним из признаков тщательно продуман­ного и хорошо подготовленного эксперимента. По детальности изложения и числу задачи эксперимента обычно превосходят количество целей и гипотез исследования, выступая в качестве конечного пункта теоретической разработки его замысла.

За этим следует выбор экспериментальных и конт­рольных групп, составление плана и программы исследования. В этом плане задачи должны соотноситься с конкретными сроками их реализации и располагаться в определенной последова­тельности.

Практически в каждом эксперименте на зависимую перемен­ную оказывает влияние независимая переменная, а также мно­жество других факторов, и если не контролировать их реальное воздействие на зависимую переменную, то трудно быть вполне уверенным в том, что зафиксированное в эксперименте измене­ние зависимой переменной действительно обусловлено именно вариациями независимой переменной, а не чем-либо иным.

Следующий этап подготовки экспериментального психолого-педагогического исследования - подбор и апробация необходи­мых психодиагностических методик, а также выбор средств ста­тистической обработки результатов, нужных для точного, уве­ренного доказательства гипотез.

Психодиагностические методики в эксперименте должны подбираться таким образом, чтобы с их помощью можно было правильно оценивать величину всех независимых переменных (в том числе связанных с альтернативными гипотезами) до и пос­ле эксперимента. Такие методики должны быть не только валид­ными и надежными, но и требовать минимума времени для их проведения. Желательно, чтобы все эти методики были заранее апробированы для того, чтобы проверить их, научиться правиль­но пользоваться ими. Во время такой проверки обычно уточня­ются инструкция к методике, процедура ее использования, спо­собы обработки и формы представления получаемых результа­тов. Кроме того, определяется время, необходимое для полного проведения обследования всех испытуемых в эксперименталь­ной и в контрольной группах с помощью данной методики.

Следующий этап - определение времени, места и процеду­ры поэтапного проведения эксперимента. Время обычно выби­рается таким образом, чтобы испытуемые были в нормальном, привычном для них физическом и психологическом состоянии, никуда не спешили, не были чем-то особенно озабочены. Обста­новка и место проведения исследования также не должны вызы­вать у испытуемых не свойственной им в повседневной жизни напряженности, должны сводить к минимуму возможное дейст­вие посторонних факторов, способных повлиять на результаты эксперимента.

Процедура проведения эксперимента есть совокупность и по­следовательность действий, предпринимаемых исследователем для реализации принятой программы. Процедурный этап вклю­чает в себя, в частности, обеспечение нужного настроя у испытуе­мых, составление текста и выбор формы предъявления общей инструкции, определение характера поведения экспериментато­ра во время эксперимента, включая способы контроля с его сто­роны за действиями испытуемых.

В заключение подготовительного этапа эксперимента разра­батываются его общий план и программа. Они обычно представ­ляют собой письменные документы, в которых определены ос­новные этапы проводимого исследования, их последователь­ность, время, необходимое для практической реализации каж­дого этапа, сроки выполнения и ожидаемые результаты. Эти до­кументы являются руководством к действию и одновременно вы­ступают как средство контроля за правильностью проводимого эксперимента.

29_Что такое валидность методики?

Для того чтобы психолого-педагогический эксперимент был достаточно надежным средством исследования и позволял по­лучать вполне достоверные результаты, которым можно доверять и на основе которых можно делать правильные практические вы­воды, необходимо, чтобы используемые в нем психодиагности­ческие методы были научно обоснованными. Такими считают ме­тоды, отвечающие следующим требованиям: валидность, надеж­ность, однозначность и точность.

Термин «валидность» буквально означает: «полноценный», «пригодный», «соответст­вующий». Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность. Проверка валидности методики называется валидизацией.

Есть несколько разновидностей валидности, каждую из ко­торых следует рассматривать и оценивать отдельно, когда стоит вопрос о выяснении валидности психодиагностической методи­ки. Валидность может быть теоретической и практической (эм­пирической), внутренней и внешней.

Валидность теоретическая определяется по соответствию по­казателей исследуемого качества, получаемых с помощью дан­ной методики, показателям, получаемым посредством других методик - таких, с показателями которых должна существовать теоретически обоснованная зависимость. Теоретическую валидность проверяют по корреляциям показателей одного и того же свойства, получаемым при помощи разных методик, опирающих­ся или исходящих из одной и той же теории.

Валидностъ эмпирическая проверяется по соответствию диа­гностических показателей реальному поведению, наблюдаемым действиям и реакциям испытуемого. Если, например, с помощью некоторой методики мы оцениваем черты характера у данного испытуемого, то применяемая методика будет считаться прак­тически или эмпирически валидной тогда, когда мы установим, что данный человек ведет себя в жизни именно так, как предска­зывает методика, т.е. в соответствии с имеющейся у него чертой характера. По критерию эмпирической валидности методику проверя­ют путем сравнения ее показателей с реальным жизненным по­ведением или результатами практической деятельности людей.

Валидностъ внутренняя означает соответствие содержащих­ся в методике заданий, субтестов, суждений и т.п. общей цели и замыслу методики в целом. Она считается внутренне невалидной или недостаточно внутренне валидной тогда, когда все или часть включенных в нее вопросов, заданий или субтестов изме­ряют не то, что требуется от данной методики.

Валидностъ внешняя - это примерно то же самое, что и эм­пирическая валидность, с той лишь разницей, что в данном слу­чае речь идет о связи между показателями методики и наиболее важными, ключевыми внешними признаками, относящимися к поведению испытуемого.

При создании методики сразу оценить ее валидность трудно. Обычно валидность методики проверяется и уточняется в про­цессе ее достаточно длительного использования, тем более что речь идет о проверке по меньшей мере с четырех описанных выше сторон.

Не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл.

Существует четыре типа внешних критериев, используемых для доказательства валидности:

1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации;

2) субъективные критерии (они включают различные виды ответов, которые
отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды,
предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);

4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации.

Существует несколько видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия:

1) Валидность "по содержанию". Этот прием используется в основном в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала. На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность "по содержанию" также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

2) Валидность "по одновременности", или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с
экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени (успеваемость в период испытания, производительность в этот же период и т д.). С ними коррелируют результаты успешности по тесту.

3) " Прогностическая" валидность. Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

4) "Ретроспективная" валидность. Она определяется на основе критерия,
отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

При приведении данных о валидности разработанной методики важно точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т.д.). Желательно также сообщать сведения о численности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользующемуся методикой исследователю решить, насколько валиден этот прием для той группы, к
которой он собирается его применять. Как и в случае с надежностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой - низкой. Поэтому если исследователь планирует использовать методику на выборке испытуемых, существенно отличающейся от той, на которой проводилась проверка валидности, ему необходимо заново провести такую проверку.

Кроме видов валидности, важно знать критерии валидности. Это основные признаки, по которым можно практически судить о том, является или не является данная методика валидной. Та­кими критериями могут стать следующие:

1. Поведенческие показатели - реакции, действия и поступ­ки испытуемого в различных жизненных ситуациях.

2. Достижения испытуемого в различных видах деятельно­сти: учебной, трудовой, творческой и других.

3. Данные, свидетельствующие о выполнении различных конт­рольных проб и заданий.

4. Данные, получаемые при помощи других методик, валидность или связь которых с проверяемой методикой считается до­стоверно установленной.

30_Что такое надежность методики?

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. К числу основных критериев оценки психодиагностических методик относятся надежность и валидность.

В традиционной тестологии термин «надёжность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.

Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты. Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты таких свойств, как:

1. Воспроизводимость результатов исследования.

2. Точность измерения.

3. Устойчивость результатов.

Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие:

1. нестабильность диагностируемого свойства;

2. несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечётко сформулированы указания по предъявлению методики испытуемым и т.д.);

3. меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещённость помещения, наличие или отсутствие посторонних шумов и т.д.);

4. различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т.д.);

5. колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом – утомление и т.д.);

6. элементы субъективности в способах оценки и интерпретации результатов (когда ведётся протоколирование ответов испытуемых, оценивают ответы по степени полноты, оригинальности и т.д.).

Одним из важнейших средств повышения надежности методики является единообразиепроцедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.

На характеристику надёжности методик большое влияние оказывает исследуемая выборка. Она может, как снижать, так и завышать этот показатель, например надежность, может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. Поэтому в руководстве обычно делается описание выборки, на котором определялась надёжность методики. В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.

Разновидностей надёжности методик так же много, как и условий, влияющих на результаты диагностических испытаний. Так как все виды надёжности отражают степень согласованности двух независимо полученных рядов показателей, то математико-статистический приём, с помощью которого устанавливается надёжность методики, - это корреляции. Надёжность тем выше, чем больше полученный коэффициент корреляции приближается к единице, и наоборот.

Надёжность трактуется как совокупность трех признаков:

1. надёжность самого измерительного инструмента (коэффициент надежности);

2. стабильность изучаемого признака (коэффициент стабильности);

3. константность, т.е. относительную независимость результатов от Личности экспериментатора (коэффициент константности).

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надёжности; показатель, характеризующий стабильность измеряемого свойства, - коэффициентом стабильности; а показатель оценки влияния личности экспериментатора – коэффициентом константности. Именно в таком порядке рекомендуется осуществлять проверку методики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критерием константности.

Определение надежности измерительного инструмента. От того, как составлена методика, насколько правильно подобраны задания, насколько она однородна, зависит точность, объективность измерения. Для проверки надежности измерительного инструмента, говорящего о его однородности используют метод расщепления. Задания делят на четные и нечетные, а затем результаты коррелируются между собой. Если методика однородна, то большой разницы в успешности по этим половинам не будет, коэффициент будет высоким. Можно сравнивать по частям, но лучше по четным и нечетным, т.к. этот способ не зависит от тренировки, утомления и т.д. Методика надежна, если коэффициент не ниже 0,75 – 0,85, лучше 0,90 и выше.

Определение стабильности изучаемого признака. Также необходимо установить, насколько устойчив, стабилен признак, который исследователь намерен измерять. Признак со временем может меняться, но колебания его не должны иметь непредсказуемый характер. Для проверки используется прием, который называется тест-ретест. Он заключается в повторном обследовании испытуемых с помощью этой же методики. О стабильности судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или не сохранении каждым испытуемым своего порядкового номера в выборке.

На степень устойчивости влияет разнообразие фактора. Необходимо соблюдать единообразие процедуры обследования. При определении стабильности признака большое значение имеет промежуток времени между 1 и 2 обследованиями. Чем короче этот промежуток, тем больше шансов, что этот признак сохраняет уровень первого испытания. Целесообразно проводить повторное тестирование через короткий срок после тестирования. Вопрос о стабильности измеряемого свойства решается не всегда единообразно. Решение зависит от сущности диагностируемого признака. Если измеряемое свойство уже сформировано, то коэффициент должен быть не ниже 0,80.

Определение константности, т.е. относительная независимость результатов от личности экспериментатора. Так как методика разрабатывается для дальнейшего использования ее другими психодиагностами, необходимо определить в какой мере ее результаты поддаются влиянию личности экспериментатора. Коэффициент константности определяется путем корреляции результатов двух опытов, проводимых на одной и той же выборке, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.

Дата добавления: 2015-04-24