Требования к методике педагогического исследования 3 страница

Причиной нерепрезентативности исследования могут быть, наконец, ошибки при его планировании. Например, вы хотите изучить вопрос о том, какую помощь оказывают учащиеся роди­телям в работе по дому. Для этого вы решили опросить родите­лей. Можете ли вы быть уверены, что получите репрезентатив­ную информацию? Не повлияет ли на результаты обследования стремление родителей "приукрасить" своих детей и положение дел в семье? Иначе говоря, удастся ли вам посредством анкетиро­вания измерить именно то качество детей, которое заявлено в це­лях исследования?

Существуют некоторые способы уменьшения вероятности получения нерепрезентативных результатов. Одним из таких способов является рандомизация выборки испытуемых. Суть рандомизации состоит в том, чтобы исключить влияние осо­бенностей отдельных испытуемых на результаты исследова­ния. Например, вы пришли в школу для того, чтобы проверить уровень знаний учащихся по какой-либо теме. И попросили учителя определить группу учащихся, с которыми проведете тестирование. Понятно, что учитель скорее всего включит в группу успевающих детей (особенно, если вы представитель ГорОНО и т. п.). Можно ли будет по результатам тестирова­ния этой группы детей судить о всем класса? Конечно, нет. Но если вы выберите такую же по объему группу детей случайным образом (например, путем жребия - кому тестироваться, а кому - нет), то группа будет репрезентативной, при этом, с какой долей уверенности по результатам ее тестирования су­дить о положении дел в классе вы должны будете определить по статистическим таблицам.

Далее другая задача. Например, успеваемость в одной шко­ле составила 93,5%, а в другой 93%. Является ли данное разли­чие репрезентативным относительно того, как поставлена учеб­ная работа в этих шкрЛах? Можно ли сказать, что в первой шко­ле дела обстоят действительно лучше, чем во второй? Различия в статистических показателях (которыми являются и процен­ты), при которых с той или иной долей уверенности может быть принято решение о различиях между выборками обследуемых

лиц (например, школ), также может быть установлено из стати­стических таблиц.

В целом, с проблемой репрезентативности (например, тех по­казателей работы учителя, школы, на основании которых дела­ются заключения инспекторами органов образования, админис­трацией и пр.) учителя имеют дело постоянно в своей повседнев­ной работе и даже поэтому, безотносительно к науке, им не ме­шало бы иметь представления о том, как следует делать такие выводы.

Третье понятие, с которым необходимо ознакомиться преж­де, чем приступаешь к планированию исследовательской рабо­ты - понятие валидности.

Различают внутреннюю, внешнюю (и ее подвид - экологи­ческую) и конструктную валидность. Раскроем эти понятия.

Под внутренней валидностью понимается достоверность того решения, которое принимается относительно гипотезы в результате исследования. Одним из факторов, нарушающих валидность, является фактор фона. Речь идет о том, что на ре­зультаты исследования могут оказать влияние какие-либо со­бытия, которые не учитывались исследователем, а он может приписать эти результаты тем воздействиям, которые оказы­вал целенаправленно. Например, один английский журнал в годы второй мировой войны проводил исследование методов политической пропаганды на страницах печати. Объектом была выбрана антифашистская пропаганда. Исследование спланировали следующим образом. Среди подписчиков журна­ла сначала распространили анкету, по результатам которой можно было судить об отношениях читателей к фашистской Германии. Результат исследования превзошел все ожидания. Огромная масса подписчиков за время между двумя анкетиро­ваниями резко изменила свое отношение к фашизму. Успех, ес­тественно, был приписан разработанной методике пропаганди­стской работы. Однако вскоре оказалось, что в то же самое время аналогичный перелом наступил в умонастроениях мно­гих англичан, хотя они и не читали данного журнала. В чем же дело? Дело, как оказалось, состояло в том, что в период прово-

димого журналом обследования Германия напала на Францию (которая была союзником Англии). Перелом в умонастроениях англичан (включая и подписчиков журнала) произошел именно по этой причине. Методика пропагандистской работы была здесь ни при чем. Таким образом, из исследования были сдела­ны неверные выводы по той причине, что исследователи не учли фактора, который оказал влияние на результаты опыта, но не контролировался исследователями. Все события, проис­ходящие во время исследования и могущие оказать влияние на его результат, обозначаются термином фактор фола. К приме­ру, вы разработали какие-либо приемы нравственного воспи­тания и хотите апробировать их в исследовании. С помощью анкетирования "до" и "после" проведения соответствующих воспитательных дел вы определяете тот сдвиг, который про­изошел в сознании, поведении детей и приписываете его прове­денной вами работе. Но так ли это? Быть может в этот период по телевидению демонстрировался яркий фильм с нравствен­ной направленностью? Тысячи "может быть". Понятно, что если исследователь хочет делать достоверные выводы, он дол­жен как-то контролировать факторы, нарушающие внутрен­нюю валидность. Способы контроля за этими факторами полу­чили название исследовательских схем. Существует множе­ство факторов, нарушающих внутреннюю валидность и, соот­ветственно, разработаны разнообразные и подчас очень слож­ные исследовательские схемы. Мы остановимся на нескольких наиболее простых.

Достаточно надежной и позволяющей контролировать це­лый ряд факторов является схема исследования с конт­рольной группой. Для представления схемы введем следую­щие обозначения:

- символ Т будет обозначать процедуру тестирования (шире, любого измерения интересующего нас признака);

- символ X будет обозначать оказываемое нами воздей­ствие на испытуемых (или другой обследуемый объект, напри-Мер, школу);

- записывая Т1, Т2, ТЗ мы будем иметь в виду первое, второе, третье тестирование.

Теперь запишем с помощью этих символов схему исследова­ния с контрольной группой.

Т1 -Х-ТЗ

Т2 -... - Т4

Данная запись читается следующим образом. Испытуемые делятся на две группы (об этом свидетельствует наличие двух строк). В первой группе проводится тестирование (Т1). Сразу следом, а лучше одновременно, проводится тестирование во второй группе (Т2). После этого на первую группу оказывает­ся некоторое воздействие, эффекты которого мы желаем изу­чить (X). Вторая же группа в это время предоставлена самой себе и на нее воздействия не оказывается. Затем последова­тельно, а лучше одновременно, тестированию вновь подвер­гаются обе группы испытуемых. Сравниваются результаты Т1-ТЗ и Т2-Т4. Понятно, что эта схема позволяет контролиро­вать фактор фона. Если в период обследования произошло ка­кое-либо событие, оно окажет влияние на результаты тестиро­вания обоих групп. Эта схема позволяет контролировать фак­тор естественного развития. Например, мы полагаем, что не­которые формы работы должны благоприятно отразиться на речевом развитии детей. Для этого мы измеряем уровень рече­вого развития '"до" того, как будут использованы эти формы работы и "после" того, как они будут апробированы в школь­ной практике. Промежуток времени между первым и вторым тестированием может быть весьма значительным (например, год). Понятно, что за это время в речевом развитии детей мо­гут произойти сдвиги, никак не связанные с нашей методикой (естественное речевое развитие). При условии, что мы будем производить тестирование не только в экспериментальной, но и в контрольной группах, мы сможем контролировать явления естественного развития.

Рассмотренная выше исследовательская схема является са­мой простой из позволяющих получать валидные результаты. Однако, у нее есть недостатки. Предположим, что вы заняты

сравнением некоторой новой методики обучения с традицион­ной. Для этого вы взяли два класса, в одном из которых исполь­зуется новая методика обучения (экспериментальная группа), а _в другом - традиционная (контрольная группа). Можете ли вы утверждать, что выводы из этого исследования будут обосно­ванными? Нет. Результаты тестирования каждого из классов могут быть обусловлены причинами, которые вы в данном слу­чае не контролируете. Например, в классах работают разные учителя, один из которых может сильнее другого. Или, у уча­щихся этих классов различное отношение к учебе. Иначе говоря, сравнение данных групп может быть непоказательным в силу того, что эти группы отличаются друг от друга какими-либо существенными признаками (мы знаем уже, что различия между испытуемыми являются одной из причин нерепрезентативности исследования). Чтобы снять влияние этого фактора, как уже го­ворилось, мы должны предварительно осуществить рандомиза­цию групп, т. е. уравнять их. Например, в некоторых случаях для проведения исследования лучше взять один класс, разделив его случайным образом (жребием) на две группы (если мы не воспользуемся жребием, а предоставим детям самим право вы­бирать себе группу, мы опять получим неравные группы, так как выбирая группу дети неизбежно будут ориентироваться на какие-либо различия между ними). Однако, не всегда удобно разбивать класс на группы. Тогда приходится проводить иссле­дования одновременно в ряде классов, разбив на две группы эти классы (в одних классах используется традиционная методика, в других - экспериментальная). Понятно, что группы классов должны быть рандомизированы. Если, например, одна группа будет представлена группами города, а другая - классами сель­ских школ, то вряд ли вы получите репрезентативный материал.

Обозначим рандомизацию символом Я. Теперь исследова­тельская схема выглядит так:

Я Т1-Х-ТЗ

Я Т2-:..-Т4

Данная схема в сравнении с предыдущей позволяет суще­ственно повысить валидность исследования.

В ряде случаев возможно применение более простой схемы:

Я Х-Т1

Я...-Т2

Эта исследовательская схема характеризуется тем, что здесь не проводится предварительного тестирования. Например, если мы изучаем формирование навыков, которые заведомо не могут иметься у детей до обучения (пусть речь идет о каллигра­фических навыках в первом классе). Эту схему можно использо­вать и в других случаях. Ведь часто достаточно сравнить между собой результаты экспериментальной и контрольной групп, что­бы сделать выводы. Если мы уверены, что до начала экспери­мента эти группы не отличались друг от друга, такую уверен­ность дает нам рандомизация.

Кроме указанных исследовательских схем существуют так называемые доэкспериментальные схемы, они называются так потому, что не обеспечивают должного уровня валидности, хотя и могут применяться в ряде случаев. Это схемы:

Т1-Х-Т2

Х-Т1

... -Т2

Первая из этих схем может быть использована тогда, когда мы уверены, что факторы фона и естественного развития не мо­гут оказать влияния на результат исследования. Например, ма­ловероятно, чтобы уровень математических знаний детей изме­нился сам собою в течение месяца (или изменился бы под влия­ние каких-либо нецеленаправленно действующих факторов, т. е. помимо обучения). Вторая схема может быть использована в тех случаях, когда мы уверены, что имеем дело с равными по существенным для нашего исследования признаком группами. Вообще же говоря, использование этой схемы нежелательно, так как такой уверенности обычно быть не может.

В заключение пример совершенно недопустимой схемы:

Х-Т1

Эта схема не удовлетворяет требованием внутренней валид­ности и не позволяет сделать какие-либо выводы из результатов исследования. К сожалению, она тем не менее нередко использу-

_ется в исследованиях, претендующих на научность. В данном случае результаты наблюдений (Т) просто не с чем сравнивать и поэтому нельзя говорить что работа или воздействие (X) имело какой-либо эффект. В дальнейшем мы будем говорить о планах доэкспериментальных (пилотажных) исследований, где пробле­ма валидности стоит несколько иначе.

Теперь рассмотрим понятие внешней валидности. О внешней валидности говорят в двух смыслах. Во-первых, имеют в виду то, что в какой мере по результатам исследования можно су­дить об изучаемом явлении в естественных жизненных условиях (экологическая валидность). Например, в условиях лабораторного эксперимента исследователь обнаружил, что существует опреде­ленная зависимость между уровнем отрицательной мотивации дея­тельности и эффективностью этой деятельности (так называемый закон Йеркса-Додсона; суть его в том, что для деятельностей раз­личного уровня трудности существуют свои оптимумы мотива­ции страха: чем труднее деятельность, тем ниже оптимальный уро­вень мотивации; при слабой и при сильной мотивации эффектив­ность деятельности снижается). Будет ли эта закономерность, об­наруженная в лабораторных условиях, проявляться в естествен­ных условиях в обычной жизни? И, даже если будет, окажутся ли обнаруженные экспериментально оптимумы мотивации в есте­ственных условиях теми же? Это проблемы экологической валид­ности. Дело в том, что экспериментируя, мы ставим человека в ис­кусственные и, часто, необычные обстоятельства (это необходимо для достижения внутренней валидности: мы должны исключить действие всякого рода побочных факторов, которых всегда много в обычных жизненных ситуациях). В этих искусственных обстоя­тельствах могут модулироваться, усиливаться или, даже, просто устанавливаться зависимости между определенными переменны­ми, которые в естественных условиях маскируются действием ка­ких-либо факторов или; даже, блокируются. Поскольку в педагоги­ческих исследованиях нас интересуют не абстрактные закономер­ности, но те, которым подчиняются реальные процессы воспитания и обучения, постольку результаты наших исследований (особенно лабораторных) могут вовсе не иметь отношения к реальной педа-

готике. Например, можно создать условия, при которых обучение окажется зависящим от роста: усаживая детей за такие парты, что только самые низкорослые из них смогут комфортно чувствовать себя на уроке. Но какое отношение это имеет к практике школы? Может показаться, что приведенный пример относится к области анекдотов. К сожалению, это не так. Мы часто создаем условия, при которых устанавливаются закономерности, не имеющие отно­шения к реальной жизни. В методике, к примеру, очень широко рас­пространено убеждение, что ребенок не должен видеть образцов выполнения учебных заданий, содержащих ошибки. Этому положе­нию слепо следовали методисты до тех пор, пока Ш. А. Амонашвн-ли не стал включать задания с ошибками в работу с детьми. Педа­гоги сформулировали это положение, исходя из результатов опыта психологов-ассоцианистов, которые, в силу своих теоретических установок, весьма своеобразно ставили эксперименты по изуче­нию памяти. Они, например, предпочитали предъявлять испытуе­мым для запоминания бессмысленные слоги, а не осмысленный ма­териал, так как справедливо считали, что законы ассоциаций иска­жаются или маскируются при работе с осмысленным материалом, они не изучали зависимости процессов памяти от той деятельнос­ти, в ходе которой осуществляется запоминание материала (так как понимали, что законы ассоциаций в "чистом" виде при таких условиях выявить невозможно). Иначе говоря, ассоцианисты хоте­ли описать некоторые чистые отвлеченные законы душевной жиз­ни, которые можно установить лишь в том случае, если абстраги­руешься от тех реальных обстоятельств, в которых совершается душевная жизнь (подобно тому, как, например, Ньютон установил закон, согласно которому тело, на которое не действуют силы, на­ходится в состоянии покоя или равномерного движения; легко заме­тить, что в действительности таких тел нет и наблюдать действие этого закона невозможно). Такого типа законы душевной жизни хо­тели найти ассоцианисты и поэтому, в основу их экспериментиро­вания было положено абстрагирование от массы жизненных обсто­ятельств, привходящих условий, наконец, от реальной жизни. Ме­ханическое перенесение установленных ими законов в условиях реальной деятельности и общения, поэтому, невозможно. Но

именно результатом такого механического перенесения стало то распространенное в методике заблуждение, о котором речь шла

выш^е [1> 17; 18; 35].

Во-вторых, о внешней валидности говорят, характеризуя возможность обобщения полученных в исследовании результа­тов. Например, вы изучали мотивы учения детей класса. Можете ли вы утверждать, что обнаруженное вами распределение моти­вов позволяет судить о том, как представлены те или иные моти­вы у учащихся других классов? Вы хотите получить сведения о мотивах учения младших школьников (имея в виду младших школьников всей страны). Как вам построить исследование? Если вы протестируете младших школьников одной школы, позволит ли это вам судить о том, как обстоит дело по стране в целом? Конечно, лучше всего было бы обследовать всех младших школь­ников России, но это невозможно. Где же тогда гарантия того, что по результатам обследования, проведенного в Новосибирске, можно судить о школьниках, скажем, в Сыктывкаре? Почему в диссертациях, которые пишутся в Москве или Санкт-Петербур­ге, выводы имеют обобщенный характер, почему исследователь уверен, что по результатам своего исследования он может ска­зать кое-что и о новосибирских ребятах, которых он никогда в глаза не видел, а он уверен, так как на основании своей диссерта­ции он пишет потом методические рекомендации, которые адре­суются не только москвичам, но и учителям Новосибирска, Якут­ска и даже, какого-нибудь поселка на Чукотке?

Проблема обобщения результатов исследования имеет пря­мое отношение к одной из основных стратегий педагогического исследования - так называемому обобщению передового опыта, под которым часто понимается перенос его в новые школы, а значит - обстоятельства без учета требований внешней валид­ности. Нередко это происходит с опытом учителей-новаторов: пытаясь копировать од методы работы, коллеги обнаруживают, что у них ничего не получается и разочаровываются в опыте.

Как же решается проблема обобщения? Суть здесь в том, что сам по себе опыт, как бы пи был on обширен, не предоставляет "ам гарантий того, что выводы, сделанные па его основании,

Дата добавления: 2014-12-07