Критерии успешности исследовательского процесса

Критерий — мерило оценки, суждения [50]. Поэтому, приступая к опытно-экспериментальной части исследования, необходимо самым серьезным образом подойти к подбору критериев оценки полезности предполагаемых педагогических инноваций. Критерии должны быть:

- объективными и позволять оценивать исследуемый признак однозначно, не допускать спорных оценок разными людьми;

- адекватными и валидными, т.е. оценивать именно то, что исследователь хочет оценить;

- нейтральными по отношению к исследуемым явлениям [53].

Совокупность критериев с достаточной полнотой должна охватывать все существенные характеристики исследуемого явления, процесса, объекта и т.д. Для многих педагогических исследований этот момент оставляет желать лучшего.

Критерии могут быть условно разделены на:

- критерии результативности усвоения содержательной учебной информации (коэффициент уровня усвоения, интенсивность процесса обучения, коэффициент сложности задания и др.);

- критерии психологического направления (уровень работоспособности обучающегося, внимание, память (кривая забывания Эббингауза), мышление, уровни сформированности коммуникативной компетентности и др.).

Требования ВАК РФ, предъявляемые к подбору критериев, — они должны не только измерять, ту или иную величину, но и показывать, какое влияние они оказывают на развитие обучающегося, какие личностные качества формируют и т.д.

Критерии оценки педагогических явлений могут быть качественными и количественными. Они дополняют друг друга. Исследователь в процессе изыскания не ограничивается только качественными критериями, а стремится применять в целях объективности получаемых результатов какие-то количественные критерии оценки, используя тем самым определенные величины.

Понятие «величина» определяется следующим образом: величина есть мера множества, относительно элементов которого имеют смысл утверждения — больше, меньше, равно. Естественно, не на всяких множествах может быть задана величина, мера. Величина задается той или иной шкалой измерений, оценки.

Шкала измерения — это числовая система, в которой отношения между различными свойствами изучаемых явлений, процессов переведены в свойства того или иного числового ряда. Шкала измерений делится на четыре основных класса:

1. Шкала отношений. Позволяет оценивать во сколько раз измеряемый объект больше (меньше) другого объекта, принимаемого за эталон, единицу. Одновременно здесь возможно и сравнение: во сколько раз один объект больше (меньше) другого. В педагогических измерениях эта шкала может быть применена при измерении времени выполнения того или иного задания, количество ошибок или количество правильно решенных задач. На шкалы отношений распространяется весь основной аппарат математической статистики. Здесь не возникает никаких проблем с обоснованием достоверности различий между контрольными и экспериментальными группами, классами.

2. Шкала интервалов. В педагогических исследованиях можно применять дихотомическую шкалу, которая содержит только два значения «да — нет, лучше — хуже» и т.д. В такой шкале имеется только один интервал деления 0–1 или «плюс — минус» и т.д. Поэтому её можно рассматривать как предельный случай интервальной равномерной шкалы — просто «равномерность» не с чем сравнивать.

3. Шкала порядка, или шкала рангов. Это шкала, относительно значений которой уже нельзя говорить о том, ни во сколько раз измеряемая величина одного объекта больше (меньше) другого, ни на сколько она больше (меньше). Такая шкала только упорядочивает расположение объектов, приписывая им те или иные ранги. Шкалы порядка широко применяются в педагогике, психологии и других науках. В частности, повсеместно распространенная шкала школьных отметок в баллах (пятибалльная, двенадцатибалльная и т.д.) условно может быть отнесена к шкале порядка.

4. Шкала наименований. Используется с целью отличить один объект от другого: номера автомобилей, телефонов и др.

Используя шкалы, можно определить личностные качества обучающегося (см. рис. 11).

Качество	Степень качества
Отношение к учебе
Упорство в работе
Готовность к сотрудничеству
Аккуратность в одежде
Спортивность
Самооценка

Рис. 11. Шкала определения характера обучающегося

В педагогических исследованиях широко применяется математическая статистика. Ее использование вызвано необходимостью установления достоверности различий между результатами обучения, каких-то воспитательных воздействий в контрольных и экспериментальных группах, классах и т.п.

Применительно к вышеперечисленным шкалам измерений приведем рекомендации:

1. Если использована шкала отношений или интервалов и если применяются точно объективно измеряемые оценки, то для проверки статистической достоверности разности двух средних показателей (среднее значение по одной и по другой группе) применяются t — критерий Стьюдента или F — критерий Фишера. При этом если количество данных в каждой группе велико (сотни) — можно быть практически уверенным, что эти данные будут распределены по нормальному закону (распределение Гаусса). Если выборки малы (десятки) — необходимо убедиться в том, что распределение близко к нормальному, то для этого нужно сопоставить значение среднего, моды и медианы. Если среднее, мода и медиана приблизительно совпадают, то распределение можно считать нормальным и можно применять t — критерий Стьюдента или F — критерий Фишера.

2. Если при использовании шкалы отношений данные выборок распределены не по нормальному, а по какому-либо иному закону распределения применяется менее чувствительный метод Хи — квадрат.

3. Если была использована шкала порядка, то могут быть использованы только параметрические критерии: критерий знаков; критерий Уилкоксона-Манна-Уитни; критерий Колмогорова и др. При использовании этих критериев для определения достоверности различий по ним необходимы большие объемы выборок.

Соответствующие формулы и таблицы для оценки достоверности различий достаточно просты. Они приводятся во всех пособиях по математической статистике.

Обычно в педагогических исследованиях принимается достаточным 95 % уровень достоверности различий.

Для переработки информации с целью измерения свойства объекта Б.Битинас в работе [8] предлагает следующее:

- принять некоторые теоретические положения измеряемого объекта и разработать соответствующие показатели;

- разработать методики сбора информации о проявлении данного свойства у каждого испытуемого;

- определить нормы первичной оценки по некоторой системе ранговых баллов; составить матрицы описаний (ранговые оценки или протоколы наблюдений) (см. рис. 12, 13).

№ п/п обучающегося	Оценки (баллы) за выполнение творческих задач	При этом: 2 — задание выполнено полностью; 1 — задание выполнено частично; 0 — задание не выполнено
…
N

Рис. 12. Таблица ранговых оценок

Признак измерения Объект измерения
…….
N

Рис. 13. Протокол наблюдений

В этом случае признаку необходимо дать операциональное определение и протокол будет выглядеть следующим образом (см. рис. 14).

Результаты экспериментального обучения обучающихся по выявлению проблем и постановке проблемных вопросов
№ п/п обучающегося	Проблема выявлена	Сформулирован проблемный вопрос	Выполнены все задания	Выполняет все задания во всех вариантах
…
n

Рис. 14. Протокол по выявлению проблем при постановке проблемных вопросов

Полученные в ходе педагогического эксперимента данные подвергаются качественной и количественной обработке (см. рис. 15).

Подробнее об этом написано в работах следующих авторов: В.П.Беспалько. Слагаемые педагогической технологии. — М.: Педагогика, 1989. — 192 с.; Савельев А.Я., Новиков В.А., Лобанов Ю.И. Подготовка информации для автоматизированных обучающих систем: Метод. пособие для преподавателей и студентов вузов / Под ред. А.Я.Савельева. — М.: Высш. шк., 1986. — 176 с.; Нетрадиционные способы оценки качества знаний школьников. Психолого-педагогический аспект: Сб. науч. тр. / Под ред. Е.Д.Божович. — М.: Новая шк.,!996. — 96 с.; Новиков А.М. Научно-экспериментальная работа в образовательном учреждении. (деловые советы). — М.: Изд-во Ассоциация «Профессиональное образование», 1998. — 136 с.; Воднев В.Т., Наумович А.Ф., Наумович Н.Ф. Основные математические формулы: Справочник / Под ред. Ю.С.Богданова. — 2-е изд., перераб. и доп. — Мн.: Высш. шк., 1988. — 269 с.; Кыверялг А.А. Методы исследований в профессиональной педагогике. — Таллинн: Валгу, 1980. — 334 с.; Сидоренко Е. Методы математической обработки в психологии. — СПб.: ООО «Речь», 2004. — 350 с.; Волков Б.С., Волкова Н.В., Губанов А.В. Методология и методы психологического исследования / Науч. ред. Б.С.Волков: Учеб. пособие для вузов. — 4-е изд., испр. и доп. — М.: Академический Проект; Фонд «Мир», 2005. — 352 с.

Рис. 15. Формулы для оценки эффективности процесса обучения

4.3. Взаимосвязь основных методологических
характеристик исследования

Для проверки корректности построения методологического аппарата исследования существуют различные приемы. Например, в работе [77] диссертанту предлагается провести сопоставительный анализ методологического аппарата с использованием таблицы, представленной на рис. 16.

В колонках рис. 16 (по вертикали) записываются компоненты проблемы и гипотезы, содержательная часть задач исследования и так же попунктно положения, выносимые на защиту.

Разделы проблемы исследования	Пункты гипотезы	Содержательная часть задач исследования	Положения, выносимые на защиту
1.	1.	1.	1.
2.	2.	2.	2.
…	…	…	…
N	N	N	N

Рис. 16. Сопоставительный анализ методологического аппарата

Если исследование проведено корректно, то между отдельными логическими фрагментами имеется жесткая корреляция «по горизонтали»: каждой подпроблеме (обозначены в таблице от «1 до N») соответствуют раздел гипотезы, отдельная задача исследования, и соответствующий пункт основных положений, выносимых на защиту.

Если же между указанными логическими «пунктами» таблицы не наблюдается структурного соответствия и смысловой корреляции «по горизонтали», то это означает, что работа выполнена с ошибками или её результаты осмыслены недостаточно полно. В любом случае необходимо проводить корректировку исходных позиций и, возможно, всей работы.

А.М.Новиков предлагает лист бумаги разграфить на столбцы и написать в каждом столбце: тему исследования, готовый текст каждого раздела «аппарата», отдельным столбцом — название глав и параграфов, «выводы исследования» и сопоставить их между собой. Например, Вы смотрите «гипотезу исследования» и проверяете как она соответствует теме диссертации, сформулированным противоречиям, проблеме, цели, объекту, предмету, задачам и т.д., вплоть до выводов. И так каждый столбец тщательно сопоставляется со всеми остальными. При этом разделы «На защиту выносится», «Новизна исследования» и «Выводы» могут быть содержательно несколько полнее гипотезы и задач, насыщаться какими-то конкретностями, не нарушая общей логики работы. Но обратного явления ни в коем случае быть не должно: то, что содержится в гипотезе, не может быть отражено, например, в выводах [55].

Для того, чтобы проверить правильно ли определены основные характеристики изыскания исследователь должен ответить себе на следующие вопросы:

Актуальность	Почему данную проблему нужно в настоящее время изучать?
Проблема	Что надо изучить из того, что ранее не было изучено?
Тема	Как это назвать?
Объект исследования	Что рассматривается?
Предмет исследования	Как рассматривается объект, какие новые отношения, свойства, аспекты, функции раскрывает данное исследование?
Цель	Какой результат намерен исследователь получить? Каким он его видит?
Задачи	Что нужно сделать, чтобы цель была достигнута?
Гипотеза и защищаемые положения	Что не очевидно в объекте изыскания, что исследователь видит в нем такого, чего не замечают другие?

Существуют и другие подходы к проверке правильности и логичности построения методологического аппарата изыскания.

Состав методологического аппарата зависит от того, какой вид изыскания выполняется. В приложении 10 приведен состав методологического аппарата различных видов изыскания.

Дата добавления: 2014-10-22