Надежность и валидность

Надежность и валидность — основные параметры определения качества информации, полученной в результате проведения эмпирического исследования. Под надежностью подразумевается определенная гарантия, что полученный результат правильно отражает изучаемую действительность. Валидностью (обоснованностью) информации называется подтверждение (доказательство), что исследовались (измерялись) именно те явления, которые социолог предполагал исследовать.

На качестве информации (надежности и валидности данных) сказываются особенности различных этапов эмпирического исследования (исходные теоретические предпосылки, качество инструментария, организация контроля работы интервьюеров и т.д.). Особую роль в обеспечении надежности и валидности данных играют особенности формирования выборки. В этом разделе мы остановимся на проблеме влияния особенностей выборочного подхода на надежность и валидность получаемой в результате исследования информации.

Надежность информации на этапе формирования выборки обеспечивается учетом случайных ошибок.

Случайные ошибки выборки неизбежны вследствие неоднородности исследуемого контингента. Качество исследования определяется способностью социолога вычислить величину случайной ошибки и учесть ее при распространении выводов, полученных на основе опроса части определенной группы людей, на всю ее совокупность.

Если бы все люди по всем своим характеристикам были совершенно идентичными, то достаточно было опросить одного человека для вывода, что именно так считают (или, по крайней мере, ответили бы) все остальные. Но социолог именно потому и проводит опрос, что предполагает у обследуемых людей разные точки зрения.

Характеристик, по которым люди различаются, очень много. Часть таких характеристик формализована и фиксируется в определенных документах (пол, возраст, образование, семейное положение, национальность, специальность, должность, заработная плата и т.д.). Другая, значительно большая часть характеристик (личностные особенности, отношение к различным социальным явлениям, мнения и т.п.) не формализована и не зафиксирована в каких-либо документах.

Систематизацией и обобщением формализованных характеристик населения занимается статистика (государственная и ведомственная). Исследование же социолога направлено на то, чтобы формализовать и систематизировать информацию о тех характеристиках людей, которые исследователю представляются наиболее важными с социальной точки зрения, но о них нет сведений в документальных источниках.

Фактически, каждый пункт анкеты является определенной характеристикой (признаком), и исследователь хочет установить, как и в какой степени люди различаются по этой характеристике. Другими словами, исследователь с самого начала исходит из принципа неоднородности обследуемого контингента.

Когда исследователь отбирает часть людей из их общей совокупности для обследования (чтобы по избранной части делать вывод обо всех), то в его выборку могут не попасть люди с какими-либо значениями исследуемых характеристик.

Менее вероятно, что в выборку попадут люди по какой-либо характеристике «нетипичные». Со статистической точки зрения это означает, что их удельный вес в общей совокупности невысок. Чем меньше удельный вес лиц с определенным значением характеристики в общей совокупности, тем меньше вероятность того, что они попадут в выборочное обследование.

Другой особенностью выборки является то, что в выборочную совокупность могут попасть лица со всеми возможными значениями характеристики, но в выборке они будут представлены не в той пропорции, которая характерна для общей совокупности. Например, в общей совокупности 13% лиц, имеющих высшее образование, а в выборку попадает 37%; или в общей совокупности 25% лиц, придерживающихся коммунистической ориентации, а в выборку попадет только 4% и т.п.

Если из общей совокупности отбирать некоторую ее часть случайным образом, то на основе теории вероятности можно определить величину, на которую может отклоняться значение признака в выборке по отношению к данному значению совокупности в целом. Эта величина называется случайной ошибкой или ошибкой выборки.

Величина случайной ошибки зависит от двух основных параметров: от объема выборки и степени изменчивости признака (однородности контингента по какой-либо характеристике).

Если исследователь хочет обеспечить представительство в выборке людей, которые по своим характеристикам нетипичны (не распространены в данной совокупности), он должен увеличивать объем выборки.

Таким образом, чем более однородный контингент подлежит обследованию и чем больше объем выборочной совокупности, тем меньше случайная ошибка выборки и, соответственно, выше надежность полученных в результате опроса данных.

Основным эмпирическим критерием надежности является устойчивость результатов, характеризующая свойство получать данные с одним и тем же результатом в разных опросах, проведенных в одинаковых условиях. Например, если бы исследователь повторил свой опрос по той же анкете, примерно в то же время и по аналогичной (по принципам, процедурам и объему) выборке, но на других людях, и получил такие же данные, как и в первом опросе, то можно считать, что результаты его опроса достаточно надежны.

Конечно, случайные ошибки, снижающие устойчивость данных, могут быть результатом и других особенностей исследования: инструментария или работы интервьюеров. Например, если в вопросах анкеты используются термины, совершенно не знакомые многим респондентам, и они будут скорее «угадывать» их значение, то их ответы в этом случае во многом будут лишь «случайной догадкой», и надежность данных по этому пункту анкеты будет снижена.

При тестировании на устойчивость исследователь может делать ориентировочные предположения — привели ли к снижению надежности погрешности выборки или погрешности инструментария: если данные неустойчивы по нескольким (определенным) пунктам анкеты, то, вероятно, к снижению надежности привели погрешности инструментария; если данные неустойчивы по всем пунктам анкеты, то искажение информации происходит скорее всего из-за случайных ошибок выборки. Чем больше объем выборки, тем в меньшей степени случайные ошибки сказываются на общем результате исследования, так как основное свойство случайных ошибок заключается в том, что они «погашают» друг друга.

Валидность (обоснованность) данных, как отмечалось выше, характеризует, в какой степени было измерено именно то, что предполагалось измерить. К снижению валидности могут привести не только ошибки инструментария (о чем шла речь в соответствующем разделе), но и погрешности выборки, в частности — систематическая ошибка или отклонение выборки. Например, если отбор респондентов будет производиться в районе расположения воинской части, то можно предположить, что в выборке военнослужащих может быть больше, чем это характерно для генеральной совокупности. При повторном исследовании данные могут быть достаточно устойчивыми, но как в первом, так и во втором случае результаты будут подвержены влиянию данного фактора в большей степени, чем его испытывает генеральная совокупность. То же, вернувшись к приведенному выше примеру, можно сказать и о таких местах опроса, как очередь (в рабочее время суток в очереди значительно больше представителей неработающих категорий населения, чем в структуре населения в целом) или остановка автобуса. Необоснованный выбор точек опроса чаще всего приводит именно к систематической ошибке.

Следует заметить, что надежность и валидность — довольно независимые друг от друга параметры, поэтому при оценке качества информации исследователь должен учитывать обе эти характеристики; данные могут быть валидны, но ненадежны, и наоборот, исследователь может получать достаточно устойчивые (надежные) результаты, но они не валидны по отношению к предмету анализа.

Наглядной иллюстрацией характеристик надежности и валидности, обеспечиваемых особенностями выборки, является аналогия с мишенью, которую приводят в своей работе американские авторы P.Alreck, R.Settle. На рисунке 1 представлены четыре типа результатов выстрелов по мишени. В качестве центра каждой мишени выступает среднее реальное значение некоторого признака (например, средняя заработная плата) изучаемой генеральной совокупности; точками на рисунке отмечены значения полученных результатов повторных исследований по подготовленным выборочным совокупностям.

Рис. 1. Иллюстрация надежности и валидности результатов

В квадрате А результаты сгущены вокруг центра (истинного значения измеряемого признака). При каждом повторном исследовании полученная по результатам опроса выборки величина незначительно отличается от истинного значения признака. В данном случае можно говорить о высокой надежности и валидности выборки. Чем меньше общая площадь рассеяния, тем меньше величина случайных ошибок и, соответственно, выше надежность. Чем ближе эти значения к истинному результату, тем выше валидность (обоснованность) данных (исследователь измерял именно то, что предполагал измерять).

В квадрате Б точки также группируются вокруг истинного значения, но результаты повторных измерений значительно отстоят друг от друга. В тех случаях, когда проводится только одно исследование (а чаще всего автор проводит одно исследование), результат, полученный на основе опроса выборочной совокупности, может быть достаточно отдален от истинного значения (из-за влияния случайных ошибок). На практике такой тип ошибок чаще всего возникает в случаях недостаточного объема выборки. Квадрат Б иллюстрирует результаты исследования, характеризующиеся высокой валидностью, но низкой надежностью.

В квадрате В представлены результаты, характеризующиеся высокой надежностью и низкой валидностью. Исследователь при повторных опросах будет получать достаточно схожие данные, но они не отражают истинную картину характеристики той совокупности, о которой делаются выводы. Например, делаются выводы о средней заработной плате всего населения, а опрашивались респонденты в магазине в рабочее время, когда там выше доля людей неработающих, доход которых в среднем значительно ниже, чем у населения в целом; или опрос проводится в районе какого-либо предприятия, средняя зарплата работников которого в среднем выше, чем у населения в целом, о котором исследователь делает выводы. Систематическая ошибка приводит к искаженному, но достаточно устойчивому результату.

И наконец, квадрат Г иллюстрирует результаты исследования с низкой валидностью и низкой надежностью: результаты исследования претерпевают влияние как случайных, так и систематических ошибок.

Чтобы избежать влияния случайных и систематических ошибок (или, по крайней мере, вычислить их величину и учесть ее при интерпретации результатов), необходимо знать основные характеристики генеральной совокупности, на которую исследователь будет распространять выводы, полученные в результате опроса выборочной совокупности.

В принципе, как остроумно заметил социолог В.Шляпентох: «В этом мире нет нерепрезентативных данных — надо только восстановить ту генеральную совокупность, которую эти данные представляют» (В.Шляпентох. Открывая Америку, 1989, с.74). Другими словами, результаты любого опроса позволяют получить определенную информацию; если исследователь достаточно корректно интерпретирует результаты опроса и делает выводы только относительно той части населения, которую репрезентирует его выборка.

Однако, когда перед социологом стоит достаточно конкретная цель, своей постановкой определяющая объект исследования, модель его выборки по своим основным параметрам должна соответствовать модели генеральной совокупности. Поэтому при формировании выборки он обязан исходить из поставленной цели.

Главная задача исследователя на этапе составления выборки правильно построить модель выборочной совокупности (так, чтобы по своей структуре она соответствовала генеральной совокупности), а на этапе интерпретации результатов — учесть все погрешности, которые были допущены при формировании выборки. Качество информации в конечном итоге определяется не отсутствием ошибок и погрешностей (избежать которых практически невозможно), а создаваемыми исследователем условиями, позволяющими учесть влияние этих ошибок на конечный результат. Более строго это положение формулирует В.Паниотто: «Надежной называют информацию, в которой, во-первых, учтенные ошибки не превышают некоторой заданной исследователем величины; во-вторых, отсутствуют неучтенные ошибки, т.е. ошибки, величину которых исследователь не в состоянии оценить» (Социологический справочник, 1990, с.140).

Решению проблемы учета ошибок построения выборки может помочь технологическая схема перехода от определения объекта исследования (анализировать который предполагает автор на основании данных эмпирического исследования) к определению выборочной совокупности (объема и способов отбора).

3. Переход от объекта исследования к единицам наблюдения (опроса)

Технологическая схема

Переход от объекта исследования к выборочной совокупности в конкретном социологическом исследовании целесообразно осуществлять по нижеприведенной схеме.

1. Объект исследования

2. Генеральная совокупность

3. Основа выборки

4. Единица отбора

5. Единица наблюдения

Объект исследования, генеральная совокупность, основа выборки и выборочная совокупность (совокупность единиц наблюдения) — взаимосвязанные категории, представляющие собой ступени конкретизации объекта исследования, позволяющие обоснованно определить степень репрезентативности выборочной совокупности к заявленному в проекте объекту исследования, с осознанием всех препятствий на пути от определения интересующего объекта исследования к эмпирической проверке. Осознанный и описанный переход от объекта исследования к единицам наблюдения позволяет автору проекта увидеть различные стороны ограниченности возможностей эмпирической проверки выдвинутых положений и гипотез, а также вынуждает исследователя быть более корректным в своих выводах, основанных на результатах опроса.

На первый взгляд может показаться, что подготовка такой схемы затрудняет работу исследователя, увеличивая объем его работы. Но на самом деле это не так. Если социолог принимает решение, кого же в конечном счете он будет опрашивать, с той или иной степенью осознанности всех своих логических шагов, он так или иначе проходит этот путь. Данная схема позволит ему пройти этот путь более рационально и компетентно, и, главное, своевременно — на этапе подготовки к исследованию. Тогда в процессе полевого этапа и этапа анализа данных ему не придется возвращаться к этим же вопросам.

Основная ошибка начинающих социологов заключается обычно в том, что они приступают к определению объема выборки и процедуры (типа выборки), не определив генеральную совокупность и не установив возможностей подготовки основы выборки. Поскольку без этих обойтись в исследовании невозможно, то неквалифицированный социолог, почувствовав собственную беспомощность, нередко берет за основу процедуру, с которой он ознакомился в каком-либо исследовании, где ему доводилось участвовать в качестве рядового исполнителя. Но даже в тех случаях, когда такой перенос допустим, при анализе и представлении полученных данных неквалифицированный социолог все равно проявит свою некомпетентность, поскольку он не понимает возможностей и лимитов, которые определяет данный тип выборки.

Для освоения процедуры подготовки, которая, напомним, является основой оценивания качества выборки и, в конечном итоге, качества информации, определим все вышеуказанные категории («Объект исследования», «Генеральная совокупность», «Основа выборки», «Выборочная совокупность», «Единица отбора», «Единица наблюдения»), являющиеся последовательными ступенями формирования выборочной совокупности; охарактеризуем их взаимосвязь и разберем особенности перехода со ступени на ступень.

Дата добавления: 2014-12-27