Экспертный метод

Вернуться

Развитие сертификации в ближайшей перспективе

Вернуться

В ближайшей перспективе сертификация будет развиваться по следующим направлениям:

1. Гармонизация отечественных правил с международными и региональными правилами.

2. Совершенствование методов сертификации, в частности совершенствование схем сертификации.

3. Обеспечение обратной связи в деятельности по сертификации.

4. Совершенствование инфраструктуры сертификации.

5. Приближение сертификации импортируемой продукции к местонахождению изготовителей и поставщиков.

6. Расширение участия России в международных системах сертификации и международная аккредитация отечественных ИЛ и сертификационных центров.

7. Расширение практики сертификации систем качества.

В квалиметрии экспертный метод применяется: 1) для измерения "показателей качества; 2) для определения значений весовых ко­эффициентов. Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении фи­зических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государствен­ном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на стро­гую научную основу.

Независимо от целей и задач применение экспертного метода. Предполагает соблюдение следующих условий:

· экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объектив­ные методы;

· в работе экспертной комиссии не должно быть факторов, кото­рые могли бы влиять на искренность сужденийэкспертов; мнения экспертов должны быть независимыми;

· вопросы, поставленные перед экспертами, не должны допускать различного толкования;

· эксперты должны быть компетентны врешаемых вопросах;

· количество экспертов должно быть оптимальным;

· ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Качественный состав экспертной комиссии — важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотны­ми, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами.Весьма полезным является их специальное предварительное образование и совершенно необходимым — инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их на­дежности и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (по не экспертам) ответами.На основа­нии результатов тестирования устанавливается компетентность и профпригодность экспертов.

Самооценка экспертов состоит в ответе каждым из них в стро­го ограниченное время на вопросы специально составленной анке­ты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дает­ся каждым экспертом по балльной системе. При всей субъектив­ности такой оценки опыт показывает, что экспертные группы с вы­сокими показателями самооценки экспертов ошибаются в меньшей степени.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.

При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать по­казатель или степень надежности -— отношение числа случаев, ког­да мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большо­го объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.

Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. В частности, однократное измерение экспертным методом требует ис­пользования большого объема априорной информации. При визуа­льной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей каче­ства — его художественный вкус и т. д. Многократное измерении одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с по­следующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспер­тами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в каче­стве случайных и нивелируются при усреднении по множеству. От­счет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу «трех сигм» легко обнаруживаются и устраняются ошибочные. Ес­ли отсчет подчиняется нормальному закону распределения вероят­ности, то его среднее арифметическое при количестве экспертов >30...40 тоже подчиняется нормальному закону, а при мень­шем их числе — закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показа­теля качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по гра­фикам.

При подборе экспертов большое внимание уделяется согласо­ванности их мнений, которая характеризуется смещенной или не­смещенной оценкой дисперсии отсчета. С этой целью на этапе фор­мирования экспертной группы проводятся контрольные изме­рения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т. е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае 'принимается так называе­мый коэффициент конкордации:

W = ;

где S —сумма квадратов отклонений суммы рангов каждого объек­та экспертизы от среднего арифметического рангов; п — число экс­пертов; т — число объектов экспертизы. В зависимости от степе­ни согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованнос­ти) до 1 (при полном единодушии).

Если степень согласованности мнений экспертов оказывается удовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы. Характерными чертами этого метода являются:

· анонимность; эксперты не встречаются друг с другом, чтобы из­бежать влияния авторитета и красноречия кого-либо из них;

· многоэтапность; после каждого тура опроса все эксперты знакомятся с мнениями друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения.

· контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

При особо ответственных измерениях экспертным методом мо­гут учитываться весовые коэффициенты квалификации экспертов.

Количество экспертов тоже играет важную роль. С ростом чис­ла экспертов в группе точность измерения повышается. Это фунда­ментальное свойство любого многократного измерения определено выражением (15). Чтобы воспользоваться им для определения чис­ленности экспертной группы п, обеспечивающей заданную точ­ность измерения, нужно опять-таки в подготовительный период установить закон распределе­ния вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение σ_х. не зависящие от п.

Исходная численность экспертной группы составляет обычно не ме­нее 7 человек. В отдель­ных случаях она достигает 15…20 экспертов, (массовый опрос проводится, как правило, только при социологических исследова­ниях). Если в подготовительный период σ_х не определено, то дос­тижение требуемой точности за счет расширения экспертной груп­пы достигается уже в процессе измерения экспортным методом.

В некоторых случаях требуется обеспечить максимально воз­можную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором различие между средними арифметиче­скими и оценками дисперсий результатов измерений при п и п+1 экспертах перестает быть значимым.

По тому, в какой форме эксперты выражают свое мнение, т. е. по способу проведения экспертизы, различают:

· непосредственное измерение;

· ранжирование;

· сопоставление.

При непосредственных измерениях экспертным методом значе­ния физических величин или показателей качества определяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива н т. д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале ин­тервалов.

По реперным шкалам интервалов измеряется в баллах сила морского волнения, сила землетрясений и т. п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае нз соотношения баллов нельзя делать каких-либо количественных выводов.

Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требований.

Ранжирование состоит в расстановке объектов измерения или показателей в порядке их предпочтения, по важности или весомо­сти. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель

Сопоставление бывает последовательным и попарным.

Последовательное сопоставление каждого объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откор­ректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как одни составной объект той же природы. Порядок последовательного со­поставления следующий..

1. Объекты экспертизы располагаются в порядке их предпочте­ния (ранжирование).

2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный. 1; всем остальным в порядке уменьшения их относительной значимости — баллы или весовые коэффициенты от 1 до 0.

3. Сопоставляется первый объект с совокупностью всех осталь­ных. Если, по мнению эксперта он предпочтительнее, чем совокуп­ность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону уве­личения с таким расчетом, чтобы он стал больше (иногда опреде­ляют и на сколько больше) суммы баллов или весовых коэффици­ентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.

4. Сопоставляется второй объект с совокупностью всех осталь­ных, стоящих ниже рангом. По установленному выше правилу кор­ректируется результат его измерения или значение весового коэффи­циента (при этом нужно следить, чтобы не нарушилось предпочте­ние первого объекта перед совокупностью всех остальных, если оно установлено па предыдущем этапе). Такая процедура сопос­тавлений и корректировок продолжается вплоть до предпоследне­го объекта.

5. Полученные результаты измерений, или весовые коэффици­енты нормируют, т. е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Попарное сопоставление, самое простое и наиболее оправданное с психологической точки зрения. При по­парном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается' указанием номера предпочтительного объекта Опыт попарного сопоставления показывает, что в силу особенностей человеческой психики эксперты иногда бессозна­тельно отдают предпочтение не тому объекту в очередной рассмат­риваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть табли­цы и проводят попарное сопоставление дважды (например, снача­ла первого объекта со вторым, третьим, четвертым, и т. д., затем второго с первым, третьим, четвертым,... и так до последнего, а потом в обратном порядке: последнего с предпоследним,... и до первого, предпоследнего с последним, предыдущим... и вновь до первого. Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого вре­мени. При таком сопоставлении, называемым полным, удается иногда избежать случайных ошибок, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двой­ное попарное сопоставление обладает более высокой надежностью, чем однократное.

Дата добавления: 2014-12-29