Обработка результатов опроса

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информация, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Как отмечалось, все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т.е. необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения измерения, близких к истинным. Каждый эксперт высказывает суждение, которое незначительно отклоняется от истинного, вследствие наличия субъективного мнения. Для группы экспертов суждения концентрируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Ко второму классу относятся проблемы, для решения которых еще накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинный. Очевидно, что применение методов осреднения результатов группой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принцип осреднения. а не методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, в дальнейшем будут рассмотрены методы обработки результатов экспертизы для проблем этого касса.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

– построение обобщенной оценки объектов (групповой оценки) на основе индивидуальных оценок экспертов;

– построение обобщенной оценки на основе парного сравнения объектов каждым экспертам;

– определение относительных весов объекта;

– определение согласованности мнений экспертов;

– определение зависимостей между ранжировками;

– оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использования экспертами метода изменения. Если измерение объектов производилось экспертами методом ранжирования, т.е. использовалась шкала порядков, то групповая оценка объектов определяется как обобщенная ранжировка. Если при измерении объектов использовались количественные шкалы, то задача построения групповой оценки заключается в определении обобщенных количественных оценок по количественным оценкам экспертов. При построении обобщенной оценки объектов учитываются компетентность экспертов и веса различных показателей сравнения объектов.

Как уже отмечалось, измерение объектов путей их парного сравнения является значительно более простой процедурой, чем оценка всей совокупности объектов, например, ранжирование, особенно для большого числа объектов. В связи с этим возникает задача построения обобщенной оценки объектов на основе результатов их парных сравнений каждым экспертом. Решение этой задачи упрощает работу экспертов, но увеличивает трудоемкость обработки результатов оценивания.

При решении многих задач недостаточно осуществить упорядочение объектов по одному или по группе показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определить степень предпочтительности одного объекта перед другим.

Для решения этой задачи можно сразу применить метод непосредственной оценки. Однако эту задачу при определенных условиях можно решить путем обработки ранжировок или парных сравнений группы экспертов.

Определение согласованности мнении экспертов производится путей вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т.п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировки по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами – средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства о точки зрения достижения целей, позволяет обоснованно ответить на вопрос – в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их достоверности (надежности). Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудозатратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ.

Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания. При организации обработки результатов опроса следует тщательно проанализировать трудоемкость решения задач с учетом разработки математического обеспечения для ЭВМ.

Дата добавления: 2014-01-07