Методы получения качественных экспертных оценок

Иногда специ­фика объектов экспертного оценивания такова, что эксперты затрудня­ются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную эксперт­ную информацию.

В таких случаях могут использоваться методы получения качествен­ных оценок объектов или показателей, их характеризующих.

Метод экспертной классификации — используется, когда необходи­мо определить принадлежность оцениваемых вариантов решений к установленным и принятым к использованию классам, категориям, уров­ням, сортам и т.д. (далее — классы).

Он может быть применен и тогда, когда конкретные классы, к кото­рым должны быть отнесены оцениваемые объекты, заранее не опреде­лены. Может быть заранее не определено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть уста­новлено лишь после завершения процедуры классификации.

Если эксперту необходимо отнести каждый из вариантов к одному из заранее установленных классов, то наиболее распространена проце­дура последовательного предъявления эксперту вариантов. В соответ­ствии с имеющейся у него информацией об оцениваемом объекте и используемой им оценочной системе эксперт определяет, к какому из классов оцениваемый объект принадлежит. После завершения проце­дуры эксперту может быть предъявлен результат его оценки в виде рас­пределения всех оцененных им вариантов по классам. На этом этапе эксперту, как правило, предоставляется возможность исходя из общего результата классификации внести коррективы в данные им оценки.

Если проводится коллективная экспертиза, то результаты эксперт­ной классификации, полученные каждым из экспертов, обрабатыва­ются с целью получения результирующей коллективной экспертной оценки. В зависимости от целей экспертизы может возникнуть необ­ходимость отнесения альтернативных вариантов к упорядоченным классам.

Отметим, что отнести оцениваемые объекты к соответствующим ка­тегориям необходимо так, чтобы более предпочтительные объекты были отнесены к более предпочтительным категориям. Естественно, это от­ражается на процедуре экспертной классификации. Но главное, чтобы эксперт однозначно понимал поставленную перед ним задачу.

Если число классов, на которое должны быть разбиты альтернатив­ные варианты, заранее не оговаривается, то целесообразно использова­ние следующей процедуры. Эксперту предъявляется пара вариантов и предлагается определить, к одному или к разным классам они относят­ся. После этого эксперту последовательно предлагаются оцениваемые варианты с тем, чтобы выяснить, может ли каждый из них быть отнесен к одному из образовавшихся к тому времени классов или необходимо для данного варианта образовать новый класс.

Процедура завершается после того, как эксперту предъявлены все варианты решений.

Метод парных сравнений — эксперту последовательно предлагаются пары вариантов, из которых он должен указать более предпочтитель­ный. Если эксперт относительно какой-либо пары объектов затрудняется это сделать, он вправе посчитать сравниваемые варианты решений равноценными либо несравнимыми.

После последовательного предъявления эксперту всех пар вариан­тов определяется их сравнительная предпочтительность по оценкам данного эксперта.

В результате парных сравнений, если эксперт оказался последова­тельным в своих предпочтениях, все оцениваемые варианты могут ока­заться проранжированными по тому или иному критерию, показателю, свойству. Если эксперт признал некоторые варианты несопоставимы­ми, то в результате будет получено лишь частичное их упорядочение.

В практике использования метода парных сравнений нередко при­ходится сталкиваться с непоследовательностью и даже противоречиво­стью оценок эксперта. В этих случаях необходимо проведение специ­ального анализа результатов экспертизы.

Отметим также, что при достаточно большом числе оцениваемых вариантов процедура парного сравнения всех возможных их пар стано­вится трудоемкой для эксперта. В этом случае целесообразно примене­ние соответствующих модификаций метода парных сравнений. Напри­мер, если предположить непротиворечивость оценок эксперта, то практически достаточно однократного предъявления каждого вариан­та решения в паре с каким-либо другим.

Ранжирование вариантов решений — эксперту предъявляются ото­бранные для сравнительной оценки варианты, но желательно не более 20-30 для их упорядочения по предпочтительности. Если вариантов больше, то целесообразно использование соответствующих модифика­ций метода ранжирования. В частности, ранжированию вариантов мо­жет предшествовать их разбиение на упорядоченные по предпочтению классы с помощью метода экспертной классификации.

Ранжирование сравниваемых объектов эксперт может осуществлять различными способами. Например, эксперту предъявляется весь набор вариантов, и он указывает среди них наиболее предпочтительный. Затем эксперт указывает наиболее предпочтительный вариант среди оставших­ся и так до тех пор, пока все оцениваемые варианты не будут им проранжированы. При другом способе эксперту первоначально предъявляются два варианта или больше, которые ему предлагается упорядочить по пред­почтениям. На этом этапе он может воспользоваться первым способом ранжирования. После проведения первоначального ранжирования экс­перту последовательно предлагаются новые, еще не оцененные им вари­анты решений, чтобы он определите место каждого предъявленного ва­рианта среди проранжированных ранее. Процедура завершается после предъявления и оценки последнего варианта решения.

Метод векторов предпочтений — чаше используется при необходи­мости получения коллективного экспертного ранжирования. Эксперту предъявляется весь набор оцениваемых вариантов решений и предлага­ется для каждого варианта указать, сколько, по его мнению, других ва­риантов превосходит данный.

Эта информация представляется в виде вектора, первая компонента которого — число вариантов, которые превосходят первый, вторая ком­понента — число вариантов, которые превосходят второй, и т.д.

Если оценивается 10 вариантов решений, то вектор предпочтений может выглядеть так: (3, 7, 0,4, 8, 6, 1, 9, 5, 2).

Если в векторе предпочтений каждое число встречается ровно один раз, то экспертом указано строгое ранжирование вариантов по пред­почтениям. В противном случае полученный результат отражает за­труднения эксперта при оценке сравнительной предпочтительности от­дельных вариантов.

Метод векторов предпочтений отличается сравнительной нетрудо­емкостью и может использоваться с учетом характера экспертизы. Этот метод может быть применен и в случае, когда у эксперта имеются за­труднения при использовании других методов оценки сравнительной предпочтительности вариантов. При коллективной экспертизе, прово­димой с использованием метода векторов предпочтений, целесообраз­но рассчитать результирующее коллективное ранжирование, отража­ющее коллективную точку зрения всех экспертов.

Метод дискретных экспертных кривых — используется в случаях, когда разрабатываются прогнозы или анализируется динамика изменения показателей, характеризующих объект выработки и принятия управ­ленческого решения. При построении дискретной экспертной кривой определяется набор характерных точек, в которых наблюдается или ожи­дается смена тенденции изменения показателя от рассматриваемого параметра, а также значения показателя в характерных точках. Предпо­лагается, что на участках между характерными точками значения пока­зателя изменяются линейно, т.е. две соседние характерные точки кри­вой могут быть соединены отрезками прямой линии.

Если есть достаточно веские основания для того, чтобы определить нелинейные изменения на участках кривой между соседними характер­ными точками, имеет смысл от дискретных экспертных кривых перей­ти к экспертным кривым. При построении экспертных кривых отрезки прямых линий могут быть заменены отрезками нелинейных кривых либо кривых, построенных непосредственно экспертами. Заметим, однако, что далеко не всегда возможно располагать информацией, позволя­ющей надежно судить о поведении кривой на участках между характерными точками. К тому же обработка результатов экспертных оце­нок, и в частности определение результирующей коллективной экспер­тной оценки, более надежна для дискретных экспертных кривых.

Использование экспертных кривых позволяет более наглядно и на­дежно представить различные сценарии развития ситуации, что часто бывает необходимым при разработке прогнозов. Экспертные кривые могут также эффективно использоваться как при анализе ситуации принятия решения, так и непосредственно при выработке и принятии управлен­ческих решений.

Дата добавления: 2014-01-20