Формирование критериального пространства оценивания

Установления целей построения рейтинговой системы

Выбор предметной области и объекта построения рейтинговой оценочной системы

В качестве объекта оценивания может быть выбран любой объект хозяйственного, промышленного или иного назначения; любой товар (группа товаров), имеющий потребительские качества. Выбор объекта осуществляется бакалавром самостоятельно, исходя из его предпочтений или знаний. При возникновении затруднений следует обратиться к преподавателю за назначением соответствующего объекта ранжирования.

Для выбора соответствующего объекта исследования вначале следует ввести ограничения (ценовой диапазон, обязательное наличие каких-либо функций или характеристик). Объекты должны быть сравнимыми. Количество сравниваемых объектов должно быть не менее 12-15 единиц.

При построении рейтинговой оценочной системы необходимо руководствоваться целями, которые должны быть определены до начала этапа формирования критериев, поскольку список критериев формируется исключительно исходя из определенных целей.

Например, одной из возможных главных целей построения банковского рейтинга может рассматриваться «определение наиболее надежных банков».

А вот при построении рейтингов вузов цели могут быть различны. Можно говорить о рейтинговании высших учебных заведений при цели: «выбор вуза, предоставляющего наиболее качественное обучение» или «выбор наиболее качественной образовательной программы».

Довольно часто, построение рейтинговой системы преследует не одну, а несколько целей. В этом случае говорят об иерархии целей, и процедура иерархического представления списка целей представляется в виде «дерева целей». Материал по иерархическому представлению целей представлен в источниках [1, с.101-106, с.380-404; 2, с.44-78].

На основе сформированного «дерева целей» формируется критериальное пространство для построения рейтинговой системы. Каждой выделенной цели (подцели) должен соответствовать критерий, с помощью которого может быть оценена степень ее достижения. Соответственно, для представления системы критериев, предназначенной для оценки объекта, так же используется дерево критериев, отражающее структуру их иерархической подчиненности.

Рассмотрим пример. Ставится цель «выявить наиболее качественный товар по определенной группе». Ранжирование объектов, исходя из поставленной цели, будет происходить по интегральному показателю «качество товара (изделия)» (1 уровень иерархии). Частными критериями качества выступают группы показателей, характеризующие функциональные, экономические, экологические возможности товара; показатели надежности; безопасности и др. (2 уровень иерархии). 3 уровень иерархии составят конкретные формулировки показателей (например, количество вредных примесей в изделии для группы безопасности).

Для составления рейтинга необходимо подобрать набор показателей, который обладает свойствами полноты, декомпозируемости, функциональности, неизбыточности. Рассмотрим свойства более подробно.

Набор показателей должен быть полным. Набор показателей является полным, если на его основе можно охарактеризовать уровень достижения глобальной цели и все представляющие интерес стороны процесса.

Набор показателей должен быть декомпозируемым. Другими словами, должна существовать возможность упростить процесс оценки, разбив его на части. Декомпозиция глобальной цели в виде иерархии позволяет получить и иерархическую систему показателей, т.е. интегрированную оценку определенных характеристик объекта посредством оценки всех компонентов по системе надежно измеряемых показателей с последующим их агрегированием.

Набор показателей должен быть функциональным с технической и операционной точек зрения. Поскольку показатели и получаемые на их основе критерии предназначены для оценки объектов, они должны характеризовать не только основные аспекты рассматриваемой предметной области построения рейтинга, но и быть доступными для получения оценок по ним. Здесь первоочередным требованием к показателю является возможность его измерения. Наилучшей измеряемостью обладают документальные данные.

Набор критериев должен быть неизбыточным (чтоб избежать дублирования) и обладать минимальной размерностью (в набор включаются лишь те показатели, без которых оценка невозможна)

Один из первых вопросов, который возникает при составлении рейтингов, учитывающих несколько характеристик объекта, заключается в том, сколько этих параметров должно быть. Если критериев, по которым ранжируют объекты, слишком мало, то не будут учтены некоторые важные характеристики, в результате такому рейтингу нельзя будет доверять. Если же выбранных критериев слишком много, то появляется ряд чисто технических проблем, решить которые довольно сложно (трудности со сбором и анализом большого количества информации).

Отметим, что для нас важны именно критерии оптимальности, а не допустимости.

Последовательность формирования критериального пространства будет следующей.

1. Составление максимально развернутого перечня показателей.

2. Выбор показателей, по которым имеются данные.

3. Построение таблицы критериального пространства.

Дата добавления: 2015-06-29