Методика оценки качества программных средств 1 страница

Оценку качества ПС проводят на фазах жизненного цикла.

В данной практической работе предлагается оценить качество уже разработанного ПС, т.е. на выходе фазы изготовления ПС. Она включает выбор номенклатуры показателей, их оценку и сопоставление значений показателей, полученных в результате сравнения с базовыми значениями.

Показатели качества объединены в систему из четырех уровней, указанных ниже. Допускается вводить дополнительные показатели на каждом из уровней.

Для обеспечения возможности получения интегральной оценки по группам показателей качества используют факторы качества (первый уровень):

· надежность ПС,

· сопровождаемость,

· удоб­ство использования,

· эффективность,

· универсальность,

· функциональность.

Каждому фактору качества соответствует определенный набор критериев качества (ком­плексные показатели – второй уровень):

· устойчивость функционирования,

· работоспособность,

· струк­турированность,

· простота конструкции,

· наглядность,

· повторяемость,

· легкость освоения,

· доступность программных документов,

· удобство эксплуатации и обслуживания,

· уровень автоматизации,

· временная эффективность,

· ресурсоемкость,

· гибкость,

· мобильность,

· модифицируемость,

· полнота реализации,

· согласованность,

· логическая корректность,

· полнота документации,

· управление и контроль доступом,

· резервирование,

· проверенность.

Критерии качества определяются одной или несколькими метриками (третий уровень). Если критерий качества определяется одной метрикой, то уровень метрики опускается.

Метрики составляются из оценочных элементов (единичных показателей – четвертый уровень), определяющих заданное в метрике свойство. Число оценочных элементов, входящих в метрику, неограниченно. Взаимосвязь факторов, критериев и метрик с классами ПС приведена в таблицах 3–10.

Выбор оценочных элементов в метрике зависит от функционального назначения ПС и проводится с учетом данных, полученных при проведении испытаний различных видов, а также по результатам эксплуатации ПС.

Для выбора оценочных элементов используются таблицы 11–16 и п.6.11.2–6.11.5 (программа и методика испытаний). В этих таблицах приняты следующие обозначения:

· знак "+" означает применяемость соответствующего показателя ПС, знак "–" – неприменяемость, знак "+–" – приме­няемость показателя ПС определяется пользователем стандарта;

· коды оценочных элементов составлены из 5 символов следующим образом:

¨ 1–й символ – буква русского алфавита указывает на принадлежность элемента тому или иному фактору:

¨ Н – надежности,

¨ С – сопровождаемости,

¨ У – удобству применения,

¨ Э – эффективности,

¨ Г – универсальности,

¨ К – корректности;

· 2–й и 3–й символы – номера метрик, которым принадлежит оценочный элемент;

· 4–й и 5–й символы – порядковый номер данного оценочного элемента в метрике.

Например: «К1004» означает, что это 4–й оценочный элемент из 10–й метрики фактора «корректность».

При указании кода метода оценки приняты следующие условные обозначения:

· ЭК – экспертный;

· ИЗ – измерительный;

· РГ – регистрационный;

· РС – расчетный.

Если для определения показателя используются разные методы, их обозначения перечисляют через запятую. Если для определения показателя поочередно используются несколько методов, их обозначения объединяют знаком плюс в той последовательности, в которой предполагается их выполнение.

Оценку качества ПС проводят в следующей последовательности.

1) На фазе анализа проводят выбор показателей и их базовых значений.

2) Для показателей качества на всех уровнях (факторы, критерии, метрики, оценочные элементы) принимают единую шкалу оценки от нуля до единицы.

3) Показатели качества на каждом вышестоящем уровне (кроме уровня оценочных элементов) определяются показателями качества нижестоящего уровня, т.е.:

· результаты оценки каждого фактора определяются результатами оценки соответствующих ему критериев;

· результаты оценки каждого критерия определяются результатами оценки соответствующих ему метрик;

· результаты оценки каждой метрики определяются результатами оценки определяющих ее оценочных элементов.

4) В процессе оценки качества ПС на каждом уровне (кроме оценочных элементов) проводят вычисления показателей качества ПС, т.е. определение количественных значений:

· абсолютных пока­зателей (P_ij), где j – порядковый номер показателя данного уровня для i –го показателя вышестоящего уровня;

· относительных показателей (K_ij), являющихся функцией показателя P_ij и базового значения существующего аналога или эталонного образца.

5) Каждый показатель качества второго и третьего уровней (критерий и метрика) характери­зуется двумя числовыми параметрами – количественным значением и весовым коэффициентом (V_ij).

6) Сумма весовых коэффициентов показателей уровня (l), относящихся к i –му показателю вышестоящего уровня (l –1), есть величина постоянная. Сумма весовых коэффициентов V_ij принима­ется равной единице в соответствии с выражением

, (1)

где n – число показателей уровня l, относящихся к i –му показателю вышестоящего уровня (l –1).

7) Общая оценка качества ПС в целом формируется экспертами по набору полученных значений оценок факторов качества ПС.

8) Для оценки качества ПС различного назначения методом экспертного опроса составляется таблица значений базовых показателей качества ПС.

9) Определение усредненной оценки m_kq, оценочного элемента по нескольким его значениям (m_э) проводят по формуле

, (2)

где k – порядковый номер метрики; q – порядковый номер оценочного элемента; э – индекс суммирования; t – число значений оценочного элемента.

10) Итоговую оценку k –й метрики j –го критерия проводят по формуле

, (3)

где М – признак метрики; Q – число оценочных элементов в k –й метрике.

11) Абсолютный показатель критерия i –го фактора качества P_ij определяют по формуле

, (4)

где n – число метрик, отнесенных к j –му критерию.

12) Относительный показатель j –го критерия i –го фактора качества K_ij вычисляют по формуле

, (5)

13) Фактор качества вычисляют по формуле

, (6)

где f – признак фактора; N – число критериев качества, отнесенных к i –му фактору; K – признак критерия.

Качество ПС определяют путем сравнения полученных расчетных значений показателей с соответствующими базовыми значениями показателей существующего аналога или расчетного ПС, принимаемого за эталонный образец. Базовые значения показателей качества ПС должны соответствовать значениям показателей, отражающих современный уровень качества и прогнозируемый мировой уровень.

В качестве аналогов выбирают реально существующие сертифицированные ПС того же функционального назначения, с такими же основными параметрами, подобной структуры и приме­няемые в тех же условиях эксплуатации, что и сравниваемые.

Таблица 3

Взаимосвязь факторов и критериев с классами ПС, по которым проводят оценку качества

Фактор	Критерий по табл. 1	Весовой коэффициент показателя по подклассу ПС
Но­мер	Наименование
Надеж­ность	1.1	Легкость освоения	0,5	–	0,3	0,5	0,3
1.2	Доступность программных документов	0,5		0,7	0,5	0,7
Сопровож­дае­мость	2.1	Удобство эксплуатации и обслуживания	0,20		0,20
2.2	Уровень автоматизации	0,25	–	0,25
2.3	Временная эффективность	0,2	–	0,2
2.4	Ресурсоемкость	0,3	0,5	0,3
2.5	Гибкость	0,35		0,35
Удоб­ство исполь­зо­вания	3.1	Мобильность	0,2	0,25	0,3	0,2	0,25
3.2	Модифицируе­мость	0,4	0,5	0,35	0,7	0,35	0,4	0,5
3.3	Полнота реализации	0,4	0,25	0,35	–	0,35	0,4	0,25
Эффек­тив­ность	4.1	Согласованность	0,25	0,3	0,25	0,3	–	0,3
4.2	Логическая корректность	0,25	0,35	0,25	0,35		0,35
4.3	Проверенность	0,5	0,35	0,5	0,35	–	0,35
Универ­саль­ность	5.1	Защищенность	–	0,25	–	0,3	–	0,5	0,3	0,3
5.2	Легкость освоения	0,3	0,25	0,5	0,35	0,5		0,25	0,35
5.3	Доступность программных документов	0,7	0,5	0,5	0,35	0,5	–	0,25	0,35
Функ­цио­наль­ность	6.1	Удобство эксплуатации и обслуживания	0,25
6.2	Уровень автоматизации	0,2
6.3	Временная эффективность	0,2
6.4	Ресурсоемкость	0,2
6.5	Гибкость	0,2

Таблица 4

Базовые значения критериев

Фактор	Критерий по табл. 1	Базовое значение показателя по подклассу ПС
Но­мер	Наименование
Надеж­ность	1.1	Устойчивость функционирования			0,9		0,95	0,95	0,9	–	0,9		0,95
1.2	Работоспособность			0,96		0,97	0,97	0,97	0,9	0,96		0,98
Сопровождае­мость	2.1	Структурность	0,9	0,95		0,97	0,97		0,97			0,95
2.2	Простота конструкции	0,95	0,95		0,97				–		0,97
2.3	Наглядность		–
2.4	Повторяемость	0,8	0,8	0,8	0,9	0,8	0,7	0,7	0,5	0,8	0,8	0,9
2.5	Полнота документации
Удобство использо­вания	3.1	Легкость освоения	0,9	0,8	0,9	0,9	0,7	0,9	0,7	0,7	0,9
3.2	Доступность программных документов	0,95
3.3	Удобство эксплуатации и обслуживания	0,9	0,85	0,85	0,9	0,8	0,9	0,8	–	0,85	0,85	0,9
Эффектив­ность	4.1	Уровень автоматизации	0,9	0,8	0,9	0,8	–	0,9
4.2	Временная эффективность	0,9	0,8	0,9	0,9	0,8	0,9
4.3	Ресурсоемкость	0,9	0,9	0,8	0,9	0,9	0,9	0,8	–	0,8	0,9	0,9
Универ­сальность	5.1	Гибкость	–	0,8	–	0,9	0,8	–	–	–	0,8	0,8	0,9
5.2	Мобильность	0,7	0,8	0,8	0,7	0,7	0,8	0,7	0,8	0,8	0,7	0,8
5.3	Модифицируемость		0,9	0,9		0,9	–
Функцио­нальность	6.1	Полнота реализации
6.2	Согласованность
6.3	Логическая корректность
6.4	Проверенность	0,9	0,8	0,8	0,9
6.5	Защищенность	0,8	0,8	0,7	0,8	0,8	–	0,7	0,7

Таблица 5

Взаимосвязь критериев и метрик надежности с классами ПС

Критерий по табл.1

Метрика

Весовой коэффициент показателя по подклассу ПС

Но­мер

Наимено­ва­ние

Обозна­че­ние

Наименова­ние

1.1

Устой­чи­вость функцио­ни­рования

Н01

Средства восстанов­ле­ния при ошибках на входе

0,35

–

0,35

Н02

Средства восстанов­ле­ния при сбоях обо­рудо­вания

0,35

–

0,35

Н03

Реализа­ция управ­ления средства­ми восста­нов­ления

0,3

–

0,3

1.2

Работоспо­собность

Н04

Функцио­нирование в заданных режимах

0,5

Н05

Обеспече­ние обра­ботки за­данного объема информа­ции

0,5

Таблица 6

Взаимосвязь критериев и метрик сопровождаемости с классами ПС

Критерий по табл.1	Метрика	Весовой коэффициент показателя по подклассу ПС
Но­мер	Наимено­ва­ние	Обозна­че­ние	Наименова­ние
2.1	Структур­ность	С05	Использование основных логических структур	0,35
С06	Соблюдение принципа нисходящего программирования	0,35
С07	Комментарии обосно­вания декомпозиции программ при кодиро­вании	0,3
2.2	Простота конструк­ции	С01	Простота архитектуры проекта	0,5	–	0,5
С02	Сложность архитек­туры проекта	0,5	–	0,5
С03	Межмодульные связи	0,3	–	0,3
С10	Простота кодирования	0,5	–	0,5
2.3	Нагляд­ность	С04	Экспертиза принятой системы идентифика­ции	0,35	–	0,35
С08	Комментарии логики программ	0,35	–	0,35
С09	Оформление текста программ	0,3	–	0,3
2.4	Повторяе­мость	С13	Использование типо­вых компонентов ПС	0,5
С14	Использование типо­вых проектных реше­ний	0,5
2.5	Полнота докумен­тации	С15	Полнота документации фазы проектирования	0,25	0,2	0,25
С16	Полнота документации фазы реализации	0,25	0,3	0,25
С17	Полнота документации фазы тестирования	0,25	0,3	0,25
С18	Полнота документации фазы изготовления	0,25	0,2	0,25

Таблица 7

Взаимосвязь критериев и метрик удобства использования с классами ПС

Критерий по табл.1

Метрика

Весовой коэффициент показателя по подклассу ПС

Но­мер

Наимено­ва­ние

Обозна­че­ние

Наименова­ние

3.1

Легкость освоения

У01

Освоение работы ПС

0,35

У02

Документация для освоения

0,35

У0З

Полнота пользователь­ской документации

0,3

3.2

Доступ­ность про­грамм­ных докумен­тов

У0З

Полнота пользователь­ской документации

0,2

У04

Точность пользова­тельской документа­ции

0,25

У05

Понятность пользова­тельской документа­ции

0,25

У06

Техническое исполне­ние пользовательской документации

0,25

У07

Прослеживание вари­антов пользователь­ской документации

0,25

3.3

Удобство эксплуата­ции и об­служива­ния

У08

Эксплуатация

0,2

–

0,2

У09

Управление меню

0,2

–

0,2

У10

Функция HELP

0,2

–

0,2

У11

Управление данными

0,2

–

0,2

У12

Рабочие процедуры

0,2

–

0,2

Таблица 8

Взаимосвязь критериев и метрик эффективности с классами ПС

Критерий по табл.1	Метрика	Весовой коэффициент показателя по подклассу ПС
Но­мер	Наимено­ва­ние	Обозна­че­ние	Наименова­ние
4.1	Уровень автомати­зации	Э01	Функциональная автоматизация	0,35	0,35	0,35	о.з	0,35	0,3	0,35	–	0,5	0,35	0,35
	Э02	Автоматизация интерфейсов	0,3	0,3	0,3	0,35	о,з	0,35	0,35	–	0,3	0,3	0,3
Э03	Автоматизация контроля	0,35	0,35	0,35	0,35	0,35	0,35	0,3	–	0,2	0,35	0,35
4.2	Временная эффектив­ность	Э04	Эффективность выполнения	0,7	0,7	0,7	0,7	0,7	0,6	0,6	0,5	0,6	0,35	0,35
	Э05	Эффективность подготовки	0,3	0,3	10,3	0,3	0,3	0,4	0,4	0,5	0,4	0,3	0,3
4.3	Ресурсо­емкость	Э06	Стационарная ресурсоемкость	0,7	0,6	0,6	0,7	0,7	0,6	0,5	0,5	0,5	0,6	0,6
	Э07	Динамическая ресурсоемкость	0,3	0,4	0,4	0,3	0,3	0,4	0,5	0,5	0,5	0,4	0,4

Таблица 9

Взаимосвязь критериев и метрик универсальности с классами ПС

Критерий по табл.1

Метрика

Весовой коэффициент показателя по подклассу ПС

Но­мер

Наимено­ва­ние

Обозна­че­ние

Наименова­ние

5.1

Гибкость

Г01

Широта охвата функций

–

0,17

–

0,17

–

0,17

Г02

Простота архитектуры проекта

–

0,15

–

0,15

–

0,15

Г03

Сложность архитектуры проекта

–

0,17

–

0,17

–

0,17

Г04

Сложность структуры кода программ

–

0,17

–

0,17

–

0,17

Г05

Применение стандарт­ных протоколов связи

–

0,17

–

0,17

–

0,17

Г06

Применение стандарт­ных интерфейсных программ

–

0,17

–

0,17

–

0,17

5.2

Мобиль­ность

Г07

Зависимость от ис­пользуемого комплекса технических средств

0,35

Г08

Зависимость от базо­вого программного обеспечения

0,35

Г09

Изоляция немобильности

0,3

–

0,3

5.3

Модифи­цируе­мость

Г10

Простота кодирования

0,2

–

0,2

Г11

Число комментариев

0,2

–

0,2

Г12

Качество комментариев

0,2

–

0,2

Г13

Использование описательных средств языка

0,2

0,2

Г14

Независимость модулей

0,2

–

0,2

Таблица 10

Взаимосвязь критериев и метрик функциональности с классами ПС

Критерий по табл.1	Метрика	Весовой коэффициент показателя по подклассу ПС
Но­мер	Наимено­ва­ние	Обозна­че­ние	Наименова­ние
6.1	Полнота реализа­ции	К01	Требования, предъявляе­мые к полноте до­кумен­тации разработ­чика
Полнота документации разработчика	0,5
К02	Полнота программной документации	0,5
6.2	Согласо­ван­ность	К03	Непротиворечивость документации разра­ботчика	0,14
К04	Непротиворечивость программы	0,14
К05	Требования, предъяв­ляемые к единообра­зию интерфейсов ме­жду модулями и поль­зователями	0,35
Единообразие интер­фейсов между моду­лями и пользователями	0,14
К06	Требования, предъяв­ляемые к единообра­зию кодирования, сим­волике и определению общих переменных	0,35
Единообразие кодировки	0,14
К07	Соответствие докумен­тации стандартам	0,15
К08	Требования, предъяв­ляемые к соответствию ПС стандартам про­граммирования	0,3
Соответствие ПС стандартам программирования	0,15
К09	Соответствие ПС до­кументации	0,14
6.3	Логиче­ская корректность	К11	Требования, предъяв­ляемые к реализации ПС
Реализация всех реше­ний	0,5
К12	Отсутствие явных ошибок и достаточ­ность реквизитов	0,5
6.4	Проверен­ность	К13	Полнота динамиче­ского тестирования	0,5	0,5	0,7	0,5	0,5	0,5	0,8	0,8	0,7	0,5	0,5
К14	Полнота статического тестирования	0,5	0,5	0,3	0,5	0,5	0,5	0,2	0,2	0,3	0,5	0,5
6.5	Защищен­ность	К15	Аутентификация эле­ментов систем обра­ботки данных	0,3	0,25	0,3		0,3
К16	Управление доступом	0,3	0,25	0,3		0,3
К17	Протоколирование обращений	0,3	0,25	0,3		0,3
К18	Криптографическая защита	0,1	0,25	0,1		0,1
К19	Превентивное реагирование	0,2		0,1

Дата добавления: 2015-04-30