Основные показатели надежности ПО

Классификация показателей качества ПО

Тестирование ПО

Проблемы исследования надежности ПО

К основным проблемам исследований надежности ПО относятся:

- прежде всего - разработка методов оценки и прогнозирования надежности ПО;

- определение основных факторов, влияющих на надежность ПО;

- разработка методов, обеспечивающих достижение заданного уровня надежности ПО;

- совершенствование методов повышения надежности ПО в процессе проектирования и эксплуатации.

Важным этапом жизненного цикла ПО, определяющим качество и надёжность системы, является тестирование. Тестирование - процесс выполнения программ с намерением найти ошибки и включает в себя следующие этапы:

- автономное тестирование;

- тестирование сопряжений;

- тестирование функций;

- комплексное тестирование;

- тестирование полноты и корректности документации;

- тестирование конфигураций.

Надежность ПО повышается также с помощью применения различных методов тестирования. Полное тестирование ПО невозможно. Обычно применяют следующие виды тестирования:

- тестирование ветвей;

- математическое доказательство правильности алгоритма решения задачи (в некоторых работах именно в этом смысле употребляется слово верификация).

- символическое тестирование (или с помощью специально подобранных тестовых наборов), еще называется статическим тестированием. Удобно при локализации ошибки, проявление которой выявлено при конкретном узком или строго заданном диапазоне входных значений;

- динамическое тестирование (с помощью динамически генерируемых входных данных), что удобно при быстром тестировании во всем широком диапазоне входных параметров;

- тестирование путей выполнения программы;

- функциональное тестирование;

- проверки по времени выполнения программы;

- проверка по использованию ресурсов и стрессовое тестирование.

· По количеству характеризуемых свойств различают единичные и комплексные показатели. Единичные показатели качества характеризуют одно из свойств ПС, комплексный – несколько. Комплексные показатели могут быть групповыми, обобщенными или интегральными.

· В зависимости от места применения в процедуре оценки уровня качества ПС различают базовые и относительные показатели. Базовым значением показателя качества продукции называют значение показателя, принятое за основу при сравнительной оценке качества продукции. Относительное значение показателя качества продукции представляет собой отношение фактического значения показателя качества оцениваемой продукции к базовому значению этого показателя.

· По стадии определения значений показателей качества различают прогнозируемые, проектные, производственные и эксплуатационные показатели. Прогнозируемыми показателями оперируют на стадиях выполнения научно-исследовательских работ и составления ТЗ на разработку ПС, т. е. на тех стадиях, когда нет еще ни детального проекта ПС, ни, тем более, самого ПС. Значения прогнозируемых показателей в основном определяют на основе интуиции и опыта аналогичных разработок, поэтому эти показатели носят субъективный характер.

Значения проектных показателей определяют на основе анализа проектов ПС (эскизного, технического, рабочего), а также путем испытания опытного образца ПС. Эти показатели носят более объективный характер. Степень их достоверности зависит от эффективности используемых инструментальных средств анализа и испытания.

Производственные показатели мало отличаются от проектных, особенно если изготовление ПС сводится к простому копированию. Если же копированию предшествуют операции сборки или генерации ПС, то производственные показатели качества таких ПС могут существенно отличаться от проектных.

Значения эксплуатационных показателей определяют по результатам промышленной эксплуатации ПС. При соблюдении определенных правил сбора и обработки данных о качестве ПС в процессе эксплуатации эксплуатационные показатели дают наиболее объективную и достоверную оценку. Только по этим показателям можно произвести действительную оценку научно-технического уровня и качества ПС.

Около 50 % частных показателей можно определить автоматически с помощью ЭВМ, 25 % —с помощью компаратора. Таким образом, оценка около 75 % показателей может быть формализована. Оценка 20 % показателей может быть произведена только квалифицированным специалистом. Большинство показателей устанавливают путем статического анализа программ и лишь около 5 % — в процессе динамических испытаний (Данные соответствуют положению в этой области в 80-е годы).

1. Вероятность безотказной работы P(t_з) – это вероятность того, что в пределах заданной наработки отказ системы не возникает.

2. Вероятность отказа – вероятность того, что в пределах заданной наработки отказ системы возникает.

Это показатель, обратный предыдущему.

Q(t _з) =1 – P(t _з) (2.1)

где t _з – заданная наработка, ч.;

Q(t _з) – вероятность отказа.

3. Интенсивность отказов системы – это условная плотность вероятности возникновения отказа ПИ в определенный момент времени при условии, что до этого времени отказ не возник.

(2.2)

где f(t) – плотность вероятности отказа в момент времени t.

(2.3)

Существует следующая связь между интенсивностью отказов системы и вероятностью безотказной работы

(2.4)

В частном случае, при

(2.5)

Если в процессе тестирования фиксируется число отказов за определённый временной интервал, то интенсивность отказов системы есть число отказов в единицу времени.

4. Средняя наработка на отказ Т_i - математическое ожидание времени работы ПИ до очередного отказа:

(2.6)

Иначе среднюю наработку на отказ Т_i можно представить:

i=1;

(2.7)

где t - время работы ПИ между отказами, с.

n – количество отказов.

5. Среднее время восстановления T - математическое ожидание времени восстановления - t; времени, затраченного на обнаружение и локализацию отказа - t; времени устранения отказа - t; времени пропускной проверки работоспособности - t: t = t + t + t,

где t - время восстановления после i-го отказа.

n

T = i/nt,

i=1

где n - количество отказов.

Для этого показателя термин "время" означает время, затраченное специалистом по тестированию на перечисленные виды работ.

6. Коэффициент готовности K - вероятность того, что ПИ ожидается в работоспособном состоянии в произвольный момент времени его использования по назначению:

K = T / (T + T).

Необходимо стремиться повышать уровень надежности ПИ, но достижение 100%-ной надежности лежит за пределами возможного. Количественные показатели надежности могут использоваться для оценки достигнутого уровня технологии программирования, для выбора метода проектирования будущего программного средства.

Основным средством определения количественных показателей надежности являются модели надежности, под которыми понимают математическую модель, построенную для оценки зависимости надежности от заранее известных или оцененных в ходе создания программных средств параметров.

7. Все приведенные показатели надежности ПО характеризуют наличие ошибок программы (производственных дефектов), но ни один из них не характеризует характер этих ошибок и возможные их последствия. Поэтому предлагается ввести новый показатель надежности ПО – средняя тяжесть ошибок (СТО):

B=1/Q СУММ(bi*pi*zi), (2.8)

где Q – вероятность сбоя ПО;

СУММ – оператор суммирования по переменной i;

bi – функция принадлежности тяжести последствий ошибки, возникшей при i-ом наборе входных данных, к максимально тяжелым последствиям;

pi – вероятность ввода i-го набора входных данных при эксплуатации ПО;

zi – дихотомическая переменная, равная 1, если при i-ом наборе входных данных был зафиксирован сбой, и 0 в противном случае;

m – общее число наборов входных данных.

Значение показателя надежности СТО лежит на интервале [0;1]. Чем ближе значение СТО к единице, тем тяжелее последствия ошибок ПО, и тем менее надежна программа. Близость СТО к нулю показывает незначительность последствий ошибок программы.

Введение нового показателя надежности ПО позволило различать по надежности программные продукты, вероятности сбоя которых имеют один и тот же порядок. К тому же, говоря о надежности ПО, пользователь желает получить не столько безошибочное ПО, сколько безопасное. А именно безопасность ПО характеризует СТО. Значение этого показателя субъективно и может быть различным для одного и того же программного продукта в зависимости от области его применения. Это объясняется тем, что при использовании конкретного ПО, например, для выполнения студенческих расчетов и для выполнения конструкторских расчетов в космической промышленности последствия ошибок программы – несопоставимы. В ряде случаев, если к ПО предъявляются жесткие требования, лучше оценивать максимальную тяжесть ошибок ПО.

Таким образом, оценивая вероятность сбоя ПО и СТО ПО, получаем многостороннюю оценку надежности ПО.

Дата добавления: 2015-04-30