Испытания ПС

Аттестация ПС

Тестирование ПС

При проведении аттестации комиссией экспертов (экспертом) организации, проводящей аттестацию, составляется методика аттестации, содержащая детальное описание всех действий, выполняемых в процессе аттестации. При этом в методике аттестации должны быть предусмотрены следующие основные этапы:

- выбор методов испытаний (тестирования) в соответствии с целями испытаний и степенью их жесткости составление тестовых заданий в соответствии с требованиями к ПО и с указанием контролируемых параметров и характеристик, исходных данных и критериев, которым должны удовлетворять результаты, полученные тестируемым ПО – проведение испытаний (тестирования) и получение результатов функционирования испытываемого (тестируемого) ПО в соответствии с тестовыми заданиями;

- обработка результатов испытаний (тестирования) (сравнение результатов, полученных испытываемым (тестируемым) ПО, с эталонными).

Методика аттестации оформляется для каждого отдельного ПО СИ, с учетом его назначения, функциональных особенностей и применяемых методов испытаний (тестирования).

Испытания (тестирование) ПО при выбранной степени жесткости могут проводиться на основе изучения документации, сопровождающей ПО, испытаний (тестирования) с использованием аппаратных и программных средств, а также на комплексной основе с использованием как документации, так и аппаратных и программных средств.

По согласованию с разработчиком (заказчиком) устанавливается последовательность испытаний ПО с учетом следующих этапов:

1. Проверка документации.

2. Проверка разделения ПО и наличия защищенных интерфейсов (с использованием программных средств, в том числе на основе анализа исходного кода).

3. Проверка соответствия утвержденному типу (идентификация) (на основе анализа документации и с использованием программных средств, в том числе на основе анализа исходного кода).

4. Испытание (тестирование) ПО с целью установления правильности функционирования и определения его свойств и характеристик и тестирование обработки данных (с использованием аппаратных и программных средств, в том числе на основе анализа исходного кода).

5. Тестирование защищенности ПО и данных (с использованием программных средств, в том числе на основе анализа исходного кода).

Примечание – Высокая жесткость испытаний с использованием анализа исходного кода применяется в тех случаях, если разрабатывается ПО сложных и измерительных систем, в том числе систем, используемых при коммерческих расчетах, или если к таким системам предъявляются исключительные требования по безопасности функционирования. В обычных случаях ограничиваются низкой и средней степенью жесткости испытаний, при которой тестирование ПО осуществляется методом «черного ящика».

Определяются методы испытаний в соответствии с установленной жесткостью испытаний, которые должны найти отражение в тестовых заданиях. Составляются тестовые задания с учетом того, что эти задания и/или исходные данные для их формирования, а также методы их выполнения должны обеспечить проверку всех основных режимов функционирования испытываемого (тестируемого) ПО, а также его соответствие требованиям нормативной документации.

Тестовые задания разрабатываются с учетом установленных видов испытаний, руководства пользователя, а также другой необходимой технической документации, представляемой на аттестацию. Каждому требованию и/или контролируемой функции должно соответствовать не менее одного тестового задания.

В тестовых заданиях определяются контролируемые свойства, параметры и характеристики ПО, методы испытаний тестируемого ПО, необходимые для этого исходные данные, программные продукты, с которыми сравниваются результаты, получаемые в процессе испытаний (эталонное ПО), а также критерии, позволяющие производить оценку характеристик тестируемого ПО.

Описывается последовательность действий при проведении процедуры испытаний (тестирования) в соответствии с установленной жесткостью испытаний и перечнем разработанных тестовых заданий.

Результаты испытаний ПО признаются положительными, если:

- программа соответствует функциональным возможностям, описанным в документации, и выполняет в рамках тестовых заданий все функции, декларируемые в документации;

- полученные значения параметров и характеристик программы при выполнении всех тестовых заданий удовлетворяют установленным критериям или находятся в допустимых пределах отклонений от них;

- в программе реализованы необходимые методы защиты и идентификации в соответствии с требованиями;

- программная документация соответствует требованиям нормативных документов.

Если в процессе выполнения какого-либо из тестовых заданий произойдет отказ программы, ее «зависание» или искажение результатов, то данное тестовое задание может быть модифицировано для подтверждения ошибки функционирования и повторено. Выявленные ошибки фиксируются в протоколе испытаний.

По результатам испытаний ПО СИ составляется акт о результатах его исследования (тестирования) неотъемлемой частью которого является протокол испытаний, подписанный непосредственными исполнителями испытаний (тестирования).

Дальнейшие разделы рекомендации конкретизируют виды испытаний (тестирования).

Система сертификации программного обеспечения средств измерений и информационно-измерительных систем Правила функционирования

Дата добавления: 2014-11-29