Подтверждение и тестирование услуг

Подтверждение(Validation) -деятельность, которая гарантирует, что новая или измененная услуга, процесс, план или другой результат отвечает нуждам бизнеса. Подтверждение гарантирует, что требования бизнеса удовлетворены, даже если они могли измениться по отношению к исходному результату проектирования.

Подтверждение и тестирование услуг (Service Validation and Testing) - процесс, ответственный за подтверждение и тестирование новой или измененной услуги. Подтверждение и тестирование услуг удостоверяется, что услуга соответствует ее спецификации проектирования и будет отвечать потребностям бизнеса.

Если не протестировать услуги корректно, при их передаче в промышленную эксплуатацию вырастет количество:

• инцидентов, связанных со сбоями элементов услуг и несовпадениями между прогнозами и практикой;
• количество звонков и обращений в сервис-деск, вызванных тем, что услуги не функционируют должным образом;
• проблем и ошибок, которые труднее диагностировать в процессе эксплуатации;
• издержек, так как ошибки сложнее и дороже исправлять в процессе эксплуатации, чем в процессе тестирования;
• услуг, которые не могут использоваться эффективно пользователями и предоставлять им желаемую ценность.

Основные цели процесса Подтверждения и тестирования услуг:

• планирование и последующая реализация процессов тестирования и подтверждения, которые представят объективные доказательства того, что услуги предоставляют заявленную ценность заказчикам, пользователям и инвесторам;
• оценка качества релиза и его компонентов;
• идентификация, оценка и улаживание проблем, ошибок и рисков в процессе Внедрения.

Таким образом, Подтверждение и тестирование услуг позволяет удостовериться, что услуга сможет предоставлять ценность заказчикам и их бизнесу.

Услуга определяется пакетом услуг, который может состоять из нескольких пакетов уровней услуг (SLP) и компонентов, которые в свою очередь также могут быть услугами, например, поддерживающими. SLP определяет уровень полезности и качества, которые должны предоставлять услуги, и является основным входом процесса Подтверждения и тестирования услуг. Дизайн (проект) услуги зависит от того, где и как она будет использоваться. Атрибуты услуги характеризуют ее форму и функциональность в контексте перспективы использования. Таким образом, SLP определяет совокупность требований к услугам, а также набор ограничений для их использования. Процесс Подтверждения и тестирования услуг должен определить возможности устранения ограничений, определенных на этапе Проектирования, и проверить их корректность.

Прежде чем начинать тестирование, необходимо сформировать стратегию тестирования. Стратегия тестирования определяет подход к организации тестирования и обработке его результатов. Она может применяться ко всей организации, набору услуг или отдельной услуге. Каждая стратегия должна согласовываться с инвесторами, так как они выделяют деньги на ее реализацию.

Содержание стратегии тестирования:

• цели и задачи тестирования;
• контекст;
• стандарты, требования законов и регуляторов;
• контракты и соглашения;
• охват и организация:
• команды поставщика услуг;
• организация тестирования;
• третьи стороны, стратегические партнеры, поставщики;
• бизнес-единицы и их месторасположение;
• пользователи и заказчики.
• процесс тестирования:
• управление и контроль тестированием - запись, мониторинг прогресса, ведение отчетности;
• планирование и оценка тестирования;
• действия в рамках тестирования - планирование, реализация и документирование тестов и их результатов.
• метрики тестирования и улучшения
• идентификация объектов тестирования:
• пакет услуг;
• пакет уровня услуг;
• модель услуг, отображающая структуру и динамику развития услуг;
• план эксплуатации услуг;
• планы сервис-менеджмента:
• критические элементы, на которых необходимо сконцентрировать тестирование;
• месторасположение бизнес-единиц, на которых будет осуществляться тестирование.
• интерфейсы поставщика услуг;
• подход:
• выбранная модель тестирования;
• уровни тестирования;
• подходы к тестированию;
• степень независимости реализации, оценки и анализа тестирования;
• повторное использование - опыт, практика, знания и результаты тестирований в прошлом;
• распределение по времени;
• разработка и повторное использование проектов, инструментов, сценариев и данных для тестирования;
• контроль изменений и исправление ошибок;
• система измерения.
• критерии:
• приема/отклонения;
• входа и выхода для каждой стадии тестирования;
• остановки или повторного запуска тестирования.
• требования к людям:
• роли и ответственности;
• составление расписания тренингов для персонала;
• требования к степени вовлеченности заинтересованных лиц - поставщиков услуг, поставщиков, заказчиков, пользователей.
• требования к среде:
• среды тестирования, которые будут использованы, их расположение, организация и техническое оснащение;
• требования к каждой среде тестирования;
• планирование и ввод в эксплуатацию сред тестирования.
• результаты:
• обязательная и опциональная документация;
• планы тестирования;
• спецификации тестирования - процедуры, проект, обоснование тестирования;
• результаты тестирования и отчеты;
• проверка отчетов;
• суммарные отчеты по тестированию.

Модель тестирования включает в себя план тестирования, то, что должно быть протестировано и сценарий тестирования каждого элемента. Сценарии тестирования определяют условия тестирования, цикл тестирования и результаты, которые должны быть получены.

Таблица 2. - Примеры моделей тестирования
Модель тестирования	Результат/цель тестирования	Условия, на которых основано тестирование
Тестирование контрактов	Заказчик может использовать услугу с целью получения ценности	Требования контрактов
Модель тестирования требований к услугам	Поставщик услуг может предоставлять услугу с характеристиками, которые требует заказчик	Требования к услугам и Критерии приемки услуг
Модель тестирования уровня услуг	Поставщик услуг предоставляет услугу с заданным уровнем услуг, то есть тестирование времени ответа и исправления ошибок, доступности, вспомогательных услуг	Требования уровня услуг, SLA, OLA
Модель тестирования услуги	Поставщик услуг способен предоставлять, сопровождать и управлять новой или измененной услугой с использованием модели услуг, включающей в себя модель ресурсов, модель затрат, модель прогресса, модель мощностей и производительности и т.п.	Модель услуг
Модель тестирования инсталляции	Команда развертывания, инструменты и процедуры могут инсталлировать пакет релизов в целевую среду в заданных временных рамках	Проект и план релизов и развертывания
Модель тестирования верификации развертывания	Развертывание завершено успешно, все услуги и конфигурации "на своих местах" и соответствуют критериям качества	Тесты и проверки текущего состояния активов и конфигураций

Существует множество подходов к тестированию. Они могут комбинироваться или использоваться по отдельности в зависимости от того, что конкретно тестируется. Например:

• обзор документации;
• моделирование и измерение - подходит для тестирования модели услуг и плана эксплуатации;
• подход, основанный на рисках - концентрируется на областях повышенного риска, например, критичных для бизнеса услугах;
• подход, основанный на проверке соответствия стандартам;
• подход, основанный на опыте - использование экспертов в конкретной области для руководства тестированием;
• симуляция;
• тестирование по сценариям;
• разыгрывание ролей;
• макетирование;
• тестирование в лабораторных условиях;
• регрессивное тестирование;
• пилотирование в отдельном помещении;
• пилотирование в среде промышленной эксплуатации.

Чтобы оптимизировать использование ресурсов в рамках тестирования, необходимо расставить приоритеты тестирования в зависимости от значимости услуги для бизнеса, влияния услуги и рисков, ассоциированных с ней.

Существуют разные типы тестирования. Рассмотрим некоторые из них:

• тестирование структуры услуги и требований к ней. Проверка атрибутов услуг в контексте контрактов, компонентов услуг и поддерживающих ее активов на совместимость;
• тестирование гарантии. Как уже говорилось в предыдущих лекциях, пользователи видят и измеряют ценность услуги в двух составляющих - гарантии и полезности. При этом для каждой услуги определяются четкие показатели гарантии. Эта четкость позволяет провести тестирование гарантии или того, что услуга подходит для использования. В рамках тестирования гарантии могут проводиться:
• тестирование доступности;
• тестирование мощности;
• тестирование непрерывности;
• тестирование безопасности.
• тестирование простоты использования услуги используется, как правило, для организации работы потенциальных пользователей услуги с ограниченными возможностями, например, глухонемых или дальтоников;
• тестирование соответствия контрактам и требованиям регуляторов. Тестирование проверяет, что все критерии контрактов и требования регуляторов выполнены и удовлетворены;
• тестирование Управления услугами - тестирование процессов в рамках Управления услугами;
• операционное тестирование - включает в себя множество тестов, зависящих от типа услуги. Типичные тесты включают:
• нагрузочные тесты и стресс-тесты - проверяют способность услуги работать на требуемом уровне на доступных мощностях. В качестве мощностей может рассматриваться полоса пропускания сети, ресурсы сервис-деска, доступные лицензии, мощность процессора, доступная память и т.п.;
• тестирование безопасности - все услуги должны быть рассмотрены со стороны их влияния на аспекты безопасности организации;
• тестирование восстанавливаемости - тестирование плана восстановления, который должен быть разработан для каждой услуги.
• регрессивное тестирование - такое тестирование повторяет успешные тесты и сравнивает вновь полученные значения с предыдущими. Оно позволяет протестировать услуги и их компоненты, которые раньше работали без сбоев и ошибок.

Основные деятельности в рамках тестирования схематически показаны на рис. 9.

Рис. 9. Деятельности в рамках тестирования

Не все деятельности в рамках тестирования выполняются последовательно, многие могут выполняться параллельно.

1. Управление тестированием. Управление тестированием включает в себя следующие действия:
• планирование ресурсов для тестирования;
• распределение что и когда должно тестироваться;
• управление инцидентами, ошибками, проблемами, рисками;
• проверка того, что известные ошибки и документация обработаны;
• отслеживание прогресса и сбор данных от обратной связи с различными этапами тестирования;
• осуществление незначительных изменений для уменьшения ошибок в промышленной эксплуатации;
• фиксация базового состояния конфигураций;
• тестирование набора метрик, анализ, ведение отчетности и управление.

Метрики тестирования используются для оценки деятельностей в рамках тестирования. Они позволяют персоналу, ответственному за тестирование, контролировать прогресс и успешность тестирования.

1. Планирование и проектирование тестирования

Планирование и проектирование тестирования рассматривает следующие вопросы:

• обеспечение ресурсами;
• программное, аппаратное обеспечение, персонал и другие мощности;
• необходимые ресурсы со стороны бизнеса/заказчиков;
• поддерживающие услуги;
• определение дат контрольных точек;
• согласованное время предоставления результатов тестирования;
• точка и время приемки;
• финансовые требования.
1. Проверка плана и проекта тестирования контролирует то, что:
• модель тестирования предоставляет адекватные и подходящие тесты, покрывающие все риски, связанные с услугой;
• модель тестирования покрывает все ключевые аспекты интеграции и интерфейсов;
• сценарии тестирования точные и завершенные.
2. Подготовка среды тестирования, в том числе фиксирование базового состояния для начала тестирования.
3. Осуществление тестирования - проведение тестов с использованием ручных или автоматизированных процедур. Если тестирование провалилось, причины должны быть документированы. Тестирование должно проводиться в соответствии с принятыми планами и стратегиями тестирования.
4. Достижение критериев выхода и формирование отчета

Результаты тестирования должны быть сравнены с прогнозируемыми. Они могут быть интерпретированы в терминах "прием/отклонение" тестирования; рисков для бизнеса или поставщика; изменении спроектированной ценности, вызванное увеличением издержек или уменьшением выгоды от использования услуги. По результатам тестирования формируется итоговый отчет.

1. завершение тестирования.

Входами процесса Подтверждения и тестирования услуг являются:

• пакет услуг;
• Пакет уровня услуг (SLP);
• интерфейсы поставщика услуг;
• проектная документация (SDP);
• планы релизов и развертывания;
• критерии приемки;
• Запросы на изменения.

Основными выходами процесса Подтверждения и тестирования услуг являются:

• формирование базового состояния конфигураций для проведения тестирования;
• осуществляемые тесты;
• результаты этих тестов;
• анализ результатов - сравнение реальных и прогнозируемых данных, анализ выявленных в ходе тестирования рисков.

Ключевые показатели производительности процесса Подтверждения и тестирования услуг:

1. первостепенные показатели отражают ценность для бизнеса и заказчиков:
• раннее подтверждение того, что услуга сможет предоставлять предсказанную ценность;
• уменьшение негативного влияния ошибок и инцидентов в промышленной эксплуатации;
• более эффективное использование ресурсов;
• уменьшение задержек в тестировании, которые влияют негативно на бизнес;
• улучшение понимания новой или измененной услуги;
• четкое понимание ролей и ответственностей, относящихся к новой или измененной услуге;
• затраты и ресурсы, необходимые от пользователей и заказчиков.
2. второстепенные показатели - внутренние по отношению к поставщику услуг. Эти показатели отражают эффективность и результативность тестирования:
• объем работ и стоимость настройки среды тестирования;
• объем работ для нахождения дефектов;
• уменьшение повторяющихся ошибок - достигается за счет обратной связи тестирования с проектированием и внедрением. Благодаря анализу результатов тестирования ошибки исключаются из будущих релизов;
• уменьшение количества ошибок/дефектов на поздних стадиях тестирования и в процессе производства;
• повторное использование данных тестирований;
• количество ошибок на каждой стадии жизненного цикла;
• количество и процентное соотношение ошибок, которые были обнаружены в ходе тестирования;
• инциденты, найденные в ходе тестирования, как процент от общего количества инцидентов, произошедших в ходе эксплуатации;
• количество известных ошибок, задокументированных на ранних стадиях тестирования.

Дата добавления: 2014-01-05