КАТЕГОРИИ: Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748) |
Стандарты ISO
Международная стандартизация качества ИТ Среди всех международных стандартов в области разработки и применения информационных технологий, используемых в настоящее время, наиболее популярными моделями являются: ISO, TickIT, SEI SW-CMM. Методологическую основу качества ИТ определяют стандарты ИСО серии 9000.
Стандарты ISO являются наиболее известными и распространенными в мире. Стандарты ISO универсальны, их можно применять в качестве моделей независимо от отрасли, в которой функционирует компания. Вследствие этого у модели ISO есть свои неоспоримые преимущества и недостатки. Сейчас стандарты ISO являются обязательным минимумом. Вследствие своей универсальности, модель на основе стандартов ISO серии 9000 получилась достаточно "высокоуровневой". Поэтому для построения полноценной системы качества, основанной на модели ISO, необходимо использовать большое количество вспомогательных отраслевых и ISO стандартов. В стандартах ISO используется определение качества из стандарта ISO 8402: «Качество – совокупность характеристик продукта, относящихся к его способности удовлетворять установленные или предполагаемые потребности». Аналогичное определение содержится в ГОСТ 15467-79: «Качество продукции – это совокупность свойств продукции, обусловливающих ее пригодность удовлетворять определенные потребности в соответствии с ее назначением». Согласно ISO 9000 при создании ИТ и ИС предполагается постоянный контроль свойств создаваемой продукции или услуги, а также характеристик процессов создания. Исходя из этого, при разработке основополагающих стандартов ISO/IEC 15288 и ISO/IEC 12207 планомерно учитывались положения стандартов менеджмента качества ISO 9000 и стандартов оценки зрелости процессов ISO 15504. Краткая характеристика применяемых официальных стандартов управления качеством, оценки качества, а также оценки процессов приведена в таблице Х.
Таблица Х. Перечень стандартов в области качества в сфере ИТ
Часть этих стандартов утверждена как государственные стандарты РФ. В частности, к ним относятся: · ГОСТ Р ИСО 9001-96 "Системы качества. Модель обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании"; · ГОСТ Р ИСО 9002-96 "Системы качества. Модель обеспечения качества при производстве, монтаже и обслуживании"; · ГОСТ Р ИСО 9003-96 "Системы качества. Модель обеспечения качества при окончательном контроле и испытаниях"; · ГОСТ Р ИСО/МЭК 9126-93 «Информационная технология. Оценка программной продукции характеристики качества и руководства по их применению»; · ГОСТ Р ИСО/МЭК 15504-1-2009 «Информационные технологии. Оценка процессов»; · ГОСТ Р ИСО/МЭК 15026-2002 «Информационная технология. Уровни целостности систем и программных средств». Оценка качества ИС – задача крайне сложная из-за многообразия интересов пользователей. Поэтому невозможно предложить одну универсальную меру качества и приходится использовать ряд характеристик, охватывающих весь спектр предъявляемых требований. Согласно нормативным документам ИСО, посвященным проблеме качества ИТ, существующие подходы к оценке качества можно классифицировать как оценку по внутренним показателям качества (технологические показатели), оценку по внешним показателям качества (показатели, зафиксированные при испытаниях) и смешанный подход. Стандарты ИСО, согласно области применения, ориентированы на оценку качества любых систем, но при внимательном их изучении становится очевидным тот факт, что все рекомендации (предлагаемые модели качества) касаются в своем большинстве программных систем, как одной из составляющих ИС. В целом эти модели в некотором приближении можно использовать относительно оценки качества и ИС, в частности такую практику используют как отечественные, так и зарубежные компании. В настоящее время используется несколько абстрактных моделей качества программного обеспечения, основанных на определениях характеристики качества, показателя качества, критерия и метрики. Основой регламентирования показателей качества систем ранее являлся международный стандарт ISO 9126:1991 «Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению». При отборе минимума стандартизируемых показателей качества в документе учитывались следующие принципы: • простота и возможность измерения значений; • отсутствие перекрытия между используемыми показателями; • соответствие установившимся понятиям и терминологии; • возможность последующего уточнения и детализации; • выделение характеристик, которые позволяют оценивать ИС с позиции пользователя, разработчика и управляющего проектом. В настоящее время ведутся работы по развитию и совершенствованию этого стандарта в направлении уточнения, детализации и расширения номенклатуры, характеристик качества комплексов программ. Стандарт ISO 9126:1991 заменен на две взаимосвязанные серии стандартов: ISO 9126:1-4«Характеристики и метрики качества программного обеспечения» и ISO 14598-1-6:1998-2000«Оценивание программного продукта». Разработанный комплекс стандартов ISO 9126 состоит из четырех частей под общим заголовком: Часть 1: Модель качества; Часть 2: Внешние метрики; Часть 3: Внутренние метрики; Часть 4: Метрики качества в использовании. В стандарте ISO 9126-1 (Часть 1) рекомендуется специфицировать и оценивать качество систем с различных точек зрения: приобретения, определения требований, разработки, использования, оценивания, поддержки, сопровождения, обеспечения качества, аудита. Модель качества информационной системы, определенная в данной части стандарта, может использоваться для следующих целей: · проверки полноты определения требований в контракте; · идентификации требований к ИС (в большей степени АИС); · идентификации целей проекта ИС; · идентификации целей испытаний ИС; · идентификации критериев приемки пользователем и сертификации законченной разработкой ИС. Данная часть ISO 9126-1 определяет модель характеристик качества, которая разделяет общее качество информационных систем на шесть базовых характеристик (функциональные возможности, надежность, практичность, эффективность, сопровождаемость и мобильность), далее структурированных на субхарактеристики. Определенные настоящим стандартом характеристики дополнены рядом требований по выбору метрик и их измерению для различных стадий ЖЦ системы. В стандарте ISO 9126-1 (Часть 2) используются меры ИС, определенные на основе поведения системы в процессе испытаний, эксплуатации или наблюдения исполняемой системы. Перед приобретением или использованием системы необходимо провести ее оценку с использованием метрик, учитывающих деловые и профессиональные цели, связанные с использованием, эксплуатацией и управлением продуктом в определенной организационной и технической среде. Внешние метрики обеспечивают заказчикам, пользователям, испытателям и разработчикам возможность определять качество системы в ходе испытаний или эксплуатации. В требованиях к качеству ИС должны быть перечислены характеристики и субхарактеристики, которые составляют полный набор показателей качества. Процесс формирования требований к качеству завершается определением подходящих внешних метрик, устанавливающих количественные и качественные критерии, которые подтверждают, что разрабатываемая система удовлетворяет потребностям заказчика и пользователя, и их приемлемых диапазонов значений. Далее определяются и специфицируются внутренние атрибуты системы, чтобы спланировать удовлетворение требуемых внешних характеристик качества в конечном продукте и обеспечить их в промежуточных продуктах в ходе разработки. Подходящие внутренние метрики и их приемлемые диапазоны специфицируются для получения числовых значений или категорий внутренних характеристик качества, чтобы их можно было использовать для проверки соответствия промежуточных продуктов, создаваемых в процессе разработки, внутренним спецификациям качества. Рекомендуется использовать внутренние метрики, которые имеют наиболее сильные связи с целевыми внешними метриками. Стандарт ISO 9126-1 (Часть 3)применяется в ходе проектирования и программирования к неисполняемым компонентам системы, таким как спецификация или исходный программный текст. При разработке ИС промежуточные продукты оцениваются с использованием внутренних метрик, которые измеряют свойства программ, и могут быть выведены из моделируемого поведения. Основная цель использования внутренних метрик – обеспечить достижение требуемого внешнего качества системы. Внутренние метрики дают возможность пользователям, испытателям и разработчикам оценивать качество жизненного цикла программ и заниматься вопросами технологического обеспечения качества задолго до того, как ИС становится готовым исполняемым продуктом. Внутренние метрики позволяют измерять внутренние атрибуты системы или формировать признаки внешних атрибутов путем анализа статических свойств промежуточных или поставляемых программных компонентов. Для измерения внутренних метрик используются категории, числа или характеристики элементов системы, которые, например, имеются в процедурах исходного программного текста, в потоке данных и в представлениях изменения состояний памяти. Документация также может оцениваться с использованием внутренних метрик. Стандарт ISO 9126-1 (Часть 4) определяет степень удовлетворения продуктом потребностей конкретных пользователей в достижении заданных целей. При этом учитываются: результативность, подразумевающая точность и полноту достижения определенных целей пользователями при применении системы; продуктивность, соответствующую соотношению израсходованных ресурсов и результативности при ее эксплуатации; удовлетворенность – психологическое отношение к качеству используемой системы. Метрики качества в использовании не входят в число шести базовых характеристик ИС (функциональные возможности, надежность, практичность, эффективность, сопровождаемость и мобильность), регламентируемых стандартом ISO 9126-1, однако они рекомендуются для интегральной оценки результатов функционирования комплексов программ. Метрики качества в использовании должны подтверждать качество системы для определенных сценариев и задач. Данные метрики являются оптимальными для определения качества системы пользователем. Качество в использовании – это восприятие пользователем качества системы, измеряемое скорее в терминах результатов использования системы, чем в показателях собственных внутренних свойств ИС. Связь качества в использовании с другими характеристиками качества систем зависит от типа пользователя: для конечного пользователя качество в использовании обусловливают в основном характеристики функциональных возможностей, надежности, практичности и эффективности, а для персонала сопровождения ИС качество в использовании определяется сопровождаемостью. На качество в использовании могут влиять любые характеристики качества, и это понятие шире, чем, например, практичность, которая связана с простотой использования и привлекательностью. Качество в использовании в той или иной степени характеризуется сложностью применения комплекса программ, которую можно описать трудоемкостью использования с требуемой результативностью. Многие характеристики и субхарактеристики показателей качества ИС обобщенно отражаются неявными технико-экономическими показателями, которые определяют функциональную пригодность конкретной ИС. В течение последних десятилетий активизировался рост числа всевозможных стандартов качества информационных систем. Исходя из этого, следует учитывать, что постоянно меняющиеся стандарты не всегда позволяют адекватно оценить реальное качество разрабатываемых систем. Рассмотрим критерии оценки качества систем, изложенные в стандарте ISO 9126-1. Критерий может быть определен как независимый атрибут ИС или процесса ее создания. С помощью такого критерия может быть измерена характеристика качества ИС на основе той или иной метрики. Совокупность нескольких критериев определяет показатель качества, формируемый исходя из требований, предъявляемых к ИС. В настоящее время наибольшее распространение получила иерархическая модель взаимосвязи компонентов качества ИС. Стандарты, как было отмечено выше, категорируют атрибуты качества системы по шести характеристикам: 1) функциональным возможностям; 2) надежности; 3) практичности; 4) эффективности; 5) сопровождаемости; 6) мобильности. Далее характеристики подразделяются на субхарактеристики, которые могут измеряться внутренними или внешними метриками. Исходя из принципиальных возможностей их измерения, все характеристики объединены в три группы (табл. 1.1): 1) категорийно-описательные, отражающие набор свойств и общие характеристики объекта (функции, категории ответственности, защищенности и важности), которые могут быть представлены номинальной шкалой категорий; 2) количественные, представляемые множеством упорядоченных, равноотстоящих точек, отражающих непрерывные закономерности, и описываемые интервальной или относительной шкалой. Эти показатели можно объективно измерить и численно сопоставить с требованиями; 3) качественные, содержащие несколько упорядоченных или отдельных значений (категорий), которые характеризуются порядковой или точечной шкалой набора категорий, устанавливаются в значительной степени субъективно и экспертно.
Таблица Х — Характеристики качества АСОИУ
Функциональные возможности – способность ИС обеспечивать функции, удовлетворяющие установленным потребностям заказчиков и пользователей при применении комплекса программ в заданных условиях. Данная характеристика определяет, какие функции и задачи решает ИС для удовлетворения потребностей, в то время как другие характеристики главным образом связаны непосредственно с функционированием системы. В данной характеристике для установленных и подразумеваемых потребностей применимы описания и примечания к определению характеристик качества. Субхарактеристики функциональной возможности можно охарактеризовать в основном категориями и качественным описанием функций, для которых трудно определить меры и шкалы. Поэтому они отнесены в отдельную группу категорийно-описательных метрик. Функциональная пригодность – это набор и описания атрибутов, определяющих назначение, номенклатуру, основные, необходимые и достаточные функции ИС, заданные техническим заданием и спецификациями требований заказчика или потенциального пользователя. В процессе проектирования ИС атрибуты функциональной пригодности должны конкретизироваться в спецификациях на компоненты и на систему в целом. Некоторые атрибуты можно численно представить точно стью результатов, относительным числом поэтапно изменяемых функций, числом реализуемых требований спецификаций Заказчиков и т.д. Кроме них функциональную пригодность отражают множество различных специализированных метрик, которые тесно связаны с конкретными функциями и областью применения программ. В наибольшей степени функциональная пригодность связана с корректностью и надежностью ИС. Кроме них функциональная пригодность отражается множеством различных характеристик и субхарактеристик, таких как способность компонентов к взаимодействию и степень стандартизации интерфейсов, мобильность программ и их защищенность от негативных внешних воздействий. Корректность (правильность) – способность системы обеспечивать правильные или приемлемые результаты и эффекты. Данное понятие включает получение ожидаемых данных с необходимой степенью точности расчетных значений. Приведенные ниже виды корректности используются в основном для интегральной оценки разработанных информационных систем. В процессе проектирования модулей и групп программ применяются частные конструктивные показатели корректности, которые включают корректность структуры программ, обработки данных и межмодульных интерфейсов. Каждый из частных показателей может характеризоваться несколькими методами измерения качества и достигаемой степенью корректности программ: детерминировано, стохастически или в реальном времени. Корректность программных модулей включает функциональную и конструктивную корректность. Конструктивная корректность модулей заключается в соответствии их структуры общим правилам структурного программирования и конкретным правилам оформления и внутреннего строения программных модулей в данном проекте. Функциональная корректность модулей определяется корректностью обработки исходных данных и получения результатов. Корректность обработки данных также имеет функциональную и конструктивную составляющие. Конструктивная корректность обработки данных определяется правилами их структурирования и упорядочения. Эти правила могут быть достаточно полно формализованы без учета конкретных особенностей функций программ. Назначение и область применения программ определяют выбор используемых структур данных и конкретных методик их упорядочения. Функциональная корректность обработки данных связана в основном с конкретизацией их содержания в процессе исполнения программ, а также учитывается при подготовке данных внешним абонентам. Корректность структуры комплексов программ определяется корректностью структуры Модулей и корректностью структуры групп программ, построенных из модулей. Для оценки корректности структуры программ используется несколько частных показателей, различающихся степенью охвата тестами структурных компонентов программы при тестировании. Способность к взаимодействию – свойство ИС и ее компонентов взаимодействовать с одной или большим числом указанных систем или компонентов. Способность информационных компонентов к взаимодействию можно оценивать объемом изменений в системе, которые необходимо выполнить при дополнении или исключении некоторой функции, при отсутствии изменений операционной или аппаратной среды. Этот показатель связан с такими субхарактеристиками, как корректность и унифицированность межмодульных интерфейсов, которая определяется двумя видами связей: по управлению и по информации. Связи по управлению определяются вызовами программных модулей и возвратами в вызывавшие модули. Взаимодействие модулей по информации может происходить через обменные переменные, непосредственно подготавливаемые и используемые соседними модулями, или через глобальные переменные между более крупными компонентами. Многообразие и сложность информационных связей в крупных системах значительно затрудняют формализацию и измерение достигнутой корректности взаимодействия программ. Защищенность – способность систем защищать программы, информацию и данные. В критериях защиты и обеспечения безопасности для конкретной ИС сосредоточиваются разнообразные характеристики, которые в ряде случаев трудно или невозможно описать количественно, в связи с чем приходится оценивать их экспертно или по бальной системе. Основное внимание в практике обеспечения безопасности применения информационных систем сосредоточено на защите от злоумышленных разрушений, искажений и хищений программных средств и информации баз данных. При этом подразумевается наличие заинтересованных лиц в доступе к конфиденциальной или полезной информации с целью ее незаконного использования, хищения, искажения или уничтожения. В реальных сложных системах возможны катастрофические последствия и аномалии функционирования, отражающиеся на безопасности применения, при которых их источниками являются случайные, непредсказуемые, дестабилизирующие факторы при отсутствии непосредственно заинтересованных в подобных нарушениях лиц. Наиболее полно качество защиты ИС характеризуется величиной предотвращенного ущерба, возможного при проявлении дестабилизирующих факторов и реализации конкретных угроз безопасности, а также средним временем между возможными проявлениями угроз, нарушающих безопасность. Однако описать и измерить возможный ущерб при нарушении безопасности для критических ИС разных классов практически невозможно. Поэтому факты реализации угроз целесообразно характеризовать интервалами времени между их проявлениями или наработкой на отказы, отражающиеся на безопасности. Это сближает понятия и характеристики степени безопасности с показателями надежности ИС. Принципиальное различие состоит в том, что в показателях надежности учитываются все реализации отказов, а в характеристиках защиты следует регистрировать только те отказы, которые отразились на безопасности функционирования. Достаточно универсальным измеряемым показателем при этом остается длительность восстановления нормальной работоспособности информационной системы. Приближенно такие катастрофические отказы в восстанавливаемых системах можно выделять по превышению некоторой допустимой длительности восстановления работоспособности. В требованиях к программам, обеспечивающим защиту, следует отражать все аспекты, необходимые для удовлетворения согласованных потребностей заказчика по общей безопасности ИС. Согласованность – соответствие системы стандартам, нормативным документам, соглашениям или нормам законов и другим предписаниям, связанным с функциями, областью применения и защитой ИС. Надежность – свойство комплекса программ обеспечивать достаточно низкую вероятность отказа в процессе функционирования системы в реальном времени. Надежность функционирования программ является понятием динамическим, проявляющимся во времени. ГОСТ 15467-79, ГОСТ 13377-55, ГОСТ 27.002-89 посвящены теории надежности. Завершенность – свойство системы не попадать в состояния отказов вследствие имеющихся ошибок и дефектов в программах и данных. Количество необнаруженных дефектов и ошибок непосредственно отражается на длительности нормального функционирования комплекса программ между сбоями и отказами. Завершенность можно характеризовать наработкой (длительностью) на отказ при отсутствии автоматического восстановления (рестарта), измеряемой обычно часами. На этот показатель надежности влияют только отказы вследствие проявившихся дефектов. Устойчивость к дефектам и ошибкам – свойство системы поддерживать заданный уровень качества функционирования в случаях проявления дефектов и ошибок или нарушений установленного интерфейса. Для этого в систему должна вводиться временная, программная и информационная избыточность, реализующая оперативное обнаружение дефектов функционирования, их идентификацию и автоматическое восстановление нормального функционирования системы. Относительная доля вычислительных ресурсов, используемых непосредственно для быстрой ликвидации последствий отказов и оперативного восстановления нормального функционирования системы (рестарта), отражается на повышении устойчивости и надежности программ. Наработка на отказ при наличии оперативного рестарта определяет величину устойчивости. Восстанавливаемость – свойство системы в случае отказа восстанавливать заданный уровень качества функционирования, а также поврежденные программы и данные. После отказа системы иногда бывают неработоспособны в течение некоторого периода времени, продолжительность которого определяется его восстанавливаемостью. Основным показателем процесса восстановления является длительность восстановления и ее вероятностные характеристики. Восстанавливаемость характеризуется также полнотой восстановления нормального функционирования программ в процессе ручного или автоматического их перезапуска. Перезапуск должен обеспечивать возобновление нормального функционирования системы, на что требуются ресурсы ЭВМ и время. Поэтому полнота и длительность восстановления функционирования после сбоев и отказов определяет надежность системы и возможность его использования по прямому назначению. Доступность (готовность) – свойство системы выполнять требуемую функцию в данный момент времени при заданных условиях использования. Доступность может оцениваться временем, в течение которого система находится в работоспособном состоянии, в пропорции к общему времени применения. Следовательно, доступность связана с такими субхарактеристиками, как завершенность, устойчивость к ошибкам и восстанавливаемость, которые в совокупности обусловливают длительность простоя после каждого отказа, а также длительность наработки на отказ. Для определения этой величины измеряется время работоспособного состояния системы между последовательными отказами или началами нормального функционирования системы после них. Готовность системы характеризуется коэффициентом готовности, который отражает вероятность иметь восстанавливаемую систему в работоспособном состоянии в произвольный момент времени. Эффективность – свойство системы обеспечивать требуемую производительность с учетом количества используемых вычислительных ресурсов в установленных условиях. Эти ресурсы могут включать другие программные продукты, аппаратные средства, средства телекоммуникации и т.п. Таким образом, эффективность характеризуется долей времени использования средств вычислительной техники для решения основных функциональных задач системы. Временная эффективность – свойство системы обеспечивать требуемое время отклика и обработки заданий, а также пропускную способность при выполнении его функций в заданных условиях. Временная экономичность системы определяется длительностью выполнения заданных функций. Она зависит от скорости обработки данных, влияющей непосредственно на интервал времени завершения конкретного вычислительного процесса, и от пропускной способности, т.е. от числа заданий, которое можно реализовать на данной ЭВМ в заданном интервале времени. Данные показатели качества тесно связаны со временем реакции (отклика) системы на запросы при решении основных функциональных задач. Величина этого времени зависит от длительности решения задачи центральным процессором ЭВМ, затрат времени на обмен с внешней памятью, на ввод и вывод данных и длительности ожидания в очереди до начала решения задачи. Временная эффективность обусловливается с длительностью обработки типового запроса или интервалом времени решения типовых или наиболее частых функциональных задач данными системами. Пропускная способность комплекса программ на конкретной ЭВМ отражается числом сообщений или запросов на решение определенных задач, обрабатываемых в единицу времени. Она зависит от функционального содержания системы и конструктивной его реализации и может рассматриваться как один из внутренних показателей качества программ. Декомпозицию этого показателя целесообразно проводить, ориентируясь на конкретные функции системы и особенности ее архитектуры. Используемость ресурсов – свойство системы использовать доступные вычислительные ресурсы в течение заданного времени при выполнении его функций в установленных условиях. Эта субхарактеристика может быть определена показателем ресурсной экономичности, который отражает количество и степень занятости ресурсов центрального процессора, оперативной, внешней и виртуальной памяти, каналов ввода-вывода, терминалов и каналов локальной сети. Этот показатель определяется структурой и функциями системы, а также архитектурными особенностями и доступными ресурсами ЭВМ. В зависимости от конкретных особенностей системы и ЭВМ при выборе критериев может доминировать либо величина абсолютной занятости ресурсов различных видов, либо относительная величина использования ресурсов каждого вида при нормальном функционировании системы. Ресурсная экономичность влияет не только на стоимость решения функциональных задач, но, зачастую, особенно для встраиваемых ЭВМ, определяет принципиальную возможность полноценного функционирования системы в условиях реально ограниченных вычислительных ресурсов. Несмотря на быстрый рост доступных ресурсов памяти и производительности ЭВМ, очень часто потребности в ресурсах для решения конкретных задач системой превышают имеющееся их количество, что актуализирует задачу оценки и экономного использования вычислительных ресурсов. Такие характеристики, как практичность, сопровождаемость и мобильность в основном определяются качественными оценками. Для некоторых субхарактеристик сопровождаемости и мобильности могут доминировать технико-экономические меры трудоемкости (человеко-часы) и длительности (часы), используемые для характеристики процесса решения конкретных задач. Однако для многих показателей в этой группе характеристик приходится применять порядковые меры экспертных бальных шкал с небольшим числом (2-4) градаций. Практичность (применимость) – свойство системы, характеризующееся сложностью ее понимания, изучения и использования, а также привлекательность для пользователя при применении в указанных условиях. В число пользователей могут быть включены операторы, конечные пользователи и косвенные пользователи, непосредственно не связанные с системой. В практичности следует учитывать всё разнообразие характеристик внешней среды пользователей, на которые может влиять система, включая возможную подготовку к использованию и оценку результатов функционирования программ. Практичность (применимость) использования системы – понятие достаточно абстрактное и трудно формализуемое, однако в итоге зачастую значительно определяющее функциональную пригодность и полезность применения системы. В эту группу показателей входят критерии, с различных сторон отражающие функциональную понятность, удобство освоения, эффективность или простоту использования. Некоторые из субхарактеристик можно оценивать затратами труда и времени на их реализацию. Понятность – свойство системы, обеспечивающее пользователю возможность определения степени пригодности ее для конкретных задач и имеющихся условий эксплуатации. Данная характеристика определяется качеством документации и первичными впечатлениями от системы в целом. Понятность системы может быть охарактеризована четкостью функциональной концепции, широтой демонстрационных возможностей, полнотой и наглядностью представления в документации возможных функций, распознаваемостью модифицируемых параметров и адаптируемостью системы к конкретной среде и условиям применения пользователями. Простота использования определяется возможностью и комфортностью эксплуатации и управления системой. Свойства изменяемости, адаптируемости и легкости установки могут быть предпосылками для простоты использования. Простота использования характеризуется управляемостью, устойчивостью к ошибкам и согласованностью с ожиданиями пользователя. Эта субхарактеристика учитывает физические и психологические характеристики пользователей. Отражает уровень комфортности условий эксплуатации системы, которым присущи простота управления функциями системы и высокая информативность сообщений пользователю, наглядность и унифицированность управления экраном, а также доступность изменения функций в соответствии с квалификацией пользователя и числом операций, необходимых для запуска определенного задания и анализа результатов. Кроме того, простота использования характеризуется рядом динамических параметров: временем ввода и отклика на задание, длительностью решения типовых задач, временем на регистрацию результатов. Изучаемость характеризуется удобством изучения системы пользователем с целью ее применения. Она определяется трудоемкостью и длительностью подготовки пользователя к полноценной эксплуатации системы. Эти показатели зависят от возможности предварительного обучения и совершенствования в процессе эксплуатации, от возможностей оперативной помощи и подсказки при использовании системы, а также от полноты, доступности и удобства использования руководств и инструкций по эксплуатации. Изучаемость может также характеризовать объем (число страниц) эксплуатационной документации и/или объем (Кбайт) электронных учебников. Привлекательность – субъективное свойство системы «нравиться» пользователям. Оно связано с внешними атрибутами оформления системы и эксплуатационной документации, обусловливающими большую или меньшую его привлекательность для пользователя. Сопровождаемость – приспособленность системы к модификации и изменению конфигурации. Изменения могут включать исправления, усовершенствования или адаптацию системы к изменениям в среде применения, а также в требованиях и функциональных спецификациях заказчика. Простота и трудоемкость модификаций определяются внутренними характеристиками качества комплекса программ, которые отражаются на внешнем качестве и качестве в использовании, а также на сложности управления конфигурацией системы. Анализируемость – способность системы к диагностике ее дефектов или причин отказов, а также к идентификации и выделению ее компонентов для модификации. Эта субхарактеристика зависит от стройности архитектуры, унифицированности интерфейсов, полноты и корректности технологической и эксплуатационной документации на систему. Изменяемость – приспособленность системы к достаточно простой реализации специфицированных изменений и к управлению конфигурацией. Реализация модификаций включает кодирование, проектирование и документирование изменений, которые характеризуются определенной трудоемкостью и временем, связанным с исправлением дефектов и/или модернизацией функций, а также с изменением условий эксплуатации. В оценках этой субхарактеристики учитываются влияние структуры, интерфейсов и технических особенностей системы и не рассматриваются воздействия крупных, принципиальных изменений ее функций. Если систему должен модифицировать конечный пользователь, изменяемость может быть предпосылкой и частью простоты использования. Стабильность – способность системы предотвращать и минимизировать непредвиденные негативные эффекты от ее изменений. Эта внутренняя субхарактеристика определяется архитектурой системы, унифицированностью интерфейсов, корректностью технологической документации и может существенно влиять на функциональную пригодность, надежность и адекватность поведения системы при использовании и усовершенствовании. Тестируемость – способность системы обеспечивать простоту проверки изменений и приемки модифицированных компонентов программ. Оценки этой субхарактеристики зависят от четкости правил структурного построения компонентов и всего комплекса программ, унификации межмодульных и внешних интерфейсов, полноты и корректности технологической документации. Возможность локализации изменений и унификация интерфейсов компонентов с некорректируемой частью системы позволяет сокращать сложность, трудоемкость и длительность их тестирования, упрощает подготовку тестов и анализ результатов. В этой субхарактеристике отражаются в основном технические составляющие процесса тестирования модификаций без учета организационной и функциональной части их подготовки. Обобщенно ее можно оценивать затратами труда и времени на тестирование некоторых средних модификаций программ. Мобильность – приспособленность системы к переносу из одной аппаратно-операционной среды в другую. Переносимость программ и данных на различные аппаратные и операционные платформы является важным свойством функциональной пригодности для многих современных систем, которое может оцениваться объемом, трудоемкостью и длительностью необходимых доработок компонентов системы и операций по адаптации, которые следует выполнить для обеспечения полноценного функционирования системы после переноса на иную платформу. Мобильность должна быть заложена на уровне исходных текстов программ или на уровне объектного кода. Она зависит от структурированности и расширяемости комплексов программ и данных, а также от дополнительных ресурсов, необходимых для реализации переносимости и модификации компонентов при их переносе. Адаптируемость – способность системы к модификации для эксплуатации в различных аппаратных и операционных средах без применения других дополнительных действий или средств. Адаптируемость включает масштабируемость внутренних возможностей (например, экранных полей, размеров таблиц, объемов транзакций, форматов отчетов и т.д.). В случае адаптации системы конечным пользователем эта субхарактеристика может быть компонентом для определения простоты использования. Простота установки – способность системы к простому внедрению (инсталляции) в указанной среде заказчика или пользователя. В случае установки системы конечным пользователем легкость (простота) установки может быть компонентом для определения удобства использования. Также как и адаптируемость данная характеристика может измеряться трудоемкостью и длительностью процедур установки, а также степенью удовлетворения требованиям заказчика и пользователей. Сосуществование (соответствие) – способность системы сосуществовать и взаимодействовать с другими независимыми системами в общей вычислительной среде, разделяя общие ресурсы. Эта субхарактеристика зависит от степени стандартизации интерфейсов системы с операционной и аппаратной средой применения и может оцениваться экспертно. Замещаемость – приспособленность системы к относительно простому использованию других различных компонентов вместо выделенных, подлежащих замене. Замещаемость не предполагает, что заменяемый компонент системы способен полностью изменить сущность рассматриваемой системы. Она может включать атрибуты как простоты установки, так и адаптируемости. Большую роль для этого свойства играют четкая структурированность архитектуры и стандартизация внутренних и внешних интерфейсов системы. Замещаемость характеризуется трудоемкостью и длительностью замены крупных компонентов системы. Несмотря на то, что стандарт претендует на полноту анализа, то есть, рассматривает качество всего изделия ИС, предлагаемый авторами стандарта пример характеристик, по сути, затрагивает лишь качество ПО. Вместе с тем, необходимо заметить, что стандарт рассматривает критерии качества как со стороны руководства, конечного пользователя, так и разработчика (хотя и достаточно косвенно). Например, критерии качества с точки зрения разработчика: техническое качество работы (быстродействие, надежность), пригодность к сопровождению и развитию, устойчивость – полностью относятся к компетенции системы качества ПО. Следует также отметить, что качество ИС связано и с «дефектами», заложенными на этапе проектирования и проявляющимися в процессе эксплуатации. Свойства ИС, в том числе и дефектологические, могут проявляться лишь во взаимодействии с внешней средой, включающей технические средства, персонал, информационное и программное окружение. В зависимости от целей исследования и этапов жизненного цикла ИС дефектологические свойства разделяют на дефектогенность, дефектабельность и дефектоскопичность. Дефектогенность определяется влиянием следующих факторов: · численностью разработчиков ИС, их профессиональными психофизиологическими характеристиками; · условиями и организацией процесса разработки ИС; · характеристиками инструментальных средств и комплексов ИС; · сложностью задач, решаемых ИС; · степенью агрессивности внешней среды (потенциальной возможностью внешней среды вносить преднамеренные дефекты, например, воздействие вирусов). Дефектабельность характеризует наличие дефектов ИС и определяется их количеством и местонахождением. Другими факторами, влияющими на дефектабельность, являются: · структурно-конструктивные особенности ИС; · интенсивность и характеристики ошибок, приводящих к дефектам. Дефектоскопичность характеризует возможность проявления дефектов в виде отказов и сбоев в процессе отладки, испытаний или эксплуатации. На дефектоскопичность влияют: · количество, типы и характер распределения дефектов; · устойчивость ИС к проявлению дефектов; · характеристики средств контроля и диагностики дефектов; · квалификация обслуживающего персонала. Стандартами рекомендуется, чтобы было предусмотрено измерение каждой характеристики качества ИС (или субхарактеристики) с точностью и определенностью, достаточной для установления критериев и выполнения сравнений, и чтобы эта точность обеспечивалась при измерении. Следует предусматривать нормы допустимых ошибок измерения, вызванных инструментами измерений и ошибками человека. Метрики, используемые для сравнений, должны быть утверждены и иметь точность, достаточную для выполнения надежных сравнений. Для этого требуется, чтобы измерения были объективны, воспроизводимы, и чтобы эмпирические измерения использовали интервальную или еще лучшую шкалу. Чтобы измерения были объективны, должна быть документирована и согласована процедура для присвоения числового значения или категории каждому атрибуту программного продукта. При эмпирических измерениях должны выполняться наблюдения или психометрически одобренные вопросники с применением номинальной, интервальной или порядковой шкалы. Процедуры измерений должны давать в результате одинаковые меры (с приемлемой устойчивостью), получаемые различными субъектами при выполнении одних и тех же измерений. Для внутренних метрик целесообразно учитывать связь каждой из них с некоторым требуемым внешним критерием. Внутренняя мера конкретного атрибута ИС должна находиться в определенном соотношении с некоторым измеримым аспектом качества системы. Важно, чтобы измерения соответствовали значениям, совпадающим с нормальными, очевидными предположениями (например, если измерение показывает, что продукт имеет высокое качество, то этому должна соответствовать характеристика продукта, полностью удовлетворяющая конкретные потребности пользователя). Выше отмечалось, что показатели качества систем с позиции возможности и точности их измерения можно разделить на три типа, особенности которых полезно уточнить для обеспечения их выбора. К категорийно-описательным относятся показатели качества, которые характеризуются наибольшим разнообразием значений свойств ИС и наборов данных и охватывают весь спектр классов, назначений и функций современных ИС. Эти свойства можно сравнивать только в пределах однотипных систем и трудно упорядочивать по принципу предпочтительности. Среди стандартизированных показателей качества к этому типу, прежде всего, относится функциональная пригодность, являющаяся самой важной и доминирующей характеристикой любых ИС. Номенклатура и значения всех остальных показателей качества непосредственно определяются требуемыми функциями программного средства и в той или иной степени влияют на выполнение этих функций. Поэтому выбор функциональных возможностей системы, их подробное и максимально корректное описание являются исходными данными для установления всех остальных стандартизированных показателей качества. К количественным стандартизированным показателям качества относятся достаточно достоверно и объективно измеряемые характеристики: надежность и эффективность. Значения этих характеристик обычно в наибольшей степени влияют на функциональные возможности и метрики в использовании системы. Поэтому выбор и обоснование требуемых их значений должны проводиться наиболее аккуратно и достоверно уже при системном проектировании ИС. Их субхарактеристики могут быть описаны упорядоченными шкалами объективно измеряемых значений, Требуемые численные величины которых могут быть установлены и выбраны заказчиками или пользователями системы. Эти величины могут выбираться и фиксироваться в техническом задании или спецификации требований и сопровождаться методикой объективных, численных измерений при квалификационных испытаниях для сопоставления с требованиями. Для каждой из них может быть установлен допустимый разброс численных значений и требуемая точность измерений. Показатели временной эффективности тесно связаны между собой и влияют на функциональную пригодность системы. Длительность решения основных задач, пропускная способность по числу их решений за некоторый интервал времени, длительность ожидания результатов (отклика) и некоторые другие характеристики динамики функционирования системы могут быть выбраны и установлены количественно в спецификациях требований заказчиком. Эта субхарактеристика не всегда может быть выбрана и достаточно точно зафиксирована на начальных этапах разработки, но она может количественно измеряться и последовательно уточняться в жизненном цикле системы. Используемость ресурсов ЭВМ, если она не достигает критических значений, когда некоторого ресурса становится недостаточно, менее существенно влияет на функциональную пригодность системы. Однако избыток ресурсов снижает экономическую эффективность ИС и должен сохраняться в минимальной степени. Выбор и количественное измерение степени использования различных ресурсов ЭВМ может значительно влиять на изменение функциональной пригодности системы. Группа качественных стандартизированных показателей включает практичность, сопровождаемость и мобильность. Эти характеристики ИС трудно полностью описать измеряемыми количественными значениями и их субхарактеристики в основном имеют описательный, качественный вид. В зависимости от функционального назначения ИС экспертно по согласованию с заказчиком можно определять степень необходимости этих свойств и бальные значения их атрибутов в жизненном цикле конкретной системы. Например, не всегда может предусматриваться требование мобильности программ при их переносе на иные операционные и аппаратные платформы и производиться выбор и оценка соответствующих субхарактеристик. Сопровождаемость может быть определена как неполная замена системы на вновь разработанные версии и тем самым сливаться с процессами разработки или осуществляться как непрерывная поддержка множества пользователей консультациями, а также адаптациями и корректировками программ. При этом может быть определена трудоемкость процессов сопровождения, которая используется как обобщенная качественная характеристика при выборе и установлении требований к этому показателю качества. В зависимости от функции различаются и трудоемкость процессов сопровождения, которая может использоваться как обобщенная качественная характеристика при выборе и установлении требований к этому показателю качества. Соответственно качественно могут быть установлены субхарактеристики сопровождаемости и описаны требуемые их свойства. Практичность наиболее тесно связана с функциональной пригодностью. Обобщенно этот показатель можно отразить трудоемкостью и длительностью, которые необходимы для изучения и полного освоения функций и технологии применения соответствующей системы. Каждая из субхарактеристик практичности имеет ряд качественных атрибутов, которые отмечены выше. Эти показатели могут выбираться и оцениваться экспертно с учетом функционального назначения информационной системы, а также надежности и ресурсной эффективности комплекса программ. Процессы выбора и установления метрик и шкал для описания показателей качества системы можно разделить на два этапа: 1) выбор и обоснование набора исходных данных, характеризующих общие особенности и область применения системы, а также этапы жизненного цикла проектирования системы, каждый из которых влияет на определенные характеристики качества комплекса программ; 2) выбор, установление и утверждение конкретных метрик и шкал измерения показателей качества проекта для их последующего оценивания и сопоставления с требованиями в процессе квалификационных испытаний или сертификации на определенных этапах жизненного цикла АСОИУ. На первом этапе в качестве основы следует использовать всю базовую номенклатуру характеристик и субхарактеристик, стандартизированных в ISO 9126-1-4. Их описания желательно предварительно упорядочить по приоритетам с учетом сферы применения проекта системы. Далее необходимо выделить и ранжировать по приоритетам потребителей, которым необходимы определенные показатели качества конкретного проекта системы с учетом их специализации и профессиональных интересов. Широкая номенклатура характеристик, представленная в стандарте ISO 9126-1-4, поддерживает разнообразные требования, из которых следует выбирать необходимые с позиции потребителей этих данных. Среди потребителей, для которых необходим выбор и установление показателей качества программных средств, выделяются: 1) пользователи или подразделения предприятий-пользователей, предпочитающие оценивать качество и пригодность системы, используя реализуемый набор функций и обобщенные метрики качества, важные при использовании; 2) заказчики, требующие производить оценивание системы, прежде всего, по значениям показателей, определяющих общую сферу применения системы (функциональные возможности, надежность, практичность и эффективность), и заданных в спецификации требований; 3) коллектив специалистов, сопровождающий систему и устанавливающий приоритеты оценок на основе метрик сопровождаемости, обычно независимо от функционального назначения; 4) лица, ответственные за реализацию системы в различных аппаратных и операционных средах, оценивающие систему с использованием метрик мобильности; 5) разработчики, технологи-инструментальщики и специалисты системы качества, поддерживающие жизненный цикл системы, отдающие приоритет значениям внутренних метрик каждой характеристики качества. Первые две группы потребителей заинтересованы в установлении внешних показателей качества в процессе использования конечного, готового программного продукта. Для этих потребителей при выборе важно выделить и по возможности формализовать внешние, эксплуатационные характеристики и метрики программного средства на завершающих этапах жизненного цикла системы. Эти данные должны быть формализованы в контракте, техническом задании и спецификации требований заказчика, согласованных с разработчиками. Внутренние метрики качества для них являются второстепенными. Для остальных трех групп потребителей важными являются характеристики системы на промежуточных этапах ЖЦ, на которых проявляются в основном внутренние, технологические свойства комплекса программ. Эти характеристики качества ИС могут интересовать заказчика и требовать с его стороны формализации постольку, поскольку они обеспечивают качество конечного продукта при применении. Они должны формализоваться для осуществления контроля в соответствии с принятой на данном предприятии системой качества, а также для технологического обеспечения качества в течение всего ЖЦ системы. Их можно не представлять в составе эксплуатационной документации для пользователей и отражать только в технологической документации разработчиков, специалистов по сопровождению и переносу программ и данных, а также предоставлять заказчикам по специальному запросу. Приоритеты потребителей при выборе показателей качества отражаются не только на выделении важнейших для них критериев и ранжировании характеристик, но также на исключении из анализа некоторых показателей качества, которые для данного потребителя не имеют значения. Подготовка исходных данных завершается выделением номенклатуры базовых, приоритетных показателей качества, определяющих функциональную пригодность системы для определенных потребителей. Среди важнейших показателей качества, которые необходимо установить и формализовать в исходных данных, чаще всего являются функциональные возможности для соответствующей сферы применения системы. Эта характеристика и ее субхарактеристики, с учетом особенностей потребителей, доминируют в последующем выборе показателей для определения качества ИС для конкретного потребителя. На втором этапе после фиксирования исходных данных, которое должен выполнить потребитель, процессы выбора номенклатуры и метрик начинаются с ранжирования характеристик и субхарактеристик для конкретного проекта. Этот анализ должны проводить специалисты, обеспечивающие ЖЦ комплекса программ и реализацию установленных показателей качества совместно с заказчиком и пользователями. Далее этими специалистами для каждого из отобранных показателей должна быть согласована и установлена метрика и шкала оценок субхарактеристик и их атрибутов для проекта и потребителя результатов анализа. Там, где возможны количественные измерения или оценки качества, кроме номинальных, требуемых значений может потребоваться выбор и установление допусков на отклонения от величин, требуемых спецификациями. Для показателей, представляемых качественными признаками, желательно определить и зафиксировать в спецификациях описания условий, при которых следует считать, что данная характеристика реализуется в системе. Выбранные значения характеристик качества и их атрибутов должны быть предварительно проверены разработчиками на их реализуемость с учетом доступных ресурсов конкретного проекта и при необходимости откорректированы. Результаты анализа и выбора номенклатуры и метрик характеристик качества проекта системы должны быть документированы в спецификациях требований, согласованы с их потребителями и утверждены заказчиком проекта.
Несмотря на то, что стандарт ISO серии 9000 стал одной из первых моделей качества и до сих пор сертификаты ISO серии 9000 сохраняют неизменную популярность и признаются во всем мире, время не стоит на месте, и методики, положенные в основу стандартов серии ISO 9000, постепенно устаревают. Выделим наиболее существенные недостатки: · недостаточная подробность стандарта, возможность самых различных его толкований в зависимости от представлений аудитора; · неточность оценки качества процессов, задействованных при создании и внедрении программного обеспечения; · отсутствие в стандарте механизмов, способствующих улучшению существующих процессов. В настоящее время не существует стандартов, полностью удовлетворяющих оценке качества ИС. В западноевропейских странах имеется ряд стандартов, определяющих основы сертификации программных систем. Стандарт Великобритании (BS750) описывает структурные построения программных систем, при соблюдении которых может быть получен документ, гарантирующий качество на государственном уровне. Имеется международный аналог указанного стандарта (ISO9000) и аналог для стран-членов НАТО (AQAP1). Существующая в нашей стране система нормативно-технических документов относит программное обеспечение к "продукции производственно-технического назначения", которая рассматривается как материальный объект. Однако программное обеспечение является скорее абстрактной нематериальной сферой. Существующие ГОСТы (например, ГОСТ 28195-89 "Оценка качества программных средств. Общие положения") явно устарели и являются неполными. Перечисленные выше проблемы заставили экспертов разрабатывать более совершенные решения в области обеспечения качества, что привело к созданию в начале 90-х годов целого ряда новых стандартов и методологий. Опишем два наиболее удачных и содержательных стандарта – Capability Maturity Model (CMM) и ISO/IEC 15504 (SPICE). Существуют и другие достаточно развитые методологии.
Стандарт TickIT – национальный (британский), получил достаточно широкую известность. Это отраслевой стандарт, который регламентирует требования к системе качества для организаций разработчиков ИТ и базируется на модели ISO 9001:94. В отличие от модели ISO 9001, которая регламентирует "что необходимо сделать", разработчики данного стандарта попытались ответить на вопрос "как" можно выполнить требования, определенные в ISO 9001. TickIT объединяет в себе модель ISO 9001 с набором рекомендательных стандартов ISO 12207 и ISO 9000-3. Стандарты SEI SW-CMM (Capability Maturity Model – модель зрелости процессов создания ПО) содержат очень интересный подход к улучшению внутренних процессов разработки программного обеспечения, который определен в модели СММ. В основу модели SEI SW-CMM (также как и в основу стандартов ISO серии 9000) положена теория TQM (Total Quality Management - философия всеобщего управления качеством, или концепция всеобщего качества). Теория TQM основывается на постепенном улучшении внутренних производственных процессов за счет множества небольших внедряемых в компании улучшений. Однако модели ISO и CMM несколько различаются в своих подходах к построению самосовершенствующихся систем управления качеством и улучшению производственных процессов. В отличие от модели ISO, где для того, чтобы соответствовать требованиям, необходимо продемонстрировать 100%-ное соответствие модели (и только оно позволяет компании самосовершенствоваться), в модели SEI SW-CMM предусмотрен поэтапный подход к построению системы совершенствования процессов. Для достижения этой цели разработчики стандарта СММ определили пять уровней, которые должна пройти организация для того, чтобы достичь основной цели - повышения эффективности функционирования процессов компании и, как следствие, улучшения качества результатов производственных процессов и разрабатываемого программного обеспечения. Стандарты Project Management. Управление проектами - это приложение знаний, опыта, методов и средств к работам проекта для удовлетворения требований, предъявляемых к проекту, и ожиданий участников проекта. Чтобы удовлетворить эти требования и ожидания, необходимо найти оптимальное сочетание между целями, сроками, затратами, качеством и другими характеристиками проекта. 176 комитет ISO разработал рекомендательный стандарт ISO 10006 "Менеджмент качества. Руководство качеством при управлении проектами", который определяет основные подходы к управлению проектами и определяет его место в модели обеспечения качеством. Авторы стандартов ISO серии 9000 определяют процесс управления проектами как часть системы менеджмента качества. С другой стороны, возможен и противоположный взгляд (которого придерживаются оппоненты стандартов ISO серии 9000), согласно которому менеджмент качества является одной из составной частей системы управления проектами. Основной упор в стандарте сделан на принцип эффективности проектирования оптимального процесса и контроля этого процесса, чем контроля конечного результата. В этой серии стандартов процессы сгруппированы в две категории: · процессы, связанные с продуктом проекта, то есть те процессы, которые касаются исключительно продукта проекта, такие как проектирование, производство, проверка. Описанию последних посвящен стандарт ИСО 9004-1. · процессы управления проектом, которым посвящен стандарт ИСО 10006. ИСО 10006 представлен десятью группами процессов управления проектом. · Первая группа представляет процесс разработки стратегии, который фокусирует проект на удовлетворение потребностей заказчика и определяет направление ход
Дата добавления: 2014-01-05; Просмотров: 11320; Нарушение авторских прав?; Мы поможем в написании вашей работы! Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет |