Липаев В.В. Сертификация программных средств. Учебник

Подождите немного. Документ загружается.

Лекция 6.

Сертификация

процессов производства ... 171

При положительном решении орган по сертификации оформля-

ет сертификат соответствия производства установленного об-

разца. В органе по сертификации, на сертификате проставляют реги-

страционный номер, затем сертификат регистрируют в реестре органа

по сертификации. Обычно срок действия сертификата соответствия

производства - три года.

Инспекционный контроль качества сертифицированного

производства может быть плановым и внеплановым. При плановом

инспекционном контроле общий объем проверки должен составлять

не менее 1/3 количества процессов СМКП, включая совокупность

обязательных элементов, проверяемых при каждом инспекционном

контроле. Объекты аудита при внеплановом инспекционном контроле

определяют в зависимости от причины, вызвавшей необходимость

инспекционного контроля.

Расширение или сужение области сертификации производ-

ства проводят при изменении номенклатуры выпускаемой продукции

или изменении условий производства имеющейся номенклатуры

продукции.

Состав и содержание документации производства и систе-

мы качества предприятия зависят от характеристик процессов про-

ектирования, разработки и модификации программных средств, а

также от требований к их качеству и особенностей технологической

среды. Поэтому необходимый комплект документов для каждого

предприятия или проекта следует выбирать и адаптировать примени-

тельно к этим характеристикам. Оцениваемыми при сертификации

показателями системы качества являются наличие соответствующих

документов и практическое выполнение требований международных

стандартов серии ISO 9000 и должностных инструкций специалиста-

ми предприятия - разработчика. Клиент - заявитель должен подгото-

вить и предъявить проверяющей испытательной лаборатории, согла-

сованный между заказчиком и разработчиком и утвержденный, ком-

плект документов для проверки их достоверности, достаточности

состава и качества процессов изготовления в соответствии с норма-

тивными документами.

Ориентировочный комплект основных документов серти-

фикации качества технологии и производственных процессов со-

стоит из трех групп, содержание которых по структуре подобен, но

172

В. В.

Липаев. Сертификация программных средств

несколько отличается от комплекта документов при сертификации

программных продуктов (см. лекцию 11):

• базовые нормативные документы системы качества в соот-

ветствии с номенклатурой и содержанием серии стандартов ISO

9000,

а также подготовленные руководителями предприятия на их

основе Программа, Руководство и инструкции, предъявляемые испы-

тателям - сертификаторам технологии и системы качества производ-

ства;

• исходные документы, характеризующие конкретное произ-

водственное предприятие и жизненный цикл программного средства,

подготавливаемые руководством предприятия для сертификации тех-

нологии

системы качества производства;

• отчетные документы испытателей - аудиторов, отражающие

результаты испытаний - сертификации технологии производства и

системы качества предприятия, представляемые органу сертифика-

ции,

заявителю

руководству проверяемого предприятия.

Перечень и приблизительное содержание групп этих докумен-

тов могут быть ориентированы на общий случай проверки систем ка-

чества предприятий, реализующих и поддерживающих жизненный

цикл сложных программных средств, базирующихся на изложенных

выше международных стандартах. Комплект документов может со-

кращаться и адаптироваться по согласованию между заявителем, ис-

пытателями и руководством проверяемого предприятия в соответст-

вии с характеристиками и особенностями производства программных

средств.

В отчетной технологической документации, обеспечивающей

многолетнее сопровождение, конфигурационное управление и серти-

фикацию процессов производства программного продукта, необходи-

мы требования, тесты, тексты программ и описания алгоритмов комп-

лекса программ. Это приводит к большому объему документации,

которая может составлять около 100 страниц совокупности докумен-

тов на тысячу строк программного продукта. Статистический анализ

объема документации для производства программных продуктов

различных классов дал широкий разброс числа страниц на единицу

объема программ [15, 17]. Однако выявились некоторые средние

характеристики, которые близки к указанным оценкам. Подтверж-

дена наиболее высокая документированность тиражируемых много-

версионных программ реального времени, особенно в тех случаях,

Лекция

Сертификация процессов производства

... 173

когда необходима высокая безопасность и надежность функциони-

рования программного продукта (до 200 страниц на тысячу строк).

При оценках можно предполагать средний объем технологиче-

ской документации - 50 - 100 страниц на тысячу строк. При этом

затраты на документацию практически пропорциональны размеру

комплекса программ. Часть документации не всегда подлежит массо-

вому тиражированию и поставке каждому Пользователю, что позво-

ляет несколько снижать удельные затраты на ее подготовку. Однако

необходимость ее тщательной отработки, и высокого соответствия

текущей версии программного продукта, приводит к большим затра-

там,

как при первичном изготовлении технологических документов,

так

при их модификации

процессе последующего сопровождения.

174

В. В.

Липаев. Сертификация программных средств

Часть 3

СЕРТИФИКАЦИЯ ПРОГРАММНЫХ

ПРОДУКТОВ

Лекция 7

ФОРМИРОВАНИЕ ТРЕБОВАНИЙ

К ХАРАКТЕРИСТИКАМ И КАЧЕСТВУ

ПРОГРАММНЫХ ПРОДУКТОВ

Общие требования к качеству функционирования

программных продуктов

Цели, методы и схема процессов сертификации программного

продукта должны обеспечивать высокое качество результатов про-

изводства и его полное соответствие требованиям заказчика и поль-

зователей. В учебнике они изложены в пяти лекциях, общий состав

которых содержит (рис. 7.1):

• формирование функциональных и конструктивных требова-

ний к программным продуктам, требования к допустимым рискам и

проверку их корректности;

• организацию сертификационных испытаний программных

продуктов на соответствие требованиям, предварительный выбор

стратегии, планирование и оценки затрат на испытания;

• подготовку сертификационных испытаний программных

продуктов, выбор методов, требования к тестам и процессы генера-

ции динамических тестов внешней среды в реальном времени;

• Программы, методики и процессы испытаний программных

продуктов, а также эксплуатационной документации на соответствие

требованиям к программным продуктам;

• завершение испытаний, оформление отчетной документации

и утверждение акта результатов сертификационных испытаний про-

граммных продуктов на соответствие требованиям, тиражирование и

внедрение сертифицированных версий программных продуктов.

Лекция 7.

Формирование требований к

характеристикам...

175

Схема сертификационных испытании npoi раммных продуктов

Формирование функциональных требований к программному

продукту:

- особенности требований заинтересованных лиц в программных

продуктах;

- требования к надежности функционирования, функциональной

безопасное!и, производительности и эффективности использова-

ния ресурсов ЭВМ программным продуктом;

- требования к допустимым рискам применения программною

продукта и эксплуатационным характеристикам.

Организация сертификационных испытаний программного

продукта на соответствие требованиям

- цели, задачи и процессы сертификационных испьманпп;

- стратегии, планирование, графики тестирования и ресурсы пред-

варительных испытаний па соответствие требованиям;

- оценки затрат на испытания программного продукта.

Подготовка сертификационных испытаний программного

продукта:

- требования к квалификации испытателей программного продукта:

- подготовка тестов для испытании иротраммного продукта:

- требования к reciaM для испытаний модулей и компонентов;

- требования к генерации и компонентам динамических тестов I

внешней среды для испытаний продукта в реальном времени; |

- средства обработки результатов и оценки эффективности дина-

мической генерации тестов для испытаний в реальном времени.

Сертификационные испытания программного продукта на

соответствие требован или:

- порядок сертификационных испытаний программного продукта;

- про1рамма и методики испытаний профаммного продукта;

- испытания соответствия функциональных и конструктивных ха-

рактеристик программттого продукта заданным требованиям;

- испытания надежности, функциональной безопасности и дина-

мических характеристик программного продукта.

Удостоверение качества и завершение сертификационных ис-

пытаний продукта на соответствие требованиям:

- испытания для сокращения и ликвидации опасных рисков;

- испытания эксплуатационной документации па соответствие

требованиям к протраммному продукту.

- завершение испытаний и оформление документации результа-

тов,

утверждение акта сертификационных испытаний;

- тиражирование и внедрение сертифицированных версий про-

граммного продукта.

Рис. 7.1

176

В. В.

Липаев. Сертификация программных средств

Для сертификации программных продуктов, прежде всего,

необходимо понимать их основные свойства, уметь выделить и фор-

мализовать требуемые характеристики. Базовые международные

стандарты определяют основные требования к качеству комплексов

программ для их сертификации (см. Приложение). Непосредственно

к характеристикам качества программных средств относится группа

стандартов, в которую входят нормативные документы, регламен-

тирующие формализацию требований к метрикам качества комплек-

сов программ, методы и процессы их выбора и измерения. Эта группа

является важнейшей для достижения и гарантирования высокого ка-

чества программного продукта. Тщательное специфицирование

требований к качеству программного продукта - ключевой фак-

тор обеспечения их сертификации и адекватного

применения.

Это

может быть достигнуто на основе выделения и определения подхо-

дящих характеристик качества с учетом целей использования и функ-

циональных задач комплекса программ [3, 9, 12].

Основой для формирования требований к характеристикам ком-

плексов программ является анализ важнейших свойств, отражающих

качество их функционирования, определивших содержание этой лек-

ции (рис. 7.2). При этом под качеством функционирования понима-

ется множество свойств, обусловливающих пригодность программ-

ного продукта обеспечивать надежное и своевременное представле-

ние требуемой информации системе, заказчику и/или потребителю

для его дальнейшего использования по назначению. В соответствии с

принципиальными особенностями конкретного комплекса программ

при проектировании должны выбираться номенклатура и значения

показателей качества, необходимых для его эффективного примене-

ния пользователями, которые отражаются в технической документа-

ции и в спецификациях требований на конечный программный про-

дукт.

Основой для формирования функциональных показателей,

оцениваемых при сертификации, является анализ свойств, характе-

ризующих качество функционирования создаваемого программного

средства с учетом технологических возможностей разработчика. При

этом под качеством функционирования понимается множество

свойств, обуславливающих пригодность системы обеспечивать на-

дежное и своевременное представление требуемой информации для

ее дальнейшего функционального использования.

Лекция 7. Формирование требований к характеристикам... 177

Формирование требований

функционированию

программных

продуктов:

- системная эффективность целевого применения программ-

ных продуктов определяется степенью удовлетворения по-

требностей заказчика

пользователей;

- каждое требование должно отражать отдельно распознава-

емую,

измеряемую сущность программного продукта;

- для контроля качества и корректности на значимость за-

дач,

следует сопоставлять конкретные требования и сформу-

лированные цели разработки программного продукта;

- функциональную пригодность определяют: требования к

количественным, измеряемым характеристикам и требования

к структурным характеристикам, определяющим архитектуру

комплекса программ;

- для обеспечения качества программного продукта необхо-

дим набор требуемых характеристик, свойств, их мер и зна-

чений качества для определенных потребителей программ-

ного продукта;

- следует учитывать, что требования обычно инициируются

заказчиком с объемом функций, превышающим тот, который

можно реализовать при выделенных ресурсах;

- ограниченные ресурсы для реализации требований функ-

циональной пригодности, могут негативно отражаться на

конструктивных характеристиках продукта.

Рис. 7.2

При выборе минимума стандартизируемых показателей качества

целесообразно учитывать следующие принципы:

• ясность и измеряемость значений показателей;

• соответствие установившимся понятиям и терминологии;

• возможность последующего уточнения и детализации;

• отсутствие перекрытия между используемыми показателями;

• должны быть выделены характеристики, которые позволяют

оценивать комплекс программ с позиции заказчика, пользователя,

разработчика и управляющего проектом.

Для сертификации качества функционирования рекомендуется

следующая система основных функциональных показателей для

178

В. В.

Липаев. Сертификация программных средств

обеспечения функциональной адекватности программного средст-

ва:

• соответствие реальных функциональных возможностей ПС

декларируемым в программной документации;

• соответствие реальных функциональных возможностей аппа-

ратных средств декларируемым в технической и эксплуатационной

документации;

• обеспечение точности обработки безошибочной и актуальной

исходной информации с помощью ПС для получения в итоге доста-

точно достоверной используемой информации;

• соответствие требованиям функциональных стандартов в об-

ласти взаимодействия, сопровождаемости и переносимости ПС на

различные вычислительные платформы в его жизненном цикле;

• соответствие требованиям нормативных документов по вы-

полнению мер обеспечения защищенности информационных и про-

граммных ресурсов ПС от несанкционированного доступа.

Для оценки качества представления информации и выполнения

функциональных технологических операций рекомендуются характе-

ристики, определяющие для пользователей доступность информа-

ционных и программных ресурсов ПС:

• средняя наработка на отказ программно-технических средств

системы;

• среднее время восстановления ПС и системы после отказа;

• коэффициент готовности ПС и системы;

• среднее время реакции ПС на запрос и/или на выполнение

технологических операций;

• вероятность своевременного представления запрашиваемой

информации и/или выполнения технологических операций;

• вероятность сохранения актуальности информации в базе

данных на момент ее использования в системе;

• вероятность предотвращения несанкционированного доступа

к программным и информационным ресурсам системы;

• вероятность сохранения конфиденциальности выходной ин-

формации системы.

Системная эффективность целевого применения программ-

ных продуктов в стандарте ISO 9126 определяется степенью удовле-

творения потребностей определенных лиц - заказчиков и/или пользо-

вателей, которые, в ряде случаев, желательно измерять экономиче-

Лекция 7.

Формирование

требований к характеристикам.,. 179

скими категориями: прибылью, стоимостью, трудоемкостью, предот-

вращенным ущербом, длительностью применения и т.п. В стандартах

эта эффективность отражается основной, обобщенной характеристи-

кой качества - функциональная пригодность. В связи с тем, что ее

абсолютную величину обычно трудно измерить непосредственно и

количественно, то по ряду показателей необходима и возможна каче-

ственная оценка свойств и достоинств при применении программно-

го продукта.

Системная эффективность - функциональная пригодность

комплекса программ может быть описана количественно или качест-

венно, в виде набора полезных свойств и характеристик программно-

го средства, их отличий от имеющихся у других комплексов про-

грамм, а также источников возможной эффективности. Данное требо-

вание связано с тем, какие функции и задачи должен решать про-

граммный продукт для удовлетворения потребностей пользователей,

в то время как другие, конструктивные требования главным образом

связаны с тем, как и при каких условиях, заданные функции могут

выполняться с требуемым качеством. Функциональная пригодность -

это набор и описания атрибутов, определяющих назначение, основ-

ные, необходимые и достаточные функции программного продук-

та, заданные техническим заданием и спецификациями требований

заказчика или потенциального пользователя.

Номенклатура и значения всех остальных показателей качества

непосредственно определяются требуемыми функциями программ-

ного средства и, в той или иной степени, влияют на выполнение этих

функций. Поэтому выбор функциональной пригодности, подробное и

корректное описание ее свойств, являются основными исходными

данными для установления требуемых значений всех остальных

стандартизированных показателей качества.

При сертификации наибольшее значение для реального обеспе-

чения качества программного продукта имеет полнота соответст-

вия исходных требований к функциям и характеристикам, простран-

ствам выполненных проверок при тестировании, адекватными им по

содержанию и сценариям тестами. В результате совокупности требо-

ваний к тестам могут применяться как эталоны и вторая адек-

ватная форма описания требований к комплексу программ для

сквозной верификации спецификаций требований к тестам сверху

вниз,

а также сами подвергаться верификации на корректность соот-

180

В. В.

Липаев. Сертификация программных средств

ветствия исходным требованиям к функциям и характеристикам ком-

понентов программ разного уровня.

Функциональные требования - определяют поведение про-

граммного продукта, который должен быть создан разработчиками

для предоставления возможности выполнения заказчиком и/или

пользователями своих обязанностей в контексте пользовательских

требований. Выбор требований к характеристикам при проектирова-

нии программных средств начинается с определения исходных дан-

ных. Для корректного выбора и установления требований к характе-

ристикам качества, прежде всего, необходимо определить основные

особенности программного продукта (Рис. 7.3).

Формирование требований

к характеристикам

качества программных

продуктов:

- общие требования к качеству функционирования и ог-

раничения ресурсов программных продуктов;

- особенности требований заинтересованных лиц к про-

граммному продукту;

- требования к надежности функционирования про-

граммных продуктов;

- требования к функциональной безопасности программ-

ных продуктов;

- требования к производительности и эффективности ди-

намического использования ресурсов ЭВМ программным

продуктом

реальном времени;

- требования к допустимым рискам динамического при-

менения программных продуктов.

Рис.

7.3

На основе этих данных должен формироваться общий набор

требуемых

характеристику

свойству их мер и значений качества

для определенных потребителей программного продукта (рис.

7.3):

• цели создания программного продукта и назначение комплек-

са функциональных задач;

• общие требования к функциям и характеристикам комплекса

задач программного средства;