Липаев В.В. Сертификация программных средств. Учебник

Подождите немного. Документ загружается.

Введение

стик изготовляемой продукции и соответствует установленным за-

казчиком требованиям и стандартам (см. Приложение). Качество при

проектировании и производстве программных продуктов можно

обеспечивать

двумя

методами (рис. 1):

• посредством применения регламентированных технологий и

систем обеспечения качества процессов проектирования и производ-

ства, предотвращающих дефекты и гарантирующих высокое качество

продуктов в процессе их создания;

• путем использования заключительного контроля и испытаний

готовых продуктов и исключения из поставки или направлением на

доработку изделий, не соответствующих требуемым показателям ка-

чества.

Первый метод обеспечивает высокое качество выполнения все-

го процесса проектирования и производства, и тем самым минимум

экономических потерь от брака, что рентабельно при создании слож-

ных систем. Многие руководители осознали, что для создания совре-

менных прикладных высококачественных информационных систем

необходимы не менее качественные технологии их производства.

При этом качество тех и других должно удостоверяться регламенти-

рованными поэтапными и заключительными испытаниями. Качество

технологии трудно измерять, контролировать и гарантировать ее со-

блюдение специалистами, однако оно отражается на качестве про-

дукции, а, следовательно, при этом может оставаться не полностью

определенным достигаемое качество программных продуктов. Ре-

зультаты испытаний процессов производства трудно измерять коли-

чественными критериями, и обычно характеризуют рядом требований

к качественному выполнению стандартизированных производствен-

ных процессов. Они оцениваются набором свойств, непосредственно

отражающихся на характеристиках качества конечного программного

продукта, однако при этом нет гарантии адекватного и однозначного

на них влияния. Этот метод может приводить при производстве к не-

определенности качества компонентов и комплексов программ в це-

лом и к значительным экономическим потерям за счет затрат на соз-

дание не пригодного к использованию продукта (брака), что может

быть очень дорого для сложных систем.

Второй метод акцентирован на анализ и контроль качества го-

тового программного продукта, которое удостоверяется при сертифи-

кационных испытаниях.

В. В.

Липаев.

Сертификация программных средств

а,

са

ия

заказчи

са

со

rs СА-

Н-

КЦИЯМ

-в*

сгеристика

аммного

с?

НКЩ

-в-

с-

тя гот

1 ^

ьные

и ключител

СГ>

СНОС

овол

§ s

<1>

качес

при

"'^

<и

ктя

вление

о,

$ а

го про

ки

или

Офаммно

из

постав

с.

са

дукт

опро

и,

Р-

L-.

соотве

я:

проду]

юработку

со

<1>

ЫХД<

у 1

ы\

сплуат

^ 1

л 1

> 1

качест

ому

л>

требу

вующего

Введение

Достижение при производстве необходимого качества продук-

ции за счет только выходного контроля, при отсутствии или недос-

татках системы обеспечения качества в технологическом процессе

разработки, может приводить к длительному итерационному процес-

су массовых доработок и повторных испытаний. При сертификаци-

онных испытаниях качества готового программного продукта могут

использоваться стандартизированные количественные и качествен-

ные критерии и характеристики, которые непосредственно отражают

функции и свойства продукции, интересующие заказчика и потреби-

телей, их можно измерить и достоверно установить.

Таким образом, задача обеспечения и удостоверения высокого

качества сложных программных продуктов сводится к испыта-

ниям технологий процессов проектирования и производства про-

граммных средств, поддержанных системой качества, и конечного

продукта, созданного на базе таких технологий. Соответственно

можно выделить два вида сертификационных испытаний: техно-

логий обеспечения жизненного цикла программных средств, поддер-

жанных регламентированными системами качества и/или готового

программного продукта с полным комплектом эксплуатационной

документации (см. рис. 1).

Взаимосвязь качества разработанных комплексов программ с

качеством технологии их создания и с затратами на производство

становится особенно существенной при необходимости получения

критического конечного продукта с особенно высокими значения-

ми характеристик качества. Затраты на производство обычно резко

возрастают, когда требуемые показатели качества приближаются к

пределу, достижимому при данной технологии и уровне автоматиза-

ции процессов проектирования и производства. В этих случаях для

обеспечения высокого качества необходима совместная сертифика-

ция технологий и системы обеспечения качества их проектирова-

ния, производства и сопровождения, а также сертификация гото-

вого программного продукта. Этот вид комплексной сертификации

обеспечивает контроль реализации требований алгоритмической и

функциональной корректности программного продукта, что особенно

важно в программных комплексах для обеспечения безопасности

критических систем, а также сокращения случайных дефектов и

ошибок программ. Сертификация технологических процессов отно-

сительно слабо связана с конкретной функциональностью продукта и

14 В.В. Липаев. Сертификация программных средств

должна обеспечивать, в основном, его конструктивную безопасность

- минимум рисков, дефектов и технических ошибок. Зачастую это

обстоятельство не учитывается в важных критических системах, в ко-

торых может оставаться дефект или ошибка в каждой тысяче строк

программного кода, которые способны резко снижать безопасность

сложных программных продуктов.

Наиболее полно в России стандартизирована сертификация

производства продукции различных видов. Она поддержана стандар-

тами: Временный порядок сертификации производств с учетом тре-

бований ГОСТ Р ИСО 9001:2001; ГОСТ Р 40.003: 2005 и ГОСТ Р

ИСО 19011: 2003 (см. Приложение). Их концепции акцентированы

на Системе менеджмента качества производства (СМКП) (Сис-

тема менеджмента для руководства и управления производством

применительно к качеству продукции) и представлены в Лекции 6.

При этом сертификация производства определена как процедура

подтверждения соответствия, посредством которой независимая

от изготовителя (продавца, исполнителя) и потребителя (покупателя)

организация удостоверяет в письменной форме, что состояние произ-

водства (системы менеджмента качества производства) способно

обеспечить стабильность характеристик изготовляемой продукции и

соответствует требованиям ГОСТ Р ИСО

9001.

К работе по сертифи-

кации привлекаются эксперты (аудиторы) по сертификации произ-

водств, зарегистрированные в Регистре системы сертификации пер-

сонала - сертифицированные специалисты. Область сертификации

производства определяет заказчик по согласованию с председателем

комиссии органа по сертификации продукции.

На практике акцент, распределение ресурсов и усилий на эти

два вида сертификации зависят от особенностей характеристик ком-

плекса программ, квалификации коллектива специалистов - разра-

ботчиков, требований заказчика - потребителей и наличия сертифи-

кационной лаборатории соответствующей тематической квалифика-

ции. Для этого организация и процессы сертификации должны спе-

циализироваться на определенные виды сертификации и на опреде-

ленные классы программных продуктов, предусматривать соответст-

вующие технологические работы и документы, обеспечивающие соз-

дание продукта требуемого качества. В общем случае специализация

сертифицирующих коллективов для испытаний технологий и сис-

тем качества может быть более широкой и универсальной, чем для

Введение

сертификации конкретных программных продуктов, которые описы-

ваются более определенными

точными критериями качества.

Кроме сертификации технологических процессов и готовых

программных продуктов для эффективного их производства и приме-

нения, важное значение имеет сертификация квалификации спе-

циалистов, реализующих эти процессы. Для этого необходимо их

обучение и аттестация на допуск к участию в таких работах, требую-

щих определенных уровней профессиональной квалификации. Они

должны освоить и знать методологию программной инженерии, ме-

тоды тестирования и документирования программных средств, а так-

же основы сертификации производственных процессов и продуктов.

Методы и процессы программной инженерии должны включаться в

Программы комплексного обучения для обеспечения необходимой

профессиональной квалификации руководителей и специалистов, ос-

воения и применения дисциплин регламентированной деятельности

крупных коллективов.

Сертифицированные специалисты должны знать и уметь ак-

тивно применять стандарты как органическую часть производства,

развития и контроля качества систем, знать основы экономики и

стандартов качества программных продуктов при их применении. Им

следует владеть предсказуемыми и управляемыми производственны-

ми процессами, зависящими от ресурсов, выделяемых на их достиже-

ние, освоить современную культуру промышленного проектирова-

ния,

производства и жизненного цикла сложных комплексов про-

грамм высокого качества. Они должны уметь подготавливать, орга-

низовывать, контролировать и учитывать процессы и результаты сер-

тификации технологических процессов и программных продуктов,

которые содержаться в трех группах документов, разрабатывав-

мых и используемых при сертификационных испытаниях:

• законы, стандарты и общие нормативные документы серти-

фицируемых технологий производства

продуктов;

• технологическую документацию на изготовление конкретной

продукции и связанную с контролем функционирования производст-

ва

системы обеспечения качества программного продукта;

• регистрационную документацию, оформляемую по результа-

там сертификационных испытаний процессов производства продук-

ции

системы обеспечения ее качества.

В.В.

Липаев. Сертификация программных средств

Основная цель учебника - представить отечественным спе-

циалистам современный комплекс задач, методов и стандартов созда-

ния и развития сложных программных продуктов требуемого высо-

кого качества с применением сертификационных испытаний

производства и продуктов. Внимание акцентировано на комплексе

индустриальных методов и стандартов, которые непосредственно

обеспечивают эффективный жизненный цикл сложных высокока-

чественных программных средств. При этом предполагается, что

процессы и технология создания программ и документов опираются

на совокупность современных, автоматизированных методов и инст-

рументальных средств поддержки длительного жизненного цикла

программных продуктов.

Для решения важнейших проблем развития и применения со-

временных систем требуется подготовка и воспитание квалифици-

рованных специалистов в области индустрии сложных про-

граммных продуктов высокого качества [1 - 7]. Необходимо их

обучение методам и современной программистской культуре про-

мышленного создания высококачественных продуктов. Они должны

уметь формализовать требования и достигать конкретные значения

характеристик качества функционирования и применения сложных

комплексов программ с учетом ограниченных ресурсов, которые дос-

тупны для получения и совершенствования этого качества. В жиз-

ненном цикле сложных программных средств для обеспечения их вы-

сокого качества целесообразно выделять сертифицированных спе-

циалистов, ответственных за соблюдение регламентированной, про-

мышленной технологии, за измерение и контроль качества комплек-

сов программ в целом и их компонентов. Для систематической, коор-

динированной борьбы с угрозами качеству необходимо научить спе-

циалистов анализу и оцениванию конкретных факторов, влияющих

на качество функционирования программных продуктов со стороны

реально существующих и потенциально возможных дефектов и оши-

бок в программах.

Квалифицированным специалистам следует учитывать юриди-

ческую ответственность за качество производства и продуктов, за

результаты сертификации и достоверность документации при при-

менении программных продуктов пользователями. Соответствие про-

дукции требованиям и документам они должны уметь оценивать на

основе данных об испытаниях продукции в процессе и/или при за-

Введение

вершении производства. Если в соответствии с действующим в стра-

не законодательством к определенной продукции предъявляют обяза-

тельные специальные требования качества, установленные нацио-

нальными стандартами или другими нормативными документами, то

при сертификации производства следует уметь проверять способ-

ность и гарантии специалистов предприятия обеспечивать соблюде-

ние этих требований.

При применении Учебника предполагается, что обучающиеся

знают основы современной программной инженерии и освоили цикл

учебных курсов по индустриальному, коллективному созданию

сложных программных продуктов. На этой базе необходимо обучать

и воспитывать специалистов, способных знать, понимать

применять

методы и документы сертификационных испытаний комплексов

программ, гарантирующих их соответствие требованиям заказ-

никое и пользователей. Сертификат специалиста программных про-

дуктов должен демонстрировать и создавать уверенность у руководи-

телей и заказчиков, что он способен квалифицированно выполнять

порученные работы и у него есть потенциал для совершенствования

квалификации и карьерного профессионального роста.

Для удостоверения качества программных продуктов в первых

двух вводных лекциях специалистам рекомендуется освоить концеп-

цию стандартизации и общие методы сертификационных испытаний,

документирования и контроля качества всего жизненного цикла

комплексов программ. В учебнике сертификационные испытания

разделены по двум частям лекций, которые содержат сертификацию

процессов производства и сертификацию продуктов производства,

и не обязательно используются одновременно и полностью. Это по-

зволяет на практике выбирать

и/или

акцентировать внимание заказ-

чиков и сертификаторов на тот класс испытаний, который наиболее

соответствует условиям производства, особенностям и характеристи-

кам конкретного комплекса программ.

Иллюстрации в тексте учебника ориентированы на возможность

их использования в виде слайдов при чтении лекций в аудитории.

Учебник рассчитан на 32 часа лекций, которые сгруппированы в 11

тем,

по 2 - 3 академических часа.

В. В.

Липаев.

Сертификация программных

средств

Часть 1

МЕТОДИЧЕСКИЕ ОСНОВЫ ОБЕСПЕЧЕНИЯ

КАЧЕСТВА В СЕРТИФИКАЦИИ СЛОЖНЫХ

ПРОГРАММНЫХ СРЕДСТВ

Лекция 1

ЦЕЛИ И ОСНОВНЫЕ ПРИНЦИПЫ

СЕРТИФИКАЦИИ КАЧЕСТВА

ПРОИЗВОДСТВЕННЫХ ПРЕДПРИЯТИЙ И

ПРОГРАММНЫХ ПРОДУКТОВ

Основные понятия, цели и виды сертификации

программных средств

В стандарте ISO/IEC 00002 - Общие термины и определения в

области стандартизации и смежных видов деятельности - сертифи-

кация соответствия определена как действие третьей стороны, до-

казывающее, что обеспечивается необходимая уверенность в том,

что должным образом идентифицированная продукция, процесс или

услуга соответствует конкретному стандарту или другому норматив-

ному документу. В понятие нормативные документы включены до-

кументы, содержащие правила, общие принципы или характеристики,

касающиеся различных видов деятельности или их результатов,

стандарты, технические требования, инструкции и регламенты по

применению-рис. 1.1.

Результатом положительных испытаний является сертификат

соответствия- документ, изданный в соответствии с правилами

системы сертификации, удостоверяющий, что обеспечивается необ-

ходимая уверенность

том, что должным образом идентифицирован-

ная продукция, процесс или услуга соответствует конкретным стан-

дартам или другим нормативным документам.

Лекция 1. Цели и основные принципы сертификации качества... 19

Цели и основные принципы сертификации качества

производственных предприятий и программных продуктов:

- основные понятия, цели и виды сертификации программных

средств:

• стандартное определение понятий и компонентов процессов

сертификации;

• распределение потребностей в сертификации продукции сре-

ди производителей и заказчиков программных средств;

• задачи и эффективность обязательной и добровольной сер-

тификации программных средств;

- стандартизация и сертификация как основа для обеспечения ка-

чества и безопасности программных продуктов:

• исходные данные для сертификации программных средств;

• потенциальные угрозы качеству в процессе производства и

применения программных средств;

• понятия и проблемы обеспечения безопасности применения

программных продуктов;

- принципы промышленной сертификации и стандартизации про-

цессов производства и продуктов:

• приоритетные цели сертификации процессов производства и

программных продуктов;

• оценка функциональной и экономической целесообразности

внедрения сертификации комплексов программ в процессы соз-

дания, приемки в эксплуатацию и сопровождение;

• оценка риска при приобретении и эксплуатации не сертифи-

цированных программных средств с возможным потенциальным

ущербом от снижения качества функционирования программно-

го продукта;

• рациональное использование нормативных документов про-

цессов сертификации, с учетом достигнутого научно-

технического и технологического уровня производства про-

граммных средств и методов их испытаний;

• формирование и применение профилей стандартов при сер-

тификации производства и программных продуктов;

• обоснование и совершенствование технологий производства

программных продуктов на основе квалифицированной экспер-

тизы и сертификационных испытаний технологий и продуктов.

Рис. 1.1

В. В.

Липаев. Сертификация программных средств

При этом в качестве первой стороны в процессе сертификации

выступают разработчики или поставщики программных продуктов и

их компонентов, а второй стороной являются заказчики, потребители

или пользователи.

Качество должно

быть

удостоверено и гарантировано компе-

тентными, желательно независимыми организациями путем доста-

точно широких, регламентированных испытаний - сертификации.

Взаимосвязь качества разработанных программ с качеством техноло-

гии их создания и с затратами на разработку становится особенно

существенной при необходимости получения конечного продукта с

высокими значениями показателей качества. Затраты на разработку

резко возрастают, когда показатель качества приближается к пределу,

достижимому при данной технологии и уровне автоматизации про-

цесса разработки. В этих случаях для обеспечения высокого качества

необходима сертификация технологии и системы обеспечения

качества их проектирования, разработки и сопровождения. Для это-

го предприятия и процессы сертификации должны предусматривать

соответствующие технологические работы и документы, обеспечи-

вающие создание продукта требуемого качества.

Основной целью сертификации технологий проектирования и

производства систем и программных средств является защита интере-

сов пользователей, государственных и ведомственных интересов на

основе контроля качества продукции, обеспечения их высоких потре-

бительских свойств, повышения эффективности затрат в сфере их

производства, эксплуатации и сопровождения, повышения объектив-

ности оценок характеристик и обеспечения конкурентоспособности

конечного продукта. Проведение сертификации систем качества

предприятия обычно планируется для достижения одной или не-

скольких

целей:

• определения соответствия или несоответствия элементов

системы качества установленным требованиям производства;

• определения эффективности внедренной системы качества

предприятия с точки зрения соответствия поставленным целям для

обеспечения качества продукции;

• обеспечения возможности предприятию улучшить свою сис-

тему качества;

• определения соответствия системы качества производства

регламентирующим требованиям.