Липаев В.В. Сертификация программных средств. Учебник

Подождите немного. Документ загружается.

Лекция б. Сертификация процессов производства ... 151

быть проведены испытания;

• наличие профессиональных квалификационных оценок или

технической экспертизы аудиторов в определенной прикладной об-

ласти;

• достаточный размер

состав аудиторской группы;

• навыки управления группой аудиторов;

• личные качества, необходимые для общения с проверяемыми

производствами и специалистами;

• отсутствие реального или предполагаемого столкновения ин-

тересов.

Службы управления Программами сертификации производства

должна постоянно оценивать деятельность своих аудиторов и экспер-

тов либо путем наблюдения за проведением испытаний, либо други-

ми средствами. Получаемая информация должна использоваться для

улучшения выбора аудиторов и их деятельности и для выявления их

неправильных действий. Проверки, проводимые разными аудитора-

ми,

должны приводить к аналогичным выводам, когда одна и та же

процедура проверяется в одинаковых условиях. Должны быть уста-

новлены методы для оценки и сравнения деятельности аудиторов

с целью достижения согласованности

их деятельности: семинары по

обучению; сравнения деятельности аудиторов; ротация аудиторов из

одной группы

другую.

Главный аудитор является, в конечном счете, ответственным за

проведение всех этапов сертификационных испытаний. Следует, что-

бы он обладал способностями и опытом в управленческой деятельно-

сти и имел достаточную компетенцию для принятия решений, свя-

занных с проведением проверок и любых наблюдений. Кроме того, в

обязанности главного аудитора входит:

• участие в выборе других членов группы для сертификации;

• составление Программы проведения проверок, подготовка

рабочих документов и инструктирование бригады по сертификацион-

ным испытаниям процессов

и/или

продуктов;

• определение требований к деятельности, связанной с серти-

фикацией включая квалификационные требования

аудиторам;

• оценка документов, относящихся к деятельности в области

существующей системы качества с целью установления их адекват-

ности производству;

• представление группы по испытаниям руководству со сторо-

152 В.В. Липаев. Сертификация программных средств

ны проверяемого производства;

• информирование проверяемого производственного коллекти-

ва о наличии значительных несоответствий и о существенных за-

труднениях

ходе проверок системы качества;

• в четкой и ясной форме предоставление отчетов о результатах

сертификационных испытаний.

Необходимо, чтобы аудиторы сохраняли беспристрастность и не

были подвержены влияниям, которые могли бы неблагоприятно отра-

зиться на их объективности. Следует, чтобы все лица и все организа-

ции,

занимающиеся проверкой, уважали независимость и честное от-

ношение

делу аудиторов, а также поддерживали их.

В обязанности аудиторов входит:

• передача и разъяснение проверяемым производственным

коллективам требований

испытаниям;

• планирование и эффективное выполнение возложенных на

них обязанностей;

• запись результатов наблюдений и подготовка отчетов о ре-

зультатах испытаний;

• контроль за эффективностью выполнения корректирующих

действий после проведения проверок;

• обеспечение сохранности документации, относящейся к ис-

пытаниям для ее предоставления по требованию, обеспечение ее

конфиденциальности, обработка секретной информации с соблюде-

нием требований инструкций;

• сотрудничество с главным аудитором и оказание помощи в

его деятельности.

Необходимо, чтобы аудиторы: зарекомендовали себя объектив-

ными; собирали и анализировали достоверные и достаточно полные

данные для подготовки выводов, относящихся

проверяемой системе

качества; могли бы установить, что процедуры, документы и другая

информация, описывающая или обеспечивающая требуемые компо-

ненты системы качества, являются известными, понятными, имею-

щимися в распоряжении и используемыми коллективом проверяемо-

го предприятия.

Управление программами сертификационных испытаний долж-

но осуществляться главными аудиторами, обладающими практиче-

скими знаниями в области методов проверки конкретных систем ка-

чества производства программных средств. Служба управления сер-

Лекция 6. Сертификация процессов производства ... 153

тификацией должна нанимать аудиторов, квалификация которых со-

ответствуют рекомендациям стандарта ISO 19011. Эти аудиторы

должны быть утверждены оценочной комиссией (органом сертифи-

кации), приемлемой с точки зрения службы управления программами

испытаний и соответствующей рекомендациям, представленным в

этом стандарте.

Подготовка и документирование организации

процессов сертификации производства и

системы качества предприятия

Наличие и полнота технологической документации при сер-

тификации проверяются на соответствие требованиям действующих

национальных и отраслевых стандартов, руководящих и других до-

кументов, устанавливающих требования к содержанию и составу

конструкторской и технологической документации данного предпри-

ятия. При проверке учитываются общие требования нормативных

документов на продукцию сертифицируемого производства (рис.

6.2). В составе организационно - распорядительных документов, свя-

занных с функционированием производства и системой менеджмента

качества предприятия (СМКП), проверяются [4]:

• положения о подразделениях и должностные инструкции спе-

циалистов;

• руководство по менеджменту качества производства;

• стандарты предприятия, инструкции и другие документы,

связанные с реализацией процессов производства и СМКП;

• стандарты предприятия, инструкции и другие документы,

связанные с выполнением специальных требований к производству

по обеспечению безопасности продукции.

Положение о подразделениях и должностные инструкции

должны содержать сведения, касающиеся функций подразделений,

обязанностей и полномочий специалистов, связанных с реализацией

процессов СМКП. Руководство по менеджменту качества производ-

ства должно содержать:

• краткую характеристику предприятия;

• перечень процессов производства и СМКП предприятия;

• обоснование исключений из области применения СМКП;

• описание процессов СМКП и их взаимодействия или ссылку

на соответствующие документы предприятия;

154

В. В.

Липаев.

Сертификация программных

средств

• порядок оценки результативности процессов СМКП или

ссылку на соответствующий документ предприятия.

Подготовка

документирование организации

процессов сертификации производства

системы

менеджмента

качества

предприятия:

- общие требования нормативных документов на продукцию серти-

фицируемого производства;

- положение о подразделениях и должностные инструкции, обязан-

ности и полномочия специалистов, связанных с реализацией процес-

сов производства;

- особенности и состав документации процессов и результатов сер-

тификации - аудита технологии и системы качества производства

программных средств:

• заявка на проведение сертификации производства программных

средств:

• регистрационная карта сертифицируемого производства про-

граммных средств;

• заключение по результатам рассмотрения заявки на сертифика-

цию;

• задание на проведение сертификационных испытаний;

• план сертификации производства программного средства;

• заключение по результатам сертификационных испытаний про-

изводства программного средства;

- документы сертификационной лаборатории - Программа испыта-

ний и методики аудита - испытаний производства должны содержать:

• определение объекта сертификационных испытаний;

• цель испытаний - аудита;

• требования к Программе сертификационных испытаний;

• требования к документации испытаний;

• средства автоматизации и порядок испытаний;

• методики испытаний по каждому разделу требований производ-

ства;

• формы отчетности выполнения и результатов испытаний;

- отчет о проверках организации сертификационных испытаний -

аудита производства и системы качества программного продукта;

- передача главным аудитором отчета о проверках и организации

сертификационных испытаний производства и системы качества

программного продукта клиенту - заявителю.

Рис. 6.2

Лекция 6. Сертификация процессов производства ... 155

Орган по сертификации должен проверить и оценить идентифи-

цированные предприятием процессы СМКП и представленные объек-

тивные свидетельства их результативности.

Как отмечалось в ведении сертификационные испытания про-

цессов производства комплексов программ и их результатов - про-

граммных продуктов имеют одну и ту же цель удостоверение качест-

ва продукции, но принципиальные различия в сертификационных

испытаниях процессов производства и сертификационных испытани-

ях качества конечного программного продукта, которые непосредст-

венно отражаются на свойствах продукции, интересующей заказчика

и потребителей. При испытаниях производственных процессов и сис-

тем качества критерии их оценки трудно или даже невозможно опи-

сать точными числовыми метриками. Большинство характеристик ре-

альных систем качества отражается фактами наличия и использова-

ния в них некоторых свойств и реализации определенных требований

стандартов Системы сертификации. Поэтому в ряде случаев целесо-

образно применять бальные оценки наличия в оценках процессов

производства и в системах качества таких свойств и факторов выпол-

нения установленных требований, а также обобщение совокупностей

подобных бальных оценок.

Метод бальной оценки систем качества и состав анализируемых

основных характеристик должен быть согласован с органом сертифи-

кации в определенной проблемной области. Предварительно долж-

ны быть определены и согласованы между заказчиком и поставщи-

ком допустимые уровни таких суммарных бальных оценок для при-

знания процессов производства предприятия пригодными для приме-

нения. В составе критериев сертификации производства можно выде-

лить следующие группы показателей:

• общая оценка состояния производства и системы качества

программного продукта;

• полнота применения методов поэтапного измерения качества

в жизненном цикле продукции;

• уровень средств автоматизации для обеспечения качества

продукции;

• полнота и состав комплекта нормативной документации, под-

держивающей применение системы качества производства;

• эффективность и результаты эксплуатации системы качества

производства.

156 В.В. Липаев. Сертификация программных средств

В каждой из выделенных групп можно определить 5-10 харак-

теристик, для более детальной оценки их наличия или отсутствия в

данной группе, и для последующей интегральной численной оценки

системы качества. Органом по сертификации совместно с заказчиком

должны быть утверждены уровни интегральных оценок, достаточные

для допуска систем качества к эксплуатации на определенных пред-

приятиях.

В [2,11] определены состав и содержание документов, орга-

низующих процессы взаимодействия заявителя (поставщика или за-

казчика) и сертификационных органов и лабораторий при подготовке

и проведении испытаний наиболее сложных объектов и процессов

(см.

рис. 6.2). В более простых ситуациях эти документы целесооб-

разно адаптировать с учетом особенностей объектов и условий испы-

таний в основном в направлении сокращения их состава и объема.

Документы заявителя. Исходный документ - Заявка на про-

ведение сертификации - должен содержать следующую информа-

цию:

• координаты заявителя;

• представителя заявителя, ответственного за связь с органом

по сертификации;

• наименование органа по сертификации;

• виды сертификационных испытаний;

• состав и наименования нормативно - технических докумен-

тов,

на соответствие которым должны быть проведены сертификаци-

онные испытания;

• обязательства заявителя об оплате рассмотрения заявки и

проведения сертификации;

• обязательства заявителя по выпуску сертифицированной про-

дукции в соответствии с образцом, прошедшим сертификацию;

• личные подписи заявителя и его представителя.

Предъявляемые на сертификацию программное средство, его

компоненты или система качества предприятия должны представ-

ляться в комплекте с соответствующей документацией. В случае раз-

личной комплектации поставки пользователю предъявляемого объек-

та, заявитель должен в «Договоре на проведение сертификации» ого-

ворить условия и варианты комплектности поставки на сертифика-

цию.

Лекция 6. Сертификация процессов производства ... 157

Документы органа (лаборатории) по сертификации (см. рис.

6.2). Внутренний документ - Регистрационная карта сертифици-

руемого производства или системы качества предназначен для орга-

низации учета и хранения оперативной и архивной информации о

сертифицируемой продукции, ее компонентах, процессах и результа-

тах их сертификации, и должен содержать следующие виды инфор-

мации:

• служебную: регистрационные номер заявки, классификаци-

онные признаки производства или продукции;

• исходные данные о заявителе, организация, реквизиты заявки

и Договора на проведение сертификации;

• исходную о сертифицируемых ПС или системе качества: ус-

ловное обозначение, наименование, краткие характеристики;

• исходную о видах испытаний и составе соответствующей

нормативной документации;

• исходную об испытательной лаборатории, проводящей сер-

тификационные испытания;

• выходную о результатах испытаний: реквизиты протоколов

испытаний и краткие выводы по результатам испытаний;

• выходную о выданном сертификате: реквизиты сертификата и

срок действия.

Документ органа по сертификации Заключение по результа-

там рассмотрения заявки должен содержать аргументированное

решение о принятии предъявленной продукции или системы качества

для проведения сертификации и информацию об условиях проведе-

ния сертификации (договорно - правовые и финансовые условия). В

случае отказа в принятии на сертификацию данный документ должен

содержать мотивированное обоснование решения.

Исходный документ Задание на проведение сертификацион-

ных испытаний является основанием для проведения сертификации

предъявленной продукции или системы качества, и должно содер-

жать разделы:

• основание для проведения работ;

• требования к сертификационным испытаниям предъявленно-

го объекта или производства;

• требования к оформлению результатов испытаний.

В разделе «Основание для проведения работ» перечисляют до-

кументы, на основании которых проводятся сертификационные ис-

158

В. В.

Липаев.

Сертификация программных

средств

пытания (реквизиты Заявки на проведение сертификации и Договора

на проведение сертификации). В разделе «Требования к сертифика-

ционным испытаниям» должны быть указаны виды сертификацион-

ных испытаний, обозначение и наименование нормативной докумен-

тации, на соответствие которым проводятся испытания, и состав тре-

бований, подлежащих проверке. В разделе «Требования к оформле-

нию результатов испытаний» должны быть представлены виды и

комплектность документов, предъявляемых испытательной лаборато-

рией в орган по сертификации по результатам проведенных испыта-

ний.

План сертификации программного средства или его производ-

ства предназначен для использования сертифицирующей организаци-

ей с целью определения, что предлагаемый заявителем жизненный

цикл ПС

и/или

его компонентов соответствует требованиям контрак-

та,

технического задания и спецификаций заказчика. Этот план в со-

ответствии со стандартами должен включать:

• обзор системы, включающий описание ее функций и их рас-

пределения между аппаратными и программными средствами, архи-

тектуру, используемые процессоры, аппаратно-программные интер-

фейсы и особенности обеспечения безопасности;

• обзор программного средства: функции ПС, концепция фор-

мирования структуры, обеспечение безопасности и резервирование,

стратегия синхронизации и планирования исполнения ПС и компо-

нентов;

• задачи сертификации: описание сертификационного базиса,

доказательства соответствия результатов разработки требованиям

стандартов по сертификации, процесс оценки безопасности системы;

• жизненный цикл программного средства: используемая мо-

дель жизненного цикла, которая будет контролироваться в соответ-

ствующих детальных планах, а также ответственность за процессы

ЖЦ системы и процессы сертификационного взаимодействия;

• документы жизненного цикла ПС, которые должны быть раз-

работаны и контролироваться процессами жизненного цикла ПС, от-

ношения между документами, представляемыми на рассмотрение

сертифицирующей организации, формы документов и способы, по-

средством которых документы ЖЦ становятся доступными для сер-

тифицирующей организации;

Лекция 6. Сертификация процессов производства ... 159

• план - график: раздел описывает средства заявителя, которые

будут использоваться для обеспечения прозрачности работ для сер-

тифицирующей организации по процессам жизненного цикла про-

граммного средства с целью планирования просмотров.

В разделе - «Средства и методы испытаний» - должны быть

указаны технические и программные инструментальные средства,

используемые во время испытаний, и порядок проведения испыта-

ний. В разделе-«Методики испытаний» приводятся описания про-

верок с указанием ожидаемых результатов испытаний. Они должны

содержать разделы: объекты и цели испытаний; оцениваемые показа-

тели качества; условия и порядок испытаний; методы обработки,

анализа и оценки результатов испытаний; средства автоматизации

испытаний; отчетность.

Документ Регистрационная карта испытаний - предназначен

для организации учета и хранения оперативной и архивной информа-

ции о процессах и результатах испытаний и включает следующие ви-

ды информации: служебную (регистрационный номер, классифика-

ционные признаки и т. д.); исходную об испытуемом объекте; исход-

ную о видах испытаний; выходную о результатах испытаний.

Основными выходными документами испытательной лаборато-

рии являются Протоколы испытаний, предназначенные для оформ-

ления окончательных результатов сертификационных испытаний и

выдачи «Сертификата соответствия» уполномоченным органом. Ка-

ждый протокол испытаний должен содержать информацию: служеб-

ную (регистрационный номер, дату, реквизиты утверждения, сведе-

ния о сертификационной лаборатории); исходную (краткие сведения

об испытанном объекте и заявителе, основание для проведения испы-

таний); выходную (краткие сведения о проведенных испытаниях,

включая сведения об испытаниях структурных компонентов ком-

плекса программ) с указанием реквизитов протоколов испытаний

функциональных компонентов; сведения о нормативной документа-

ции, на соответствие которым проверялись продукция или процессы;

итоговую (краткие сведения о результатах испытаний, выводы и

предложения).

Документ Отчет о проведении испытаний предназначен для

подробного описания результатов проведенных испытаний. Основная

часть отчета содержит сведения о видах проведенных испытаний и их

результатах для отдельных структурных и функциональных компо-

160

В.В.

Липаев. Сертификация программных средств

нентов системы качества производства в целом с подробным описа-

нием полученных результатов.

Документ Заключение по результатам сертификационных

испытаний разрабатывается экспертами органа и содержит обоб-

щенные сведения о результатах испытаний и обоснование целесооб-

разности или невозможности выдачи сертификата, включая рекомен-

дации по доработке комплекса программ или системы качества. Ос-

новным выходным документом органа по сертификации является

Сертификат соответствия, предназначенный для документально-

го удостоверения соответствия предъявленных заявителем продуктов

или системы качества производства установленным требованиям.

Форма и правила заполнения сертификата соответствия должны от-

вечать требованиям, установленным национальным органом по сер-

тификации.

Документы сертификационной лаборатории (см. рис. 6.2)

следует определять и адаптировать в зависимости от специфики кон-

кретного производства

и/или

систем качества и видов проводимых

испытаний. Обязательным является наличие нормативных докумен-

тов и требований, на соответствие которым согласно заявке прово-

дится сертификация. Документы Программа испытаний и Методи-

ки испытаний должны содержать:

• определение объекта испытаний;

• цель испытаний;

• требования

Программе испытаний;

• требования

документации;

• средства автоматизации и порядок испытаний;

• методики испытаний по каждому разделу требований;

• формы отчетности.

В разделе «Объект испытаний» должны быть указаны обозначе-

ние, наименование, область применения и состав испытуемого произ-

водства или системы качества. Состав испытуемого объекта и цель

проведения испытаний должны указываться с точностью до отдель-

ных структурных компонентов. «Требования к документации» долж-

ны отражать состав эксплуатационной документации, представляе-

мой на испытания, и предъявляемые к ней требования по содержа-

нию.

Для сертификации систем качества, кроме адаптированных ба-

зовых стандартов серии ISO 9000 и ISO 12207, заявителем должны

предъявляться рабочие версии Программы качества предприятия и