Липаев В.В. Сертификация программных средств. Учебник

Подождите немного. Документ загружается.

Лекция 7.

Формирование

требований к характеристикам... 201

вокупность требований и спецификаций, предназначенная для ис-

пользования в качестве основы для оценки конкретного объекта, что

оно является полным, непротиворечивым, технически правильным и

поэтому пригодно для использования в качестве основы при оценке

уровня безопасности соответствующей системы.

Требования к производительности и эффективности

динамического использования ресурсов ЭВМ

программным продуктом в реальном времени

Для систем реального времени особое значение имеют требо-

вания эффективного использования программным продуктом ре-

сурсов ЭВМ по производительности. Эффективность в стандарте ISO

9126 отражена двумя динамическими характеристиками требований -

временной эффективностью и используемостью ресурсов ЭВМ, кото-

рые рекомендуется описывать в основном количественными атрибу-

тами, учитывающими динамику функционирования комплексов про-

грамм. В этих стандартизированных характеристиках отражается

только частная, конструктивная эффективность использования

ресурсов ЭВМ, которую не следует смешивать с требованием сие-

темной эффективности функциональной пригодности программ-

ного продукта при применении в конкретной системе. Основные тре-

бования к характеристикам эффективность использования вычисли-

тельных ресурсов сосредоточены на наиболее критичных показателях

производительности и длительности решения функциональных задач.

При этом в контракте, техническом задании и спецификации требо-

ваний должны быть зафиксированы и утверждены требуемые значе-

ния этих характеристик и их приоритетов. В стандарте ISO 9126 эти

характеристики качества комплексов программ рекомендуется отра-

жать рядом атрибутов, каждый из которых следует оценивать для

средних и наихудших сценариев функционирования комплекса про-

грамм.

Временная эффективность: свойства комплекса программ,

отражающие требуемое время обработки заданий, время отклика из

ЭВМ в систему и/или внешнюю среду после получения типового за-

дания и начала решения требуемой функциональной задачи; а также

производительность решения задач с учетом количества используе-

мых вычислительных ресурсов (ISO 14756). Временная эффектив-

ность программного продукта определяется длительностью выполне-

202

В. В.

Липаев. Сертификация программных средств

ния заданных функций и ожидания результатов в средних и/или наи-

худших случаях, с учетом приоритетов задач. Пропускная способ-

ность решения функциональных задач - производительность, число

заданий, которое можно реализовать на данной ЭВМ в заданном ин-

тервале времени в зависимости от их содержания и числа действую-

щих пользователей или воздействий из внешней среды.

Используемость ресурсов: степень загрузки доступных вычис-

лительных ресурсов в течение заданного времени при выполнении

функций комплекса программ в установленных условиях. Ресурсная

экономичность отражается занятостью ресурсов центрального про-

цессора, оперативной, внешней и виртуальной памяти, каналов ввода-

вывода, терминалов и каналов сетей связи исполнением программ.

Потребность в производительности ЭВМ в процессе решения

функциональных задач может значительно изменяться в зависимости

от их свойств, а также от потока, состава и объема исходных данных.

Степень использования ограниченной производительности ЭВМ в

некоторых пределах не влияет на качество решения функциональных

задач комплексом программ. При излишне высокой интенсивности

поступления исходных данных может нарушаться временной ба-

ланс между длительностью решения полной совокупности задач

комплексом программ в реальном времени, и производительностью

ЭВМ при решении этих задач. Для формирования требований к про-

граммному продукту при подготовке технического задания и специ-

фикаций следует согласовывать с заказчиком динамическую мо-

дель и характеристики внешней среды, в которой будет применять-

ся комплекс программ, а также динамику приема и передачи данных

пользователям или системе. Оценивание величины производительно-

сти рекомендуется для определения: загрузки операторов-пользова-

телей, пропускной способности по числу задач в единицу времени,

временной шкалы событий обработки заданий и данных в системе.

Эти результаты предлагается сравнивать с требованиями заказчика и

пользователей для оценивания рабочих нагрузок и достаточности

производительности программного продукта в конкретной системе и

внешней среде.

Эти условия следует детализировать до уровня, позволяющего

однозначно формализовать требования к допустимым значениям

интенсивности решения функциональных

задач:

Лекция 7.

Формирование

требований к характеристикам... 203

• в среднем, нормальном режиме работы программного про-

дукта с наибольшим качеством функциональной пригодности;

• в режиме предельной загрузки, реализующейся с определен-

ной вероятностью, с допустимым снижением функциональной при-

годности и некоторых конструктивных характеристик качества;

• в режиме кратковременной, аварийной перегрузки, способной

критически отражаться на функциональной пригодности, надежности

и безопасности применения программного продукта.

Наиболее сложным является задание требований эффективно-

сти динамического использования ресурсов производительности

ЭВМ в реальном времени. При этом должна быть определена зави-

симость качества решения функциональных задач от интенсивности

поступающей информации различных типов. Основная задача состо-

ит в определении вероятностей и рисков, с которыми может нару-

шаться соответствие между потребностями в производительности для

решения всей требуемой совокупности задач и реальными возможно-

стями ЭВМ и других компонентов системы. Если эта вероятность не-

велика, и можно считать допустимым эпизодическое снижение каче-

ства за счет получающихся задержек и пропусков в обработке сооб-

щений или заданий, то делается вывод о соответствии производи-

тельности ЭВМ функциям данного программного продукта. В зави-

симости от характеристик потоков заданий и предполагаемых дли-

тельностей их реализации, могут распределяться приоритеты на их

решения, и тем самым, повышаться эффективность использования

ограниченной производительности вычислительной системы для оп-

ределенного комплекса программ.

Требования к допустимым рискам динамического

применения программных продуктов

В предыдущих разделах рассматривались требования к характе-

ристикам качества, которые отражают положительные свойства про-

граммных комплексов и их следует улучшать. Однако, не смотря на

их реализацию в проектах комплексов программ, могут проявляться

негативные свойства, которые проявляются ущербом - риском при

разработке и/или применении программного продукта. К таким свой-

ствам - рискам при создании программных продуктов должны фор-

мироваться требования, ограничивающие их до допустимых за-

данных пределов (стандарт ISO 16085). Для обеспечения требуемых

204

В. В.

Липаев. Сертификация программных средств

характеристик качества функционирования программного продукта

необходима организация контрмер процесса управления рисками

под руководством менеджера управления рисками - координатора

взаимодействия заказчика и разработчиков, прежде всего, при обес-

печении функциональной пригодности и обосновании проекта [14,

16,

18].

Требования к сокращению рисков проекта, связанные с ре-

зультатами разработки и применения программного продукта, долж-

ны реализоваться формализованным процессом, позволяющим выде-

лять,

систематически идентифицировать, оценивать и смяг-

чать

факторы,

угрозы и величину последствий возможных рисков.

Для этого при управлении проектом следует: идентифицировать угро-

зы и риски, имеющие как внешние, так и внутренние причины; прово-

дить их количественную оценку; разработку откликов и контрмер для

сокращения рисков и контроль реализации откликов. Это может при-

водить к ухудшению качества программного продукта и к рискам

следующих характеристик:

• функциональной пригодности, назначения, состава и ха-

рактеристик основных, функциональных задач, решаемых систе-

мой и программным продуктом;

• характеристик конечного программного продукта и ре-

зультатов его применения для целей функционирования системы;

• нарушения ограничений доступных и используемых ре-

сурсов, к превышению допустимых затрат, нарушению сроков или

же к полному срыву возможности реализации проекта комплекса

программ и системы в заданных ограниченных условиях и ресур-

сах.

Эти группы характеристик проектов систем и комплексов про-

грамм тесно связаны между собой и определяют соответствующие

классы потенциальных рисков. Изменение каждого из них может

влиять на другие риски. Требования обеспечения минимальных до-

пустимых рисков функциональной пригодности имеют домини-

рующее значение и изменения двух других классов рисков обычно

должны быть, в первую очередь, подчинены сокращению рисков

функционирования системы и комплекса программ. Поэтому анализ

рисков и возможных угроз целесообразно проводить систематизиро-

вано,

начиная с установления требований к допустимым рискам

функциональной пригодности. Ущерб вследствие ошибок функцио-

Лекция 7.

Формирование

требований к характеристикам... 205

нальных требований к проекту программного средства может прояв-

ляться двумя видами рисков: недостатками достигнутых характери-

стик программного продукта, и рисков от нарушения ограниченности

доступных и используемых ресурсов в жизненном цикле программ-

ного продукта.

В жизненном цикле важнейшим риском является ущерб при не-

выполнении комплексом программ, назначения и функций главной

характеристики качества - функциональной пригодности. В зависи-

мости от назначения, функций, критичности требований к системе и

программному продукту, может требоваться либо полная ликвидация

определенных или всех видов рисков, либо сокращение некоторых из

них до допустимых пределов, либо игнорирование некоторых и со-

хранение на достигнутом уровне ущерба вследствие нарушения тре-

бований заказчика к программному продукту.

Для выполнения требуемых функций комплекса программ необ-

ходима адекватная исходная информация от объектов внешней

среды,

содержание которой должно полностью обеспечивать реали-

зацию декларированных функций. Полнота формализации номенкла-

туры, структуры и качества входной информации для выполнения

требуемых функций, является одной из важных составляющих при

определении функциональной пригодности и сокращения рисков

применения комплекса программ в соответствующей внешней среде.

Степень покрытия всей выходной информацией: целей, назначения и

функций программного продукта для пользователей, следует рас-

сматривать как основное требование к допустимым рискам функ-

циональной пригодности. Прослеживание и оценивание адекватно-

сти и полноты состава выходной информации снизу вверх к назначе-

нию комплекса программ должны завершать выбор базовых характе-

ристик функциональной пригодности, независимо от сферы примене-

ния системы.

При начальном формировании требований к функциональной

пригодности комплекса программ практически невозможно досто-

верно предусмотреть сбалансированное выделение каждого вида ре-

сурса для полной реализации каждой требуемой функции и характе-

ристики программного продукта. Кроме того, требования заказчика к

функциям всегда субъективны и не стабильны, что также отражается

на изменении рисков при разработке и модификациях комплексов

программ. При этом некоторые характеристики в реальном проекте

206

В. В.

Липаев. Сертификация программных средств

могут приобретать значения более высокие, чем действительно тре-

буются, на что нерационально расходуются ресурсы, а другие - не

удовлетворять требованиям контракта и технического задания. Для

разрешения этого противоречия основное значение имеет деятель-

ность менеджера рисков, который должен быть способен прогнози-

ровать, проводить поэтапный анализ, контроль, оценивание и мони-

торинг возможных и реальных отклонений от требуемых характери-

стик функционирования программного продукта и используемых ре-

сурсов, управление контрмерами и изменение их для сокращения

интегрального риска всей системы.

Требования к оценке и сокращению рисков вследствие недос-

таточных характеристик качества комплексов программ должны

сопровождать весь их жизненный цикл. Для этого необходимо кон-

тролировать области возможного возникновения рисков, оценивать

вероятности их проявления, виды и степень влияния угроз, которые

следует минимизировать как можно раньше по мере их возникнове-

ния и обнаружения в процессах жизненного цикла комплекса про-

грамм. Основной эффект по снижению рисков вследствие недоста-

точных характеристик должен достигаться на начальных этапах раз-

работки, когда возможно предотвращение или сокращение многих из

них с минимальными затратами времени и других ресурсов. Для это-

го в технологическом процессе разработки необходимо использо-

вать

методы, которые включают:

• определение ценности (приоритета) и выделение каждой

требуемой характеристики для реализации необходимой функ-

циональной пригодности программного продукта и системы;

• определение приоритетов характеристик качества, компонен-

тов и этапов ЖЦ проекта, которые имеют потенциальные техниче-

ские,

стоимостные или плановые риски;

• оценивание вероятности каждого вида угроз, потенциальной

величины и вероятности их возможного негативного воздействия на

характеристику функциональной пригодности системы и программ-

ного продукта;

• оценивание уязвимости и последствий дефектов каждой ха-

рактеристики и затрат ресурсов для восстановления требуемой функ-

циональной пригодности системы и программного продукта при про-

явлении рисков;

Лекция 7.

Формирование

требований к характеристикам... 207

• систематизацию, документирование и оценивание эффектив-

ности доступных методов, средств и ресурсов контрмер для сокра-

щения рисков функциональной пригодности и выделенных характе-

ристик комплекса программ;

• планирование и разработку решений по контрмерам для

обеспечения допустимого уровня интегрального риска функциональ-

ной пригодности и характеристик системы, в том числе, возможно, за

счет изменения требований к программному продукту, системе

и/или доступных ресурсов;

• оценку вероятности сокращения рисков характеристик до

допустимых пределов, при реализации процессов разработки и всего

ЖЦ программного средства с учетом доступных ресурсов.

Улучшение каждой характеристики, требует затрат ресурсов,

которые в той или иной степени должны отражаться на основной ха-

рактеристике комплекса программ - на функциональной пригодно-

сти. При выборе конкретных допустимых характеристик следует

учитывать возможные затраты ресурсов на их достижение и на ре-

зультирующее повышение функциональной пригодности, желатель-

но,

в сопоставимых экономических единицах, в тех же мерах и мас-

штабах. Такое, даже приблизительное, качественное сравнение эф-

фекта и затрат позволяет избегать многих не рентабельных завыше-

ний требований к отдельным характеристикам, которые не доста-

точно отражаются на адекватном улучшении функций программного

продукта.

Решение этих задач должно быть направлено на обеспечение

высокой функциональной пригодности ПС путем сбалансированно-

го улучшения

остальных

характеристик в условиях ограниченных

ресурсов. Для этого в процессе системного анализа при подготовке

технического задания и требований спецификаций, значения и риски

характеристик, должны выбираться с учетом опасности их влияния на

функциональную пригодность. Излишне высокие требования к от-

дельным характеристикам, требующие для реализации больших до-

полнительных трудовых и вычислительных ресурсов, целесообразно

снижать, если они слабо влияют на основные, функциональные ха-

рактеристики программного продукта.

Риски ограничений доступных и используемых ресурсов в

жизненном цикле комплекса программ могут включать:

208

В. В.

Липаев. Сертификация программных средств

• экономические риски - превышение разработчиком обос-

нованных, допустимых по контракту размеров стоимости, трудоемко-

сти и эксплуатационных затрат на программные компоненты и про-

дукт в целом, которые могут также отражаться на их функциональной

пригодности и других характеристиках качества;

• плановые риски - нарушение разработчиком допустимых

временных затрат в графиках работ, сроков реализации этапов и про-

екта в целом, а также распределений задач по подрядчикам, подраз-

делениям и специалистам, что может также увеличивать риски харак-

теристик программных продуктов;

• кадровые риски - недостаточная квалификация и число спе-

циалистов, отражающаяся на рисках качества разработки, совершен-

ствования и/или применения комплекса программ;

• технические риски - недостаточность вычислительных ре-

сурсов, несогласованность ресурсов внутренней и внешней среды для

реализации основных функций, что может иметь как самостоятель-

ное значение, так и влияние на риски программных продуктов;

• технологические риски - недостаточное качество инстру-

ментария для автоматизации всего жизненного цикла и технологиче-

ских процессов, предназначенных для обеспечения гарантированного

сокращения рисков конечного программного продукта.

Прямые риски, обусловленные ошибками заданных требований

экономических характеристик, могут вызвать ущерб при завышении

заказчиком стоимости проекта относительно реально необходимой,

или ущерб разработчикам, если стоимость оценена недостаточной

для его успешной реализации.

Требования но управлению рисками в жизненном цикле про-

граммных комплексов регламентированы международным стандар-

том ISO 16085. Он включает особенности обеспечения, мониторинга

качества и функциональной безопасности сложных комплексов про-

грамм на базе анализа и сокращения рисков процессов, регламенти-

рованных стандартом ISO 12207. Поэтапное, иерархическое сниже-

ние интегрального риска проекта программного комплекса при ис-

пользовании выбранной стратегии может требовать ее корректировки

в зависимости от достигаемого эффекта и требуемых затрат на со-

кращение определенных рисков, необходимого для повышения каче-

ства, надежности и функциональной безопасности. Для решения этих

задач стандартом рекомендуются последовательные процедуры:

Лекция 7. Формирование требований к характеристикам... 209

• выявление и идентификация, относящихся к проекту ком-

плекса программ, рисков, как в исходном состоянии и требованиях к

проекту, так и на последовательных этапах его выполнения: по харак-

теристикам качества, графикам, трудоемкости, ресурсам и техниче-

ским рискам;

• анализ вероятности проявления, причин, взаимозависимости

видов и последствий рисков, чтобы сбалансировать и распределить

их приоритеты, на основании которых будут отводиться ресурсы на

различные контрмеры для снижения этих рисков;

• определение целесообразной стратегии и области управления

каждым видом риска или их наборами в проекте, в соответствии с по-

литикой на предприятии, а также со степенью влияния, вероятностью

и типами рисков, которые должны выявляться и которыми следует

управлять;

• для каждого вида риска (или набора рисков) определение

метрики, отражающей изменения в состоянии рисков в зависимости

от деятельности по их устранению, которые должны характеризовать

изменения в вероятности проявления, последствиях и временных

диапазонах проявления рисков;

• реализация разработанной стратегии управления рисками, ат-

тестация результатов и оценка успешности стратегии в контрольных

точках жизненного цикла проекта.

210

В. В.

Липаев.

Сертификация программных средств

Лекция

ОРГАНИЗАЦИЯ СЕРТИФИКАЦИОННЫХ

ИСПЫТАНИЙ ПРОГРАММНЫХ ПРОДУКТОВ

НА СООТВЕТСТВИЕ ТРЕБОВАНИЯМ

Цели, задачи и процессы сертификационных

испытаний программных продуктов

Поскольку человеческий мозг способен оперировать ограничен-

ным числом объектов одновременно, то чем сложнее фрагмент про-

граммы, тем более вероятно, что специалист допустит или пропустит

в нем ошибку. Сложность создания необходимых тестов для испыта-

ния функции, обычно такая же, как сложность разработки соответст-

вующей функции. Покрытие их тестами для испытаний и устране-

ния дефектов и обеспечения качества - это последовательное испы-

тание модулей, компонентов или комплексов программ, которые мо-

гут определяться посредством анализа соответствия пространства

требований к функциям и характеристикам программы и простран-

ства применяющихся тестов для предварительных испытаний и в

процессе сертификации.

Обычно испытатели небольших компонентов, особенно в неза-

висимых группах специалистов, фокусируют свои усилия на покры-

тии их функционирования, а испытатели структуры концентрируют-

ся на тестовом покрытии структуры модулей или их групп программ.

Создано и доступно для повторного применения большое количест-

во автономных программных компонентов и модулей высокого каче-

ства с унифицированными интерфейсами, которые можно интегри-

ровать в комплексы программ различного назначения. Иногда но-

менклатура и характеристики готовых компонентов могут не полно-

стью удовлетворять заказчика или разработчиков программного про-

дукта, и приходится дополнительно разрабатывать и тестировать не-

которую часть модулей. Кроме того, при комплексировании и испы-

таниях комплексов программ могут обнаруживаться дефекты и

ошибки компонентов, для устранения которых необходима коррек-