Андон Ф.И., Коваль Г.И., Коротун Т.М., Лаврищева Е.М., Суслов В.Ю. Основы инженерии качества программных систем

Подождите немного. Документ загружается.

562 Глава 11

40. Awad M.A. A comparison between agile and traditional software development methodologies

- Students/Files/2005/MohamedAwad/CorrectedDissertation.pdf.

41. Tammel C.J., Binder L.H., Snyder C.E. The automated production control system: A case

study in Cleanroom software engineering // ACM Transaction on Software Eng. And method-

ology. - v.1. - n.1. - jan 1992. - P. 81 – 94.

42. Lokan C.J. The Cleanroom process for software development // Australian Computer J.. -

v.25. - n.4, November. – 1993. - P.129 - 134.

43. Linger R.C. Cleanroom Process Model // IEEE Software. – march 1994. - P. 50 - 58.

44. Agile methods information - http://www.wikimirror.com/Agile_Methods.

45. Boehm B. Get Ready for Agile Methods, with Care // Computer, January 2002. –P.64-69.

46. Paulk M. Extreme Programming from a CMM Perspective. // IEEE Software, Nov.-Dec.

2001, P. 19-26.

47. Boehm B., Turner R. Balancing Agility and Discipline: Evaluating and Integrating Agile and

Plan-Driven Methods. // Proceedings of the 26th International Conference on Software Engi-

neering (ICSE’04) , P.718-719.

48. Turner R., Boehm B. People Factors in Software Management: Lessons From Comparing

Agile and Plan-Driven Methods //CROSSTALK The Journal of Defense Software Engineer-

ing December 2003 www//stsc.hill.af.mil.

49. Cockburn A., Highsmith J. Agile Software Development: The People Factor. // Computer,

Nov. 2001, P. 131-133.

50. Comparing Agile and Plan- Driven Processes http://www.dcs.gla.ac.uk/~ray/SEP4

Notes/SEP4-Notes5.pdf

563

Глава 12. ПОДХОДЫ К ОЦЕНКЕ КАЧЕСТВА

ПРОГРАММНЫХ СИСТЕМ

12.1. Оценка качества программных продуктов

12.1.1. Процесс оценки программных продуктов

В основе оценивания качества программных продуктов лежат четыре базо-

вых понятия – модель качества, метод оценивания, метрики и вспомогательные

инструменты. Оценивание качества продуктов невозможно, если не известны тре-

бования пользователя к качеству (критерии качества) и/или не определен процесс

измерения продуктов, процессов и ресурсов (не выполнятся сбор данных для при-

менения внутренних и внешние метрик качества) и/или отсутствует процесс оценки

продуктов в ходе ЖЦ.

Назначение процесса оценки продуктов – одного из процессов поддержки

ЖЦ, определенных в стандарте ISO/IEC 12207, - состоит в том, чтобы «гарантиро-

вать путем систематического измерения и оценивания, что продукт удовлетворяет

установленным и предполагаемым требованиям пользователей к этому продукту. В

результате успешного выполнения процесса:

• будут установлены требования, касающиеся проведения оценивания;

• будут определены критерии оценки продукта;

• будут специфицированы методы выполнения оценивания, и все действия

в рамках этих методов будут надлежащим образом выполняться;

• данные измерений будут собираться, а результаты применения метрик -

оцениваться по отношению к критериям;

• результаты деятельности по оцениванию продукта будут доступны для

всех заинтересованных сторон» [1].

Оцениваться могут промежуточные (рабочие) продукты ПС в ходе разработ-

ки, а также конечный программный продукт.

Целью оценивания качества рабочих продуктов может быть:

• принятие решения о приемке промежуточного продукта у соисполнителя;

• принятие решения о завершении какого-либо процесса и передаче про-

дукта следующему процессу;

• предсказание, предварительная оценка качества конечного продукта [2];

• сбор информации о промежуточных продуктах с целью контроля и

управления процессом разработки ПС [3].

Целью оценивания качества конечного продукта может быть:

• принятие решения о приемке продукта;

• принятие решения о сроках выпуска продукта;

• сравнение продукта с другими продуктами;

• выбор продукта из множества альтернативных продуктов;

• оценка как положительного, так и отрицательного результата использо-

вания продукта.

Выполнение процесса оценки продуктов ПС, отвечающего требованиям

ISO/IEC 12207, регламентируется стандартом ISO/IEC 14598:1999 [4].

564 Глава 12

Стандарт описывает процесс оценивания в виде пошаговой процедуры, ори-

ентированной на использование обобщенной модели качества, представленной в

стандарте ISO/IEC 9126 (рисунок 12.1).

Формулирование целей

оценивания

Идентификация видов

продуктов

Спецификация модели

качества

Формирование

требований к

оцениванию

Выбор метрик

Установка уровней

ранжирования метрик

Установка критерия

оценивания

Разработка плана

оценивания

Измерение

характеристик

Сравнение с критерием

ISO 9126.1

Характеристики качества

ISO 9126.2 Внешние метрики

ISO 9126.3 Внутренние метрики

ISO 14598.6 Модули оценивание

Спецификация

оценивания

Проектирование

оценивания

Оценка результатов

Выполнение

оценивания

Рис. 12.1. Структура процесса оценивания продуктов ПС

Процесс оценивания устанавливает требования к методам измерения и оце-

нивания любых типов продуктов и может интегрироваться с процессами разработ-

ки (для оценивания продуктов их разработчиками), процессами приобретения-

поставки (для оценивания продуктов заказчиками (потребителями)), а также с лю-

быми другими процессами, в которых возникает необходимость непредвзятой

оценки (для оценивания продуктов независимыми оценщиками).

Хотя общая схема оценки продуктов (структура процесса) сохраняется, су-

ществуют особенности выполнения действий в процессе оценивания отдельными

категориями исполнителей (связанные с разными целями оценивания, видами оце-

ниваемых продуктов, критериями, метриками и др.).

Поэтому требования к оцениванию продуктов разработчиками, заказчиками

(и потребителями продуктов «с полки») и независимыми оценщиками содержаться

в отдельных частях стандарта, - соответственно, в части 3 [5], части 4 [6] и части 5

[7].

Наряду с дифференциацией требований к оцениванию по целям оценивания

(назначению оценивания), может возникнуть необходимость выделения уровней

Глава 12 565

оценивания различных характеристик качества, в зависимости от уровней целост-

ности оцениваемой ПС (и ее компонентов) и риска не достичь необходимого каче-

ства [8]. Чем выше установленный уровень целостности ПС, тем выше требования

к уровню значений определенных характеристик качества и тем строже должны

быть методы оценивания качества (а также выше трудоемкость оценивания).

Стандарт рекомендует определять уровень оценивания (от A – высшего до D

- низшего) с учетом риска в сфере безопасности функционирования (угрозы жизни

людей), защиты информации (угрозы потери информации), экономики (угрозы

финансовых убытков), среды функционирования (угрозы разрушения (не восста-

новления) среды эксплуатации ПС).

В зависимости от уровня оценивания, установленного для каждой из харак-

теристик качества продукта, выбирается метод (условия) измерения и оценивания.

Так, например, для характеристики «функциональность» в требованиях к оценива-

нию может указываться одно из следующих условий сбора данных (в порядке воз-

растания строгости требований):

• сбор данных (метрик) в ходе функционального тестирования;

• сбор данных (метрик) в ходе инспекции документов разработки;

• сбор данных (метрик) в ходе автономного тестирования при условии

обеспечения полноты покрытия.

Уровень целостности ПС может обусловить не только выбор уровня оцени-

вания отдельных характеристик качества продукта, но и расстановку приоритетов

важности тех или иных характеристик его качества и выбор внешних метрик ка-

чества (как, например, в таблице 12.1 из [8], где характеристики упорядочены по

убыванию важности).

Упорядочивая характеристики (подхарактеристики) качества по важности

можно также устанавливать для каждой из них коэффициент весомости, что по-

зволит при ограниченных ресурсах разработки уделять больше внимание тем ха-

рактеристикам, которые имеют наибольший вес.

Определение коэффициентов весомости каждой характеристики обычно про-

водится экспертным путем по определенной шкале. Стандарт ДСТУ 2850-94, на-

пример, рекомендует порядковую шкалу из 5 значений: 5 – «крайне важно» (высо-

кое значение характеристики), 4 – «очень важно», 3 – «важно», 2 – «хорошо бы», 1

– «неважно» [9], а В.В. Липаев – шкалу из трех значений – «высокий», «средний»,

«низкий» (приоритет) [10].

Если сумма коэффициентов весомости равна 1, – эти коэффициенты называ-

ют параметрами весомости.

Наиболее строгая схема присваивания параметров весомости характеристи-

кам дана в Межгосударственном стандарте ГОСТ 28195-99 [11]. Стандарт опреде-

ляет конкретные значения параметров весомости для каждой подхарактеристики, в

зависимости от стадии ЖЦ ПС, а также от класса ПС (указываются коды подклас-

сов ПС по ОКП)

Модель качества в стандарте ГОСТ 28195 немного отличается от предлагаемой

ISO/IEC 9126, а также ДСТУ 2850. Эти отличия касаются состава подхарактеристик.

566 Глава 12

Таблица 12.1. Приоритеты характеристик с учетом уровня целостности ПС

Уровень

целостности

Характери-

стики каче-

ства

Наиболее

важная

под-

характе-

ристика

Выбранная внешняя метрика Возмож-

ный

крите-

рий при-

емки

1. Функцио-

нальность

Точность Число полученных точных результатов

в % от ожидаемого числа

95%

2. Удобство

использо-

вания

Управляе-

мость

Число ясных сообщений в % от общего

числа просмотренных сообщений

80%

3. Перено-

симость

Настраи-

ваемость

Число модулей, подлежащих повторной

компиляции, с учетом общего числа

модулей, переносимых на новую плат-

форму

< 6

модулей

4. Эффек-

тивность

Реактив-

ность

Промежуток времени от посылки за-

проса до получения ответа системы

< 5

секунд

5. Надеж-

ность

Отказо-

устойчи-

вость

Число отказов, произошедших из-за

ошибки во входных данных, в % от об-

щего числа запусков системы с вводом

неправильных данных

25%

Низкий

6. Сопрово-

ждаемость

Не требу-

ется

Не требуется -

1. Надеж-

ность

Готовность

Среднее время между отказами в пери-

од эксплуатации

> 6

месяцев

2. Функцио-

нальность

Функцио-

нальная

полнота

Число реализованных обязательных

функциональных требований в % к об-

щему числу специфицированных функ-

циональных требований

100%

3. Сопрово-

ждаемость

Модерни-

зируемость

Число модулей, подлежащих измене-

нию при возможных изменениях ПС

4. Эффек-

тивность

Исполь-

зуемость

ресурсов

% занятости CPU в определенный пери-

од работы системы в расчете на наи-

худшие операционные условия

80%

5. Удобство

использо-

вания

Понятность Время, необходимое определенной ка-

тегории пользователей, на то, чтобы

понять, каким образом использовать

ПС, чтобы достичь нужных результатов

< 10

минут

Высокий

6. Перено-

симость

Не требу-

ется

Не требуется -

Помимо правильного выбора уровня оценивания, успех оценивания про-

граммного продукта зависит от адекватности множества метрик и ассоциируемых с

ними методов измерения и оценивания потребностям оценивания на выбранном

уровне. Примеры взаимосвязанных метрик (внутренних, внешних и эксплуатаци-

онных) для каждой характеристики качества в обобщенной модели качества пред-

ставлены в стандартах серии ISO/IEC 9126 [12, 13, 14]. Перечень и краткая харак-

теристика методов, которые могут использоваться для определения значений мет-

рик, были даны в главе 3. Практические рекомендации относительно оценивания

Глава 12 567

всех характеристик качества ПС можно найти в книге В.В.Липаева [10], а также в

ГОСТ 28195-99.

12.1.2. Технологические модули оценивания

Для того чтобы грамотно применять метрики в конкретных проектах, а также

разрабатывать новые метрики, понятные, согласованные и однозначно интерпрети-

руемые исполнителями измерений и оценщиками, лучше всего руководствоваться

едиными требованиями к их документированию и использованию, не допускаю-

щими разночтения. С этой целью разработчики стандарта ISO/IEC 14598 опреде-

лили понятие модуля оценивания [15].

Стандарт ISO/IEC 14598 предлагает структурировать всю информацию, не-

обходимую для проведения и интерпретации результатов оценивания одной харак-

теристики качества

в виде совокупности элементов, каждый из которых охваты-

вает один аспект оценивания качества и обусловливает применение одного опреде-

ленного метода. Вся информация, связанная с выполнением оценивания одним ме-

тодом, должна собираться и сохраняться (пакетироваться) для использования в бу-

дущем. Такой пакет информации называется модулем оценивания. Таким образом,

модуль оценивания – вместилище всей информации, необходимой для выполнения

оценивания определенного аспекта одной характеристики качества с применением

единой методологии (включающей методы, процедуры, условия, инструменты,

точность измерения и оценивания). Он обеспечивает связность метрик, методов

оценивания и мер (результатов оценивания).

Модуль оценивания включает 6 обязательных частей EM0 – EM5 (EM – от

Evaluation Module), а также одно необязательное приложение – EMA (от Evaluation

Module Annex):

EM0 содержит общую информацию о модуле оценивания и описание исполь-

зуемого метода оценивания;

EM1 определяет сферу применения модуля оценивания;

EM2 указывает перечень ссылок на литературные источники;

EM3 содержит определения, используемые в модуле оценивания;

EM4 идентифицирует входные продукты, требуемые для проведения оцени-

вания, и определяет собираемые данные и вычисляемые метрики;

EM5 содержит сведения о том, как нужно интерпретировать результаты

измерений.

Приложение EMA может включать описание подробной процедуры примене-

ния модуля оценивания.

Требования к документированию всех частей модуля оценивания определены

в части 6 стандарта ISO/IEC 14598 [15]. Там же можно найти примеры трех моду-

лей оценивания – для метрики «плотность дефектов в ПО», характеристики каче-

ства «функциональность», а также обобщенной характеристики «качество при

использовании».

Модули оценивания могут разрабатываться не только для характеристик, но и для

отдельных подхарактеристик или даже метрик.

568 Глава 12

12.1.3. Оценка интегрального показателя качества

В том случае, если цель оценивания качества ПС состоит в определении об-

щего уровня качества ПС, а не отдельных характеристик (подхарактеристик), - вы-

числяется интегральный показатель качества.

Поскольку все подхарактеристики качества имеют различные метрики (мето-

ды и шкалы измерений), они не могут непосредственно сопоставляться или объе-

диняться. Механизм их объединения состоит в том, что для всех элементов на всех

уровнях модели качества принимается единая шкала оценки – от 0 до 1.

Интегральный показатель качества определяется как функция (средневзве-

шенное арифметическое среднее) от нескольких характеристик (подхарактеристик)

качества и коэффициентов их весомости:

)(

MQU ⋅=

∑

где Q

- относительное значение i-й характеристики качества, а M

- параметр

весомости. n – количество характеристик качества.

Относительное значение характеристики – это отношение ее вычисленного

(фактического) значения к базовому (эталонному) значению.

Эталонное значение соответствует значению данной характеристики у луч-

шего образца ПС из числа аналогов (к аналогам относятся ранее созданные ПС того

же класса, что и оцениваемая ПС, подобные по функциональному назначению и

условиям применения, отвечающие современному уровню развития систем данного

класса).

Если модель качества многоуровневая – результат оценки показателя качест-

ва, определяется результатом оценки характеристик, результат оценки характери-

стик – результатом оценки подхарактеристик и т.д. снизу вверх по уровням модели

качества.

12.2. Оценивание процессов жизненного цикла

12.2.1. Эталонная модель оценивания

Оценивание процессов ЖЦ может понабиться для того, чтобы:

• осознать состояния собственных процессов организации-разработчика с

целью их дальнейшего усовершенствования;

• установить соответствие собственных процессов организации опреде-

ленным требованиям или классу требований (например, для проверки способности

выполнить договор или оценки риска, связанного с невыполнением договора);

• определить пригодность процессов другой организации для конкретного

договора.

Оценивание процессов ЖЦ в настоящее время регламентируется стандартом

ISO/IEC 15504, принятым в 1998 году

. Этот стандарт – результат работы специа-

тандарт состоит из 9 частей. «Центральная» часть – 2 – содержит определение

эталонной модели процессов (40 процессов). В новой редакции (которая готовится подко-

митетом SC7) стандарт будет включать только 5 частей. Из стандарта изымается описание

эталонной модели процессов ЖЦ, которое будет представлено только в ISO/IEC 12207.

Глава 12 569

листов по программной инженерии над проектом SPICE (Software Process Im-

provement and Capability dEtermination) [16].

Стандарт предлагает структурный подход к оцениванию, в основу которого

положена двумерная модель оценивания [17]. Прежде всего, устанавливается, со-

ответствует ли оцениваемый процесс определенным требованиям, зафиксиро-

ванным в эталонной модели этого процесса, а затем определяется, насколько чет-

ко он организован, устойчив и управляем

Эталоном процесса ЖЦ служит его определение в стандарте ISO/IEC 12207

(см. главу 1) [1]. Каждый процесс в эталонной модели описывается в виде форму-

лировки цели (предназначения) процесса и перечня утверждений, констатирующих

отличительные особенности успешного осуществляемого процесса (иначе говоря,

показатели его результативности). По тому, обладает ли процесс этими особенно-

стями, можно судить о том, что процесс действительно осуществляется, то есть

выполняет действия, которые считаются нормой.

Измерение процессов в проекте (по их действиям и конкретным наработкам)

образует первую меру в двумерной модели оценивания. Она используется для под-

тверждения того, что оцениваемый процесс существует и достигает результата.

Однако факт достижения процессом конечного результата еще не свидетельствует

о том, что он не пущен на «самотек».

Мера, используемая для измерения свойств (атрибутов) процесса, опреде-

ляющих мощность управляющей составляющей процесса – руководящей практики

- это вторая мера в двумерной модели оценивания процессов. Ее называют мерой

мощности процесса, характеризующей степень, в которой руководящую практику

можно считать совершенной.

В стандарте ISO/IEC 15504 выделены 9 атрибутов мощности процесса на 6

уровнях мощности (зрелости) процесса.

Краткая характеристика уровней мощности (зрелости) процесса:

• уровень 0. Незавершенный процесс. Происходит провал при выполнении

процесса или сбой в достижении его целей - нет или очень мало рабочих продуктов

или результатов процесса, свидетельствующих о том, что процесс выполняется.

• уровень 1. Выполняемый процесс. Назначение процесса в целом дости-

гается. Сотрудники организации признают, что деятельность (соответствующую

назначению процесса) нужно осуществлять. Есть общая договоренность о том, что

эта деятельность осуществляется так, как нужно, и тогда, когда нужно. Рабочие

продукты процесса идентифицированы, и по ним можно судить о достижении его

целей. Результаты процесса могут не быть заранее строго запланированы;

• уровень 2. Управляемый процесс. Рабочие продукты производятся в со-

ответствии с установленными процедурами. Процесс планируется и контролирует-

ся. Рабочие продукты согласованы с определенными стандартами и требованиями.

Основное отличие от уровня выполняемого процесса состоит в том, что ход

процесса теперь приводит к выпуску рабочих продуктов, полностью отвечающих

требованиям к качеству в пределах заданных сроков и ресурсов;

Стандарт не предназначен для использования в какой-либо системе сертифика-

ции/регистрации мощности процессов ЖЦ в организации.

570 Глава 12

• уровень 3. Установившийся процесс. Существует базовое определение

процесса, разработанное с учетом ведущих принципов и передовой практики про-

граммной инженерии и обеспечивающее достижение хороших результатов при его

надлежащем использовании. Базовый процесс институциализируется (внедряется)

в организации. Далее он адаптируется к условиям определенного проекта («на-

страивается» на конкретные рабочие продукты, сроки и т.д.). Для реализации адап-

тированного процесса, представленного своим определением, выделяются все не-

обходимые ресурсы.

Основное отличие от уровня управляемого процесса состоит в том, что про-

цесс на уровне установившегося процесса использует базовый процесс как такой,

который действительно способен достичь результатов, свойственных базовому

процессу, и служит гарантией достижения результатов;

• уровень 4. Предсказуемый процесс. Выполнение процесса на практике

происходит в условиях постоянного количественного контроля достижения целей

базового процесса. Продукты и ресурсы процесса детально измеряются, а результа-

ты измерений собираются и анализируются. Это позволяет эффективно руководить

процессом, предсказывать его состояние в ходе ЖЦ, а также оценивать качество

продуктов в количественном исчислении.

Основное отличие от уровня установившегося процесса состоит в том, что

адаптированный процесс выполняется постоянно и всегда можно предсказать, на

каком этапе выполнения он будет находиться в определенный момент времени;

• уровень 5. Оптимизируемый процесс. Выполнение процесса оптимизи-

руется в соответствии с текущими и будущими производственными целями органи-

зации. Существуют количественные целевые показатели экономической эффектив-

ности и производительности выполнения процесса. Установлена обратная связь в

процессе, благодаря которой осуществляется постоянный мониторинг соответствия

процесса целям организации и его улучшение. Оптимизируемый процесс предпо-

лагает решение задач пилотирования (апробации новых идей и технологий) и мо-

дернизации (изменения) неэффективных действий для достижения определенных

целей или показателей.

Основное отличие от уровня предсказуемого процесса состоит в том, что не

только действующий адаптированный процесс, но и базовый процесс организации

динамично меняются и улучшаются с целью эффективного достижения текущих и

будущих производственных целей.

Эволюция мощности любого процесса отражается в его свойствах (атрибу-

тах).

Атрибут процесса описывает некоторый аспект общей возможности управ-

ления и совершенствования процесса.

Определенное множество атрибутов характеризует уровень мощности про-

цесса, причем каждый последующий уровень мощности включает не только атри-

буты, свойственные процессу на данном уровне, но и атрибуты процесса для всех

предыдущих уровней (таблица 12.2). Совместно эти атрибуты указывают на основ-

ной прирост мощности управления процессом.

Самый первый атрибут АП 1.1 – выполнимость процесса – характеризует не

столько мощность процесса, сколько его наличие, а все остальные – степень управ-

ления процессом по различным аспектам его выполнения.

Глава 12 571

Таблица 12.2. Атрибуты мощности процесса

Уровень

мощности

Атрибут Определение атрибута

1. Выпол-

няемый

процесс

АП 1.1

Выполнимость

процесса

Степень, в которой процесс достигает результатов

процесса путем преобразования идентифицируемых

входных рабочих продуктов в идентифицируемые вы-

ходные рабочие продукты.

2. Управ-

ляемый

процесс

АП 2.1

Управляемость

выполнением

Степень, в которой выполнение процесса направляется

на выработку рабочих продуктов, соответствующих ус-

тановленным целевым показателям процесса (парамет-

рам управления).

АП 2.2

Управляемость

рабочими про-

дуктами

Степень, в которой выполнение процесса направляется

на выработку таких рабочих продуктов, которые долж-

ным образом документированы и верифицированы.

3. Устано-

вившийся

процесс

АП 3.1

Определен-

ность

Степень, в которой выполнение процесса использует

определение процесса (основанное на базовом) для дос-

тижения результатов процесса.

АП 3.2

Используемость

ресурсов

Степень, в которой процесс использует имеющиеся в

наличии ресурсы (например, трудовые ресурсы и инфра-

структуру процесса), выделенные для развертывания

процесса.

4. Предска-

зуемый

процесс

АП 4.1

Измеримость

Степень, в которой цели и меры продукта и процесса

используются для того, чтобы гарантировать, что вы-

полнение процесса способствует достижению постав-

ленных перед ним целей.

АП 4.2

Контролируе-

мость выпол-

нения

Степень, к которой процесс контролируется (благодаря

сбору, анализу и использованию мер продукта и процес-

са), что обеспечивает корректировку его выполнения для

достижения определенных целей (относительно продук-

та и процесса).

5. Оптими-

зируемый

процесс

АП 5.1

Контролируе-

мость модифи-

кации

Степень, в которой изменения в определении, управле-

нии и выполнении процесса находятся под постоянным

контролем в контексте достижения соответствующих

производственных целей организации.

АП 5.2

Непрерывность

усовершенство-

вания

Степень, в которой изменения в процессе идентифици-

руются и внедряются таким образом, что есть гарантия

непрерывного совершенствования, способствующего

достижению соответствующих производственных целей

организации.

Для каждого атрибута существуют рейтинги достижения – «полностью»,

«существенно», «частично», «не достигнут» - в определенном контексте достиже-

ния конкретной поставленной цели оценивания (рисунок 12.2).

Не достиг-

нут (Н)

Частично дос-

тигнут (Ч)

Существенно

достигнут (С)

Полностью дос-

тигнут (П)

0% 15% 50% 85% 100%

Рис. 12.2. Эталонная шкала рейтингов атрибутов процесса