Андон Ф.И., Коваль Г.И., Коротун Т.М., Лаврищева Е.М., Суслов В.Ю. Основы инженерии качества программных систем

Подождите немного. Документ загружается.

Глава 3

144

устанавливаются контролируемые признаки, включаемые в виде вопросов в анали-

тические опросные анкеты экспертов.

Шаг 4. Определение критерия «хорошего» значения метрики. Когда из-

вестно, что измерять и как измерять, нужно определить, как интерпретировать ре-

зультаты измерений, и какими должны быть пределы их изменений.

Критерием истины во многих случаях служит мнение заказчика и пользова-

теля. Могут также использоваться опубликованные сведения о приемлемых значе-

ниях тех или иных метрик, полученные в отраслевой производственной практике

значения и др. Так, например, известно, что цикломатическая сложность модулей

должна быть

≤

. Наиболее достоверный источник информации - собственные

исторические данные об измерении схожих проектов.

Шаг 5. Документирование метрик. На этом шаге нужно принять решение о

формате отчета, о цикле извлечения и регистрации данных (частоте измерений), о

механизмах учета данных (твердая копия, электронная копия), о порядке их рас-

пределения (направления) различным участникам процесса измерения, об ограни-

чениях (определяющих готовность метрики к использованию) и др.

Шаг 6. Определение дополнительных квалификаторов метрик. Метрика

считается хорошо спроектированной, если она является обобщением различных

взглядов и уровней измерения и если ее можно применять, например, на уровне

класса продуктов, одного продукта или компонентов этого продукта ПС. В качест-

ве дополнительных квалификаторов может указываться контекст применения и

другие ограничения.

3.3.2. Подготовка к использованию метрик качества в измерениях

Процесс подготовки к использованию метрик качества ПС для выполнения

измерений включает выполнение следующих шагов, рекомендованных стандартом

ISO/IEC 9126-2:

Шаг 1. Идентификация собираемых и измеряемых элементов данных.

При подготовке к измерению данных нужно:

• выполнить их декомпозицию на элементы - количественные описания

фактов, используемых для вычисления значений метрик;

• определить время, частоту и продолжительность сбора значений (мер)

соответствующих элементов данных;

• разработать формы учета и отчета о результатах оценивания, обзора

и/или тестирования продуктов.

Шаг 2. Идентификация ограничений и контекста использования метрик.

Прежде всего, необходимо установить ограничения на использование метрик при

тестировании.

Большинство внешних метрик используют измеряемые значения, получен-

ные в ходе тестирования. Поэтому на их достоверность влияет тщательность (глу-

бина) тестирования. По аналогии, на достоверность значений внутренних метрик

влияет тщательность (глубина) применения инспекций и других методов верифи-

кации. Нужно устанавливать степень этого влияния.

Эффективность проверок (тестирования или верификации) может опреде-

ляться, например, в таких единицах, как количество «человеко-часов обзоров», по-

траченных на проверку определенного числа строк исполнительного кода, или «ко-

личество выполненных тестов». А уровни их значений, в свою очередь, могут уста-

Глава 3 145

навливаться исходя из того, как много пользователей и как часто будут использо-

вать те или иные компоненты (функции) ПС.

Нужно также устанавливать ограничения на степень соответствия получен-

ных результатов проверок спецификациям исходных требований, поскольку сами

спецификации могут быть не всегда правильными. Поэтому перед планированием

тестирования на соответствие спецификациям необходимо выполнять их верифи-

кацию.

Для правильного применения метрик помимо ограничений необходимо также

установить контексты их использования. Без указания контекста, описывающего

ситуацию и условия, в которых будут собираться данные, и применяться метрики,

меры могут интерпретироваться не адекватно. Например, такие метрики, как «вре-

мя на освоение» или «время на выполнение операции» существенно зависят от

опыта оператора. Поэтому, наряду с указанием значения метрики нужно указывать

условия (контекст), в которых значение получено.

Могут быть полезны и некоторые другие примеры информации, сбор которой

важен для правильной интерпретации метрик:

• виды процессов, действий и задач, в ходе выполнения которых собирают-

ся данные;

• время, продолжительность сбора данных (применения метрик);

• персонал, участвующий в сборе данных (применении метрик);

• среда тестирования ПС и ее отличия от среды эксплуатации;

• условия и виды тестирования;

• пользовательские профили (категория, опыт и др.);

• сведения о видах процедур сбора данных (автоматизированные, ручные,

вопросники и др.);

• уровень проверки правильности данных, что важно для оценки степени

точности данных (самопроверка, инспекция и др.).

Шаг 3. Идентификация свойств метрик. Точность и корректность оцени-

вания качества зависит от свойств, которыми обладает каждая метрика, участвую-

щая в оценивании. Свойства метрик соответствуют требованиям к измерениям,

предъявляемым стандартом ISO/IEC 14598-1 [26], и требованиям к оцениванию,

предъявляемым ISO/IEC 14598-5 [27]. Наличие необходимых свойств должно про-

веряться.

Стандарт ISO/IEC 9126-2 определяет следующие свойства метрик:

• надежность (степень свободы от случайных ошибок оценщика);

• показательность (наглядность);

• готовность к использованию (документальные свидетельства возможно-

сти использовать метрику);

• экономичность (документальные свидетельства оправданности затрат на

применение метрики);

• корректность (объективность, беспристрастность, точность отражения

мнения оценщика);

• значимость результатов (предоставление значимых результатов измере-

ния поведения ПC или характеристик ее качества).

Шаг 4. Идентификация метода визуализации и интерпретации. Сущест-

вует множество методов и инструментов, которые могут быть использованы для

Глава 3

146

визуализации и анализа результатов измерений и должны быть идентифицированы

при подготовке к измерениям, например:

• гистограммы и диаграммы Парето (для определения частоты появления

событий);

• графики «время – значение» (для предсказания изменений (тренда));

• графики «метрика X - метрика Y» (для выполнения корреляционного

анализа);

Подробнее эти и другие методы описаны в главе 5.

Шаг 5. Идентификация метода демонстрации правильности метрик.

Нужно идентифицировать методы, которые будут применяться для демонстрации

правильности выбранных метрик, например:

демонстрация коррелируемости. Объяснение отклонения значений характе-

ристик отклонением значений соответствующих метрик;

демонстрация трассируемости. Подтверждение того, что изменение значе-

ний характеристик качества сопровождается изменением значений метрик (в одном

и том же направлении);

демонстрация согласованности. Подтверждение того, что если значения ха-

рактеристик качества продуктов 1, 2, …, n связаны отношением Q1>Q2>…>Qn, то

и значения соответствующих метрик связаны отношением M(Q1)>M(Q2)>

…>M(Qn);

демонстрация предсказуемости. Подтверждение того, что погрешность

предсказания характеристики качества с помощью метрики будет допустимой;

демонстрация дифференцирующих способностей. Подтверждение того, что

применение метрики позволит отличать компоненты ПС с приемлемыми значения-

ми характеристик качества от компонентов с неприемлемыми значениями характе-

ристик.

3.4. Применение метрик и моделей качества

3.4.1. Спецификация требований к качеству

Как уже отмечалось, для идентификации согласованных требований к каче-

ству важно выбрать подходящие внутренние и внешние метрики качества и опре-

делить ожидаемые диапазоны значений (адекватные критерии оценки качества),

что позволит детализировать характеристики и подхарактеристики качества, тре-

буемые моделью качества ПС. Выбираемые внутренние и внешние метрики долж-

ны быть попарно связанными, что позволит определить модель дальнейшего улуч-

шения качества в ходе разработки ПС. Каждая внутренняя метрика должна соот-

ветствовать улучшаемому атрибуту ПС, а внешняя - определять степень достиже-

ния улучшений.

Для построения модели и определения требований к качеству можно исполь-

зовать целеориентированный подход, который создает концептуальный базис для

определения множества целей и их преобразования в перечень конкретных вопро-

сов, которые применяются для спецификации мер и метрик, пригодных для полу-

чения информации, необходимой для ответа на вопросы. Подробно данный подход

рассматривается в главе 4. Можно привести следующий пример его применения

для определения целей качества:

Глава 3 147

Цели (Goals)

G1: Повысить надежность программного продукта

Вопросы (Questions):

1. Внешние вопросы, касающиеся того, как проверить достижение цели в хо-

де тестирования или эксплуатации.

Q1.1: как долго продукт работает без отказа?

Q1.2: как часто обнаруживаются ошибочные входные данные и предотвра-

щается отказ?

2. Внутренние вопросы, касающиеся того, как проверить достижимость цели

качества в ходе разработки.

Q1.3: как много ошибок обнаруживается при проведении инспекции?

Q1.4: какие типы ошибок наиболее часты?

Метрики (Metrics):

1. Внешние метрики (External Metrics).

EM1: среднее время между отказами.

EM2: коэффициент обнаружения ошибок ввода.

2. Внутренние метрики (Internal Metrics).

IM1: плотность дефектов, обнаруженных при инспекции.

IM2: число входов, для которых реализована функция обнаружения ошибоч-

ных данных.

Множество требований к качеству ПС могут вступать в конфликты, которые

должны разрешаться на ранних стадиях разработки. Для выявления и устранения

такого рода конфликтов Дьютч и Виллис предложили использовать «матрицу кон-

фликтов» [12]. Фрагмент такой матрицы, используемой для обозначения конфлик-

тующих характеристик и подхарактеристик качества, представлен на рисунке 3.12.

Характеристики,

на которые

оказывается

влияние

Функциональ-

ность

Функциональная

пригодность

Точность

Способность к

взаимодействию

Защищенность

Надежность

Завершенность

Отказо-

устойчивость

Восстанавлива-

емость

Удобство

применения

Понятность

Изучаемость

Управляемость

Привлекатель-

ность

Эффективность

Временная

эффективность

Используемость

ресурсов

Характеристики, по

которым

определяется рост

качества

Функциональная

пригодность

Точность

Способность к

взаимодействию

Защищенность

Функциональность

Надежность

Завершенность

Отказоустой-

чивость

Восстанавлива-

емость

- -

Рис. 3.12. Фрагмент матрицы конфликтов характеристик качества

Глава 3

148

Положительное воздействие одной характеристики на другую отмечается в

матрице символом «+», а отрицательное - символом «-».

Одно из ключевых свойств матрицы конфликтов - необязательная симметрия

взаимосвязей конфликтующих характеристик. Например, если в качестве приори-

тетного требования к качеству пользователем выбрана надежность, - ее обеспече-

ние может нанести урон рациональности (эффективности по времени и ресурсам),

хотя обратное отрицательное влияние (рациональности на надежность) может от-

сутствовать.

Может быть и другое представление матрицы конфликтов требований. На-

пример, в методологии Quality Function Deployment (QFD) («развертывание» функ-

ции качества) предлагается идентифицировать и разрешать конфликты с использо-

ванием треугольной матрицы, символизирующей «крышу» так называемого «дома

качества». При этом предполагается, что конфликтующие взаимосвязи полностью

симметричны. Подробнее методология QFD представлена в разделе 3.5.

3.4.2. Другие аспекты использования метрик

Оценивание и предсказание характеристик ПС на ранних стадиях ЖЦ – два

наиболее полезных аспекта использования метрик

Предсказания могут выполняться с использованием байесовских сетей (как

это было показано в п.3.3.6), регрессионного анализа или корреляционного анализа.

Если нужно предсказать значение в будущем определенной характеристики

(атрибута), используя текущее значение этой характеристики (атрибута), - приме-

няется регрессионный анализ множества данных, наблюдаемых в определенный

период времени. Так можно, например, по значениям среднего времени между от-

казами ПС при тестировании определить среднее время между ее отказами при

эксплуатации.

Если нужно определять будущие значения характеристики (атрибута), ис-

пользуя текущие измеренные значения другого атрибута, т. е. определять внешнюю

меру по внутренней мере, непосредственно не связанной с данной внешней мерой,

- строятся корреляционные зависимости и выполняется корреляционный анализ.

Например, можно использовать значения сложности модулей, полученные при ко-

дировании, для предсказания трудоемкости внесения изменений и тестирования

при сопровождении.

Если нужно оценить текущие значения атрибута, которые не могут быть не-

посредственно измерены, или есть какая-либо другая мера, имеющая строгую кор-

реляционную зависимость с целевой мерой, - также полезен корреляционный ана-

лиз. Например, поскольку количество оставшихся ошибок в программном продукте

невозможно измерить, - его можно оценить, зная количество обнаруженных оши-

бок и тенденции в процессе обнаружения.

Существуют и другие аспекты полезного применения метрик:

• оценка качества на промежуточных этапах разработки ПС. Для управ-

ления качеством полезно использовать метрики промежуточных продуктов в оп-

ределенные моменты выполнения процессов разработки и сопровождения ПС, а

также оценки эффективности процессов ЖЦ ПС, особенно если требования к каче-

Процедура оценки качества разработанной программной системы рассматривается в

главе 12.

Глава 3 149

ству продуктов этих процессов заранее установлены путем указания ожидаемых

измеряемых значений;

• трассирование эффективности проекта ПС. Для управления проектом

ПС полезно применять метрики, предназначенные для оценки ключевых характе-

ристик промежуточных продуктов проекта в определенные моменты разработки. В

этих случаях меры могут интерпретироваться с точки зрения управления для при-

нятия адекватных решений;

• идентификация, наблюдение и предупреждение риска. Это особенно

важно для критических программных систем, характеристики и подхарактеристики

качества, а также атрибуты которых, идентифицируются как факторы риска. В этих

случаях меры могут интерпретироваться с точки зрения заказчика или конечного

пользователя;

• оценивание характеристик ПС при ее приобретении. Полезно применять

метрики для оценивания продуктов ПС при их приобретении в случае наличия аль-

тернатив. Это должны быть метрики, отражающие взгляд пользователя на модель

качества при приемочных испытаниях ПС – кандидатов;

• идентификация расхождений между требуемым и достигнутым уров-

нем качества. С одной стороны, можно идентифицировать расхождения между

внутренними требованиями к качеству и качеством, достигнутым до начала тес-

тирования, а с другой, - между внешними требованиями к качеству и качеством,

достигнутым в процессе тестирования. До начала тестирования внутренние метри-

ки служат в качестве индикаторов внешнего качества, а затем, в ходе тестирования,

внешние метрики применяются для представления реально достигнутого уровня

качества;

• анализ проблем с качеством. Метрики могут использоваться для отожде-

ствления источника наиболее вероятных проблем с каждой из подхарактеристик

качества. Периодическое выполнение такого рода анализа в процессе разработки

позволяет контролировать факт появления проблем, частоту их появления и приня-

тие решений по проблемам;

• идентификация компонентов ПС, предрасположенных к появлению про-

блем. Метрики можно использовать отдельно для каждого компонента ПС, выпол-

няя идентификацию «проблемных» компонентов путем построения распределений

значений метрик и корреляционных зависимостей, анализ которых позволяет уста-

новить отклонения значений от ожидаемых, выход за границы диапазонов или пре-

вышение пороговых значений.

Для извлечения максимальной пользы от применения анализа метрик ПС

должна быть создана система сбора и хранения данных о качестве продуктов на

уровне организации – репозиторий наблюдаемых и вычисляемых результатов

внешних и внутренних измерений. Это поможет накапливать опыт и повышать

точность анализа метрик.

3.5. Парадигма «встраивания» качества в программной ин-

женерии

3.5.1. Базовые идеи в основе модели QFD

В 60-годы в Японии была предложена методология обеспечения качества при

создании промышленной продукции, получившая название методологии «развер-

Глава 3

150

тывания» качества (QFD, от Quality Function Deployment). Позже она была адапти-

рована к производству программной продукции.

Методология QFD ориентирована на последовательную трансляцию пользо-

вательских требований к создаваемому продукту в технические требования на всех

стадиях его разработки и производства.

Основная цель QFD состоит в преодолении трех основных недостатков, свой-

ственных традиционным подходам к разработке: пренебрежение мнением (голо-

сом) заказчика, потеря информации и несогласованность требований ввиду их

реализации различными исполнителями с использованием различных методов.

Фактически QFD изменила парадигму производства качественной промышленной

продукции: традиционная идея повышения качества за счет контроля создаваемой

продукции была заменена идеей производства бездефектной продукции за счет

встраивания элементов обеспечения качества в процессы производства.

QFD, используя серию матриц, декомпозирует спецификации продукта или

описания проблем до уровня определения предписаний конкретных действий. Эти

предписания определяют минимальный уровень усилий, которые необходимо по-

тратить для удовлетворения требований заказчика.

QFD кладет в основу бригадный подход к работе и помогает производствен-

ным бригадам систематически достигать согласия по вопросам: «что делать?», «ка-

ким образом лучше делать?», «в каком порядке делать?», «какие ресурсы использо-

вать?». QFD предлагает также четкую технологию проведения совместных обсуж-

дений и решения проблем всеми заинтересованными сторонами.

3.5.2. Компоненты модели QFD. Матрица «Дом Качества»

Самая распространенная матрица, используемая QFD, - это «Дом Качества»

(рисунок 3.13).

Символический Дом Качества содержит следующие компоненты:

• целевое утверждение. Первый шаг процесса QFD состоит в достижении

консенсуса относительно общей цели потребителя (заказчика) продукта и его по-

ставщика (разработчика). Целевое утверждение обычно представляется в форме

вопроса и определяет, чего нужно попытаться достичь. Хорошо сформулированная

цель позволяет бригаде (команде проекта) сосредоточиться на пользовательских

требованиях, представленных в виде единой задачи;

• голос заказчика (потребителя). После того, как сформулировано пробное

целевое утверждение, может быть проведено совещание для проверки полноты

учета (охвата) мнения заказчика. Мнение заказчика выражается в виде перечня

конкретных требований с указанием желательных атрибутов и достоинств будуще-

го продукта. Эти требования определяют все те блоки «ЧТО», которые должны

быть созданы. QFD предлагает метод учета Голоса Заказчика путем идентификации

индивидуальных характеристик продукта, услуги или проблемы. В совещании

должны принимать участие группа QFD, представители заказчика и руководства

поставщика, а также представители заинтересованных подразделений (например,

службы маркетинга). Каждый блок «ЧТО» должен представлять единственное

требование. Формулировка требований должна ограничиваться пятью - десятью

словами. После того, как все требования заказчика будут учтены, они уточняются,

сортируются и вносятся в список;

Глава 3 151

Матрица взаимосвязей

Голос

поставщика

КАК

Адресные цели

Рейтинги

важности

ЧТО

Голос

заказчика

Конкурентная

оценка

заказчика

Конкурентная оценка

технических решений

Вероятностные

коэффициенты

Абсолютная оценка

Относительная оценка

Корреляционная

матрица

Рис. 3.13. Матрица «Дом Качества»

• рейтинги важности. QFD предлагает систематизированный метод опре-

деления степени важности требований заказчика. Рейтинги важности служат и как

факторы взвешивания, и как множители к другим значениям в матрице, позволяя

делать определенные статистические заключения. Шкалы рейтингов важности и

методы опроса участников голосования могут быть различными, использующими

числовые значения или символьные обозначения (для удобства участников голосо-

вания из разных стран), но во всех случаях, чем выше рейтинговое значение, тем

больше уровень важности;

• конкурентная оценка заказчика. На этом шаге процесса QFD оценивается

степень восприятия продукта заказчиком по сравнению с другими заказчиками-

конкурентами. В качестве базы для сравнения используются данные, полученные

от различных заказчиков и представленные в графическом виде. Это дает возмож-

ность оценить, насколько хорошо конкуренты воспринимают требования, выдвину-

тые заказчиком, и помогает:

- убедиться в том, что список требований важен для сообщества пользова-

телей;

Глава 3

152

- учесть дополнительные требования заказчиков;

- установить достоинства и недостатки продукта;

- определить слабые места продуктов, используемых конкурентами.

Для оценки используется та же шкала, что и при ранжировании важности;

• голос поставщика (разработчика). На этом шаге процесса QFD рассмат-

риваются все вопросы, касающиеся блока «КАК», то есть выясняются способы дос-

тижения требований, образующих блок «ЧТО». В блоке «КАК» указываются необ-

ходимые процессы, средства и методы. Акцент переносится с идентификации про-

блемы на ее решение. Процесс поиска решений представляет собой совещание с

использованием приемов мозгового штурма;

• адресные (локальные) цели. После того как составлен перечень возмож-

ных решений в блоке «КАК», необходимо установить наилучшее из них. Адресные

цели используются для того, чтобы помочь определить, квантифицируемы ли пред-

ложения в блоке «КАК», то есть, можно ли их оценить количественно. Адресные

цели указывают, каким образом предложенное решение может способствовать по-

вышению или снижению чего-либо. Для представления адресных целей использу-

ют символьные обозначения (например, стрелки «вверх» или «вниз») либо число-

вые значения. Если цель не может быть оценена количественно, она должна быть

удалена из списка;

• корреляционная матрица. Эта матрица символизирует собой крышу Дома

Качества (рисунок 3.14). Она показывает положительные и отрицательные связи

между решениями в блоке «КАК».

КАК 1

КАК 2

КАК 3

КАК 4

КАК 5

КАК 6

Рис. 3.14. Проверка совместимости принятых решений

Определяя, какие решения сочетаются друг с другом и где могут возникнуть

конфликты, корреляционная матрица помогает идентифицировать, какие ресурсы

могут использоваться сразу для нескольких целей. Она указывает также, куда необ-

ходимо направить дополнительные усилия или применительно к чему провести до-

полнительные исследования.

Корреляционная матрица использует следующую символику:

« ++ » - для указания очень хорошего взаимодействия;

« + » - для указания положительной связи;

« - » - для указания отрицательной связи;

« хх » - для указания очень плохого взаимодействия (конфликта).

Глава 3 153

Корреляционная матрица строится после того, как все решения «КАК» вне-

сены в матрицу QFD и идентифицированы адресные цели. Проводится попарное

сравнение решений, и присваиваются указанные выше обозначения.

Положительная связь указывает, что решения дополняют друг друга, а отри-

цательная - что решения отрицательно сказываются друг на друге и необходимо

разрешение конфликта;

• конкурентная оценка технических решений. Эта оценка подобна конку-

рентной оценке заказчика, но касается технических деталей продукта или услуг, а

не требований заказчика. Данные для оценки предоставляются инженерным и тех-

ническим персоналом. В результате оценки определяются целевые значения - ко-

личественные меры для каждого решения из блока «КАК» (на основе отраслевых,

ведомственных и других стандартов). При выборе базы для оценок сравниваются

решения конкурентов-производителей продуктов и определяется тот уровень тех-

нических решений в продукте, который обеспечит его конкурентоспособность на

рынке;

• вероятностные коэффициенты. Служат для взвешивания каждого реше-

ния по вероятности его успеха. Низкий коэффициент вероятности может указывать

на то, что оцениваемое техническое решение не будет конкурентоспособным. Это

значит, что должны быть применены или разработаны новые технологии, методы и

приемы. Для оценивания обычно используются числовые шкалы. Чем выше значе-

ние по шкале - тем выше вероятность правильности выбранного решения;

• матрица взаимосвязи. Это центральная матрица в Доме Качества. Ис-

пользуется для анализа того, насколько каждое решение из блока «КАК» удовле-

творяет каждое требование из блока «ЧТО». Если устанавливается связь между

элементами «КАК» и «ЧТО» - это означает, что решение удовлетворяет определен-

ному требованию или устраняет определенную проблему. Если на вопрос, «может

ли решение помочь в достижении требования?», оценщики получают ответ «нет» -

в соответствующей позиции матрицы проставляется «0». Если ответ – «да», связь

далее должна быть категоризирована как «сильная», «средняя» или «слабая» с ука-

занием численных значений. Обработка выполняется, начиная с левого столбца

матрицы. Переход к следующему столбцу «КАК» производится только после за-

вершения обработки данного столбца. Для вычисления оценки в каждой ячейке

матрицы рейтинг важности умножается на число, указанное в ячейке для соответ-

ствующего требования;

• абсолютная и относительная оценка. Абсолютная оценка представляет

собой сумму взвешенных значений связи для каждого решения из блока «КАК».

Относительная оценка - это ранг. Абсолютные оценки вычисляются путем сумми-

рования оценок в матрице связей по каждому столбцу решений из блока «КАК» и

отражают важность каждого решения по отношению к требованиям.

3.5.3. Методология QFD для программных систем

В последнее десятилетие методология QFD, изначально разработанная для

промышленного производства, была перенесена в среду разработки программного

обеспечения систем и получила название SQFD (Software Quality Function Deploy-

ment) – «развертывание» качества в программном обеспечении. Сейчас она с успе-

хом применяется фирмами DEC, AT&T, Hewlett-Packard, IBM и Texas Instruments

при разработке программных систем различных классов.