Андон Ф.И., Коваль Г.И., Коротун Т.М., Лаврищева Е.М., Суслов В.Ю. Основы инженерии качества программных систем

Подождите немного. Документ загружается.

174 Глава 4

4.2.6. Этап 5: формализация целей измерения

До этого момента в центре внимания были деловые цели и все, что влияет на

их достижение. Пятый шаг состоит в трансформации проблем и вопросов в ясно

определенные и установленные цели измерения.

Работы на этапах 1 - 4 подготовили базис для эффективного применения соб-

ственно подхода GQM в его оригинальном виде, разработанного в 1988 году авто-

рами парадигмы измерений «цель-вопрос-метрика»

- Бейсли и Ромбахом [7, 8, 9].

Отличие рассматриваемого здесь подхода от оригинального состоит в том,

что в нем к измерению добавлено промежуточное звено между «вопросом» и «мет-

рикой» (мерой) – «диаграмма». Диаграмма в данном случае – обобщенное название

для любых средств наглядного отображения (графиков, карт, схем, аналитических

описаний) зависимостей между атрибутами, применение которых должно помочь в

ответе на вопрос и определении подходящих мер.

Задача данного этапа – установить цели измерения и подготовить необхо-

димые структурированные утверждения о них.

Цели измерения могут иметь активную или пассивную форму.

Активные цели измерения направлены на контролирование процессов или

побуждение изменений в продуктах, процессах, ресурсах или средах. Это такой вид

целей, который обычно присутствует в деятельности по управлению проектом и

усовершенствованию процесса. Примеры активных целей:

- достичь строгого соблюдения графика проекта,

- повысить надежность продукта,

- снизить текучку кадров.

Пассивные цели измерения, с другой стороны, побуждают к изучению и обу-

чению. Они служат основой совершенствования представлений об оперативном

процессе до такого уровня, на котором могут быть формализованы удачно выбран-

ные активные цели измерения. Пассивные цели часто формулируются путем опре-

деления характеристик объектов, представляющих интерес в контексте некоторой

модели продуктивности или качества. Примеры пассивных целей:

- понять текущий процесс разработки,

- установить первопричины,

- понять связь между атрибутами, чтобы можно было разработать модели

для предсказания и оценивания.

Активные цели обычно связываются с оцениванием и совершенствованием, а

пассивные – с определением характеристик и предсказанием. Пассивными целями

нельзя пренебрегать, сосредотачиваясь исключительно на активных целях.

Независимо о того, активные или пассивные цели измерения рассматрива-

ются, их описания должны быть хорошо структурированы и включать четыре

компонента:

• объект интереса (сущность);

• намерение;

• позиция;

• условия (описание среды и ограничений).

Хотя в названии парадигмы GQM фигурирует термин «метрика», в действительно-

сти элементом парадигмы является мера. Этот термин был определен ранее в главе 3.

Глава 4 175

Форма описания структурированных целей представлена на рисунке 4.8.

Объект интереса:

________

(процесс, продукт, ресурс, задача, действие, [сущность] и др.)

Намерение:

____________

(охарактеризовать, проанализировать, оценить и др.)

(что сделать)

____________

([сущность], [аспект], [атрибуты] и др.)

(с чем)

для того чтобы

____

(понять, обосновать, предсказать, спланировать, сравнить и др.)

Позиция:

Проверить

_____

(поведение, стабильность, качество, прогресс, [атрибуты] и др.)

с позиций

_____

(разработчика, менеджера, руководителя, заказчика и др.)

Условия: ______(

факторы среды или другие параметры для определения контекста)

Рис. 4.8. Форма структурированного описания цели

Объект интереса – это любой предмет, реальный или абстрактный, который

нужно описать или о котором нужно больше узнать (продукт, процесс, ресурс,

агент, артефакт, действие, среда и др.). Объект - это сущность, но не любая, а та

конкретная сущность, которая должна быть описана в измеримых величинах.

Намерение при выполнении измерений может быть обусловлено желанием

понять, предсказать, спланировать, проконтролировать, сравнить, оценить или

улучшить продуктивность или качество объекта с учетом таких аспектов, как стои-

мость, размер, надежность, тестовое покрытие, ответная реакция, согласованность

процессов и др. Намерения любой деятельности по измерению должны устанавли-

ваться четко.

Позиция – компонент структурированного описания цели, указывающий то-

го, кто заинтересован в результатах измерения, и уточняющий его намерения по

измерению.

Описание условий определяет контекст, в котором должны интерпретиро-

ваться результаты измерения. Если контекст недостаточно ясен, он может быть не

понят всеми теми, кто использует собранные данные. Контекст определяет среду, в

которой выполняются измерения, и включает все факторы, влияющие на измеряе-

мый объект, или подверженные его влиянию. Контекст формируют параметры

приложений, человеческий фактор, ограничения ресурсов, факторы процесса, ме-

тоды, специфика организации-заказчика и др. То есть контекст охватывает все су-

щественные ограничения, связанные с объектом измерения, а также ограничения на

сферу и продолжительность применения самого процесса измерения.

Для того чтобы информация об условиях измерений приносила пользу,

нужно сосредоточить внимание на двух аспектах:

1. В чем сходство данного продукта или процесса с уже знакомыми персона-

лу. На основе сходства формируется контекст выполнения сравнений.

176 Глава 4

2. В чем отличие данного продукта или процесса от тех, с которыми персо-

нал уже знаком. На основе отличий формируется контекст исследования, понима-

ния и объяснения отличий.

После того, как описаны цели измерения, нужно убедиться в их трассируемо-

сти к подцелям и деловым целям, которые мотивировали каждую цель измерения.

Тогда, если позже будут возникать вопросы по поводу намерения измерения, мож-

но будет вернуться к истокам цели и принять реализационные решения, согласую-

щиеся с деловыми целями. Если определено много мер или подцелей, для установ-

ления их взаимосвязи могут пригодиться матричные изображения или другие ме-

тоды и инструменты отображения, например, применяемые в подходе QFD.

4.2.7. Этап 6: формулирование вопросов и выбор диаграмм

Структурированные цели измерения образуют фундамент для выполнения

измерений в парадигме «цель-вопрос-метрика». Фактически, первый шаг процесса

измерения, определенный в парадигме GQM, уже выполнен – измеримые цели ус-

тановлены в результате выполнения шагов 1 - 5. Нужно заметить, что применение

подхода GQM начиная с более высоких уровней определения целей (например, не-

посредственно с деловых целей) было бы не эффективно, поскольку сложно четко

определить значимые сущности, намерения, позиции и среду измерения. Вопросы,

поставленные на очень высоком уровне, имеют слишком размытую формулировку,

за которой нельзя распознать множество мер, необходимых для понимания основ-

ных атрибутов процессов и продуктов, которые нужно измерять.

После определения измеримых целей можно формулировать вопросы, пред-

полагающие ответы в численном выражении, и готовить диаграммы, способст-

вующие получению ответов в числовой форме. Стоит напомнить, что понятие

«диаграмма» и дополнительный шаг в парадигме GQM введен для того, чтобы под-

черкнуть важность отображения и объяснения результатов измерений. Знание о

том, как данные измерений будут отображаться, помогает точно установить, что

именно должно измеряться. В условиях быстрого изменения сред точные вычисле-

ния и детальный статистический анализ зачастую оказываются менее полезны, чем

графические изображения и ответы на простые меткие вопросы.

Действия на этапе 6 лучше пояснить на примере. Предположим, что измери-

мая цель определена так, как на рисунке 4.9.

Объект интереса: Процесс разработки на предприятии X__

Намерение: Проанализировать дефекты, внесенные в ПО при его разработке,

для того чтобы установить возможности по снижению стоимости

и повышению качества продукта

Позиция: проверить внесение, обнаружение и устранение дефектов

с позиций группы улучшения процесса

Условия: Приложения для телефонных станций. СММ Уровень 2. 300 со-

трудников. 100 разработчиков. Код на С++ и Ассемблере ПЭВМ.

Проверять только проекты, прошедшие автономное тестирование

в январе.

Рис. 4.9. Пример описания цели измерения

Глава 4 177

С этой целью могут быть связаны следующие вопросы:

• В каких видах рабочих продуктов были найдены дефекты?

• На какой стадии дефекты были внесены?

• Есть ли типы дефектов, зафиксированных впервые?

• Насколько мы близки к достижению подцели улучшения работы на ста-

дии автономного тестирования?

Некоторые диаграммы, ассоциируемые с указанными вопросами, представ-

лены на рисунках 4.10 – 4.12.

Рисунок 4.10 показывает, где были найдены дефекты различных типов.

Можно увидеть, например, что наибольшее количество дефектов проекта было

найдено во время системного тестирования. А дефекты в требованиях были обна-

ружены практически вовремя – там, где были допущены. Видно также, что почти

10% общего количества проблем не было обнаружено вплоть до испытаний в целе-

вой среде и что среди них достаточно большая доля ошибок в документации.

% от общего

числа

дефектов

Виды дефектов

Ошибки в тестах

Ошибки в требованиях

Ошибки в проекте

Ошибки в коде

Ошибки в документации

Определение

требований

Проектиро-

вание

Кодирование

и автономное

тестирование

Интеграция и

тестирование

Системное

тестирование

Эксплуатация

Стадии

ЖЦ

Рис.4.10. Диаграмма распределения дефектов в разрезе стадий ЖЦ

Рисунок 4.11 показывает текущие взаимосвязи между тем, где ошибки были

допущены, и тем, где были обнаружены дефекты.

Рисунок 4.12 проливает дополнительный свет на анализ потока дефектов,

изображенного на рисунке 4.11.

Распределения внесения ошибок и обнаружения дефектов изображаются в

виде траекторий и добавляется информация о затратах на устранение дефектов.

Имея распределение затрат, даже если оно недостаточно точное, можно просчитать

экономические последствия работы в текущих условиях и эффект от предлагаемых

усовершенствований. Это часто помогает принимать более обоснованные решения.

178 Глава 4

Требования Проект Реализация

Просмотр

требований

Просмотр

проекта

Просмотр

кода

Функциональное

тестирование

Системное

тестирование

Эксплуатация

Поток дефектов

Время

Процесс разработки

Процесс обнаружения дефектов

25%7%5%3%

10% 40% 50%

50%

<25%

Цель:

<5%

10%

Рис. 4.11. Связь процессов внесения ошибок и обнаружения дефектов

Требова-

ния

Проектирова-

ние

Кодирование

Функциона-

льное тести-

рование

Системное

тестирование

Эксплуата-

ция

10%

40%

50%

25%

50%

10%

-2

тис.грн

-2

тис.грн

-2

тис.грн

-6

тис.грн

-12

тис.грн

-20

тис.грн

Внесение

ошибок

Обнаружение

дефектов

Затраты на

устранение

дефектов

Рис.4.12. Кривые внесения ошибок, устранения дефектов и затрат

Как видно, создание полезных диаграмм – творческий процесс. Неправильно

выбранные диаграммы могут ввести в заблуждение, как их создателей, так и тех,

для кого они предназначаются. Поэтому до завершения этапа 6 нужно критически

пересмотреть предложенные средства отображения зависимостей, чтобы убедиться

Глава 4 179

в том, что изображения, которые они представляют, действительно могут ответить

на поставленные вопросы.

4.2.8. Этап 7: идентификация элементов данных

Определив, какие диаграммы могут быть полезны, можно приступить к иден-

тификации элементов данных, которые нужно собрать, для того чтобы построить

графические изображения. Правильное выполнение работ на этапах 1-6 обеспечи-

вает гарантии, что собираемые данные будут отвечать конкретным целям управле-

ния процессом. Это не данные ради данных.

На этом и следующем этапе процесса измерения нужно сделать следующее:

1. Идентифицировать элементы данных.

2. Определить, каким образом данные будут собираться.

Для того чтобы решить первую задачу, нужно просто составить список всех

элементов данных, которые понадобятся для построения диаграмм. Это поможет

установить их приоритеты и определить, какие меры могут использоваться одно-

временно для нескольких целей (рисунок 4.13). Меры, используемые неоднократно,

получают более высокий приоритет.

Измеримые цели

- Объект интереса

- Намерение

- Позиция

- Условия

Вопрос 1

Вопрос 2

Вопрос 3

Вопрос 4

Вопрос 5

ДиаграммыВопросы

Требуемые

элементы

данных

Диаграммы

а б в

x x

Описание элемента

данных

Рис. 4.13. Последовательность решения задач в парадигме GQM

4.2.9. Этап 8: разработка схем определения используемых мер

Для того чтобы измерения имели успех, нужно использовать хорошо струк-

турированные схемы, помогающие дать определения мерам, применять их и рас-

пространять всем заинтересованным лицам. Определение меры должно быть не

просто правильным, но и обеспечивать полное понимание того, что именно изме-

ренные величины представляют. Только в этом случае будет обеспечена полнота

180 Глава 4

сбора данных, их последующая корректная интерпретация и применение результа-

тов измерений. Определение должно включать все множество правил, используе-

мых для выполнения измерений и протоколирования их результатов. Хотя на

взгляд разных категорий пользователей определение может показаться избыточ-

ным, нужно учитывать, что не важное для одних может оказать важным для дру-

гих.

Определения должны удовлетворять двум важным критериям:

• информативность. Должно быть понятно, можно ли из оперативного

определения узнать, что измеряется, как измеряется, а также какие элементы вклю-

чаются в измерение, а какие из него исключаются.

• повторяемость. Должно быть понятно, можно ли воспользоваться опре-

делением повторно, провести измерение и получить практически тот же результат.

Хотя обеспечение информативности определения требует дополнительных

затрат, польза станет очевидной в случае повторения измерений кем-либо другим -

достаточно будет попросить измеряющего повторить это измерение.

Удобно представлять определения в виде операционных контрольных лист-

ков, сопровождаемых формами, содержащими дополнительную разъясняющую и

уточняющую информацию, не включенную в листок. Основное назначение кон-

трольного листка состоит в том, чтобы указать, какие именно элементы включают-

ся в конкретное измерение или из него исключаются. Дополнительные формы опи-

сывают практические приемы включения и исключения элементов из измерения.

Такие описания должны быть частью схемы определения, поскольку они влияют на

выбор способа интерпретации результатов измерения.

На рисунке 4.14 представлен фрагмент заполненного контрольного листка

для учета дефектов в конкретном процессе измерения.

Организация может создавать собственные схемы определения элементов

данных и формы для их описания или адаптировать существующие (например, ис-

пользуемые другими организациями, найденные в литературе или по Интернету). В

любом случае, должны быть гарантии, что построены схемы и формы для опреде-

ления всех данных, которые нужно собирать, и описаны все методы сбора данных.

Незнание методов, применяемых для сбора данных в конкретном измерении, может

сказаться либо на результатах, либо на их интерпретации.

Важное преимущество контрольных листков (и дополнительных форм) со-

стоит в том, что они могут использоваться в качестве механизмов идентификации и

согласования отличающихся информационных потребностей разных пользователей

измерений или мнений лиц, выполняющих измерения.

4.2.10. Этап 9: идентификация задач и инфраструктуры сбора данных

Для того чтобы можно было подготовить эффективный план измерений уста-

новленных элементов данных, нужно получить информацию о текущем состоянии

исследуемого оперативного процесса и использовании мер. Основа данного этапа

работ - анализ, диагностика и технологическая подготовка сбора данных.

Анализ заключается в сборе фактов, которые помогают понять, с чего нужно

начать измерение. Он предполагает выявление мер, уже используемых организаци-

ей в настоящее время, и применяемых методов сбора данных.

Глава 4 181

Состояние проблем Включать Не включать Количество

Открыты

X X

Признаны

Оценены

Решены

Закрыты

X X

Тип проблем Включать Не включать Количество

Дефекты в ПО

Дефекты требований

Дефекты проекта

Дефекты кода

Дефекты документов

Дефекты тестов

Другие дефекты

Другие проблемы

Проблемы аппаратуры

Проблемы ОС

Ошибки пользователя

Ошибки в операциях

Новые требования

Уникальность Включать Не включать Количество

Впервые

Повторно

Не известно

Критичность Включать Не включать Количество

1 уровень (высший)

2 уровень

3 уровень

4 уровень

Не известно

…

Рис. 4.14. Фрагмент контрольного листка для учета дефектов

Эта информация определяет начальную точку для осуществления управляе-

мых целями измерений по построенной схеме определений.

Анализируя существующие меры и практические приемы измерения, полезно

задаваться такими вопросами, как, например, следующие:

• Какие элементы данных требуются для управляемых целями измерений?

• Какие элементы данных собираются в настоящее время?

• Каким образом они собираются?

• Какие процессы служат источниками данных?

• Каким образом элементы данных фиксируются и сохраняются?

Если организация применяет несколько однотипных мер (как, например, ме-

ры размера – KSLOC и FP), нужно их точно именовать, не ограничиваясь общим

описанием того, что нужно измерять. Это поможет сосредоточиться на поиске всех

возможных источников информации. А их может оказаться больше, чем изначаль-

но казалось. Например, источниками данных о проблемах могут быть не только

отчеты о тестировании и требования об изменениях, поступающие от заказчика, но

182 Глава 4

и отчеты о просмотре или инспекции требований, проекта, кода и др. Хотя эти дан-

ные могут фиксироваться раздельно и содержаться в разных хранилищах, для пол-

ноты анализа все они должны учитываться.

Диагностика предполагает оценивание элементов данных, которые уже со-

бираются в организации, определение того, насколько хорошо они отражают по-

требности управляемых целями измерений, и формирование предложений по ис-

пользованию данных, их адаптации к информационным потребностям или адапта-

ции потребностей к данным.

Если анализ состоит в поиске фактов, диагностика – в оценивании и состав-

лении мнения. Установление диагноза связано с выявлением альтернативных оце-

нок и мнений и определением стадий принятия решений. Выполняя диагностику

можно задаваться, например, такими вопросами:

• Какие существующие меры и процессы могут использоваться, для того

чтобы удовлетворить требования к элементам данных?

• Какие элементы определений измерения или практические приемы

должны быть заменены или модифицированы?

• Какие новые или дополнительные действия нужны?

Нужно оценить пригодность и готовность существующих данных и иденти-

фицировать текущие и потенциальные источники информации.

Технологическая подготовка заключается в применении результатов анализа

и диагностики для выработки конкретных шагов по измерению. Она предшествует

составлению плана измерений и предполагает идентификацию задач, выбор ответ-

ственных исполнителей и выделение ресурсов. Начинается с определения элемен-

тов инфраструктуры, на которых будет основываться план измерения.

Во время технологической подготовки нужно сделать следующее:

• идентифицировать источники данных в уже действующих процессах про-

граммной инженерии;

• определить методы, которые будут использоваться для сбора и регист-

рации данных;

• идентифицировать (и специфицировать) инструментальные средства,

которые могут понадобиться для сбора, регистрации и хранения данных;

• определить требования, касающиеся контрольных точек в ЖЦ и частоты

измерения;

• подробно документировать процедуры сбора данных, а именно:

– установить ответственных за сбор данных;

– определить, где, как и когда собирать и регистрировать данные;

– создать эскизы регистрационных форм сбора данных;

• определить, кто будет использовать данные;

• определить, как данные будут анализироваться и распространяться;

• подготовить методики по описанию данных и процессу их сбора.

Нужно также проанализировать требования к хранилищам данных и правам

доступа. А это, в свою очередь, связано с выяснением:

• необходимости сохранения исторического опыта;

• кто будет собирать, сохранять, сопровождать данные;

Глава 4 183

• организационных уровней, которые будет обслуживать хранилище (об-

служивание более чем одного организационного уровня часто приводит к потреб-

ности в более чем одной базе данных);

• степени детализации данных;

• процедур, которые должны использоваться для динамичного ведения и

верификации данных в базе данных;

• количества персонала, который должен будет иметь доступ к данным (с

разграничением полномочий);

• необходимости в визуализации определений данных, для того чтобы по-

требители могли ассоциировать данные с описательной информацией, нужной для

правильного использования данных.

При выполнении технологической подготовки может помочь контрольный

листок в виде таблицы (таблица 4.5).

Таблица 4.5. Контрольный листок технологической подготовки

Отметка о

выполнении (%)

Элемент данных

№

п/п

Задачи

1 2 … n

1 Определить элементы данных

2 Определить частоту сбора данных и контрольные точки в

процессе, в которых будут выполняться измерения

3 Определить затраты времени, необходимые для переноса

результатов, собранных в каждой контрольной точке, в базу

данных или их доставку потребителям

4 Разработать формы для сбора и фиксации данных

5 Разработать процедуры для сбора и фиксации данных

6 Определить, как данные хранятся, и как к ним будет обеспе-

чиваться доступ. Установить, кто несет ответственность за

проектирование БД и за ввод и ведение данных

7 Определить, кто будет собирать данные и иметь к ним дос-

туп. Назначить ответственных за эти действия

8 Определить, как данные будут анализироваться

9 Определить, как будет составляться отчет о собранных дан-

ных

10 Идентифицировать служебные инструменты, которые нужно

разработать или приобрести для того, чтобы помочь автома-

тизировать процесс

11 Подготовить методики по выполнению сбора данных

4.2.11. Этап 10: подготовка плана сбора данных

Когда известно, с чего нужно начать измерения (выполнен анализ), как пред-

ставляемые меры будут отображать деловые цели (проведена диагностика) и какие

задачи выполнять (обеспечена технологическая готовность), можно приступать к

подготовке плана измерения.

Для того чтобы правильно установить и структурировать ключевые аспекты

измерения, которые должен охватывать план, можно использовать приведенное