Слукин Сергей. Введение в тестирование программного обеспечения

Подождите немного. Документ загружается.

Страница81



5. СУТЬПРОБЛЕМЫ.Краткое(неболее2строчек)определениепроблемы.Дажееслидвепроблемы

оченьпохожи,ихописаниядолжныразличаться.

6. МОЖНОЛИВОСПРОИЗВЕСТИПРОБЛЕМНУЮСИТУАЦИЮ?Ответ:Да,Нет,Невсегда.Если

проблеманоситнерегулярныйхарактер,тонужноописывать,когдаонапроявляется,акогда–нет.

7. ПОДРОБНОЕОПИСАНИЕПРОБЛЕМЫИСПОСОБЕЁВОСПРОИЗВЕДЕНИЯ.Приэтомнужны

подробности–ивописанииусловийвоспроизведения,ивописаниипричиныобъявления

получившейсяреакцииошибкой.

Видотчетаопроблеме,соответствующегоданнойструктуре,следующий:

ОТЧЁТОПРОБЛЕМЕ

Порядковыйномеротчёта:

Авторотчёта: ___________________  Дата создания отчёта: __

____

Документы/разделы,связанныеспроблемой:

 ……………………………………..

Идентификацияобъекта/процесса,гдепроявляетсяпроблема:

………………………………………………………………………………………….

Определениепроблемы:

………………………………………………………………………………………….

Авторрешения:___________________ Дата формирования решения __ __

__

Принятоерешение:

(возможно,ссылкинаизменяемыекомпоненты/запросынаизменения)

………………………………………………………………………………………….

Результатыанализа,определяющие,насодержаниекакихкомпонент

влияетрешение:

………………………………………………………………………………………….

План проверок, восстанавливающих текущее состояние документов

разработки

………………………………………………………………………………………….

Оценкапринятогорешенияавторомотчётаопроблеме:_

………………………………………………………………………………………….

(0=полностьюсогласен

1=невсеаспектыпроблемыучтены/разрешены

Страница82



2=основнаячастьпроблемыосталасьнеразрешённой

3=решениенеадекватнопроблеме–неустраняетеё)

ДОКУМЕНТИРОВАНИЕИЖИЗНЕННЫЙЦИКЛДЕФЕКТА

Каждыйдефект,обнаруженныйвпроцессетестирования,долженбытьзадокументированиотслежен.При

обнаруженииновогодефектаегозаносятвбазудефектов.Дляэтоголучшевсегоиспользовать

специализированныебазы,поддерживающиехранениеиотслеживаниедефектов‐типаDDTS.При

занесенииновогодефектарекомендуетсяуказывать,какминимум,следующуюинформацию:

1. Наименованиеподсистемы,вкоторойобнаружендефект.

2. Версияпродукта(номерbuild),накоторомдефектбылнайден.

3. Описаниедефекта.

4. Описаниепроцедуры(шагов,необходимыхдлявоспроизведениядефекта).

5. Номертеста,накоторомдефектбылобнаружен.

6. Уровеньдефекта,тоестьстепеньегосерьезностисточкизрениякритериевкачествапродуктаили

заказчика.

Занесенныйвбазудефектовновыйдефектнаходитсявсостоянии"New".Послетого,каккоманда

разработчиковпроанализируетдефект,онпереводитсявсостояние"Open"суказаниемконкретного

разработчика,ответственногозаисправлениедефекта.Послеисправлениядефектпереводитсявсостояние

"Resolved".Приэтомразработчикдолженуказатьследующуюинформацию:

1. Причинувозникновениядефекта.

2. Местоисправления,какминимум,

сточностьюдоисправленногофайла.

3. Краткоеописаниетого,чтобылоисправлено.

4. Время,затраченноенаисправление.

Послеэтоготестировщикпроверяет,исправленлибылдефектиеслиэтотак,переводитеговсостояние

"Verified".Еслитестировщикнеподтвердитфактисправлениядефекта,тосостояниедефектаизменяется

снована"Open".

Еслипроектнаякомандапринимаетрешениеотом,чтонекоторыйдефектисправлятьсянебудет,тотакой

дефектпереводитсявсостояние"Postponed"суказаниемлиц,ответственныхзаэторешение,ипричинего

принятия.

ОТСЛЕЖИВАНИЕОШИБОК

Проблемаилиошибкаможетбытьрассмотренакакнекоторыйобъектвсистеме,которыйможет

находитьсяводномизвосьмисостояний.

 Проблемаилиошибказарегистрирована.

 Выполненпервичныйанализ(экспертподтвердилфактналичияошибки).

 Понятнапричина,вызвавшаяошибку.

 Выполненокончательныйанализпроблемыилиошибки.

 Приняторешениеоначалеработынадисправлением.

 Выполненоисправлениеошибки.

 Исправлениевошловсоставпрограммногопродукта.

 Подтвержденоисправлениеошибки.

Страница83



Обратимвниманиенато,чтотекстнаобнаруженнуюпроблемуилиошибкудолженбытьобязательно

помещенвтестовуюбазуданных.Врезультатеполучаетсярегрессионнаятестоваясюита(сценарий).

Регрессионноетестированиеиспользуетрегрессионныетестовыесюиты(сценарии),чтобыубедитьсявтом,

чтооднаждыисправленнаяошибканепоявиласьвновь.

ОЦЕНКАКАЧЕСТВАТЕСТИРУЕМОГОКОДА.СТАТИСТИКА

Врезультатевыполнениякаждоготестовогопримератестовоеокружениесравниваетожидаемыеи

реальныевыходныезначения.Еслиэтизначениясовпадают–тестсчитаетсяпройденным,впротивном

случае–тестнепройден.

Каждыйизнепройденныхтестовуказываетнапотенциальныйдефектвтестируемойсистеме,аобщееих

количествопозволяетоцениватькачествотестируемогопрограммногокодаиобъемизменений,которые

необходимовнеговнестидляустранениядефектов.

Дляпостроениятакойинтегральнойоценкипослевыполнениявсехтестовыхпримеровтестовым

окружениемсобираетсястатистикавыполнения,которая,какправило,записываетсявфайлотчетао

выполнениитестов.

Существуетнесколькостепенейподробностистатистикивыполнениятестов.

1.Выводколичествапройденныхинепройденныхтестовыхпримеров,атакжеихобщегоколичества

[Синицын2006].

180testcasespassed

20testcasesfailed

200testcasestotal

2.Выводколичествапройденныхинепройденныхтестовыхпримеров,ихобщегоколичестваи

идентификаторовнепройденныхтестовыхпримеров.Позволяетлокализоватьтестовыепримеры,

выявившиедефект[Синицын2006].

Invokingtestcase1…Passed

Invokingtestcase2…Failed

Invokingtestcase3…Failed

<…>

Invokingtestcase200…Passed

Finalstats:

180testcasespassed

20testcasesfailed

200testcasestotal

3.Выводколичествапройденныхинепройденныхтестовыхпримеров,ихобщегоколичества,

идентификаторовнепройденныхтестовыхпримеровивыводнесовпавшихожидаемыхиреальных

Страница84



выходныхданных.Позволяетпроводитьболееглубокийанализпричиннеуспешногопрохождениятеста

[Синицын2006].

Invokingtestcase1…Passed

‐‐‐

Invokingtestcase2…Failed

Expectedvalues:  Actualvalues:

 A=200A=0

 B=450B=0

 Message=“Submenu1” Message=“”

‐‐‐

Invokingtestcase3…Failed

Expectedvalues:  Actualvalues:

 A=0A=200

 B=0B=300

 Message=“”  Message=“MainMenu”

‐‐‐

<…>



Invokingtestcase200…Passed

‐‐‐

FinalStats

180testcasespassed

20testcasesfailed

200testcasestotal

4.Выводколичествапройденныхинепройденныхтестовыхпримеров,ихобщегоколичества,

идентификаторовнепройденныхтестовыхпримеровивыводвсехожидаемыхиреальныхвыходных

данных[Синицын2006].

Invokingtestcase1…Passed

‐‐‐

Invokingtestcase2…Failed

Страница85



Expectedvalues:  Actualvalues:

 A=200A=0FAIL

 B=450B=0FAIL

 C=500C=500  P

 D=600D=600  P

 Message=“Submenu1” Message=“” FAIL

‐‐‐

Invokingtestcase3…Failed

Expectedvalues:  Actualvalues:

 A=0A=200  FAIL

 B=0B=300  FAIL

 C=500C=500  P

 D=600D=600  P

 Message=“”  Message=“MainMenu” FAIL

‐‐‐

<…>

Invokingtestcase200…Passed

‐‐‐



FinalStats

180testcasespassed

20testcasesfailed

200testcasestotal

5.Полныйвыводожидаемыхиреальныхвыходныхданныхсотметкамиосовпаденииинесовпадениии

отметкамиобуспешном/неуспешномзавершениидлякаждоготестовогопримера[Синицын2006].

Invokingtestcase1…Passed

 A=0A=0P

 B=0B=0P

 C=500C=500  P

 D=600D=600  P

Страница86



 Message=“”  Message=“” P

Invokingtestcase2…Failed

Expectedvalues:  Actualvalues:

 A=200A=0FAIL

 B=450B=0FAIL

 C=500C=500  P

 D=600D=600  P

 Message=“Submenu1” Message=“” FAIL

Invokingtestcase3…Failed

Expectedvalues:  Actualvalues:

 A=0A=200  FAIL

 B=0B=300  FAIL

 C=500C=500  P

 D=600D=600  P

 Message=“”  Message=“MainMenu” FAIL

<…>

Invokingtestcase200…Passed

 Message=“Submenu1” Message=“Submenu1 P

 Prompt=“>”  Prompt=“>” P

FinalStats

180testcasespassed

20testcasesfailed

200testcasestotal

ЛИТЕРАТУРА

[Синицын2006]–СиницынС.В.,НалютинН.Ю.Верификацияпрограммногообеспечения.Курслекций.

Московскийинженерно‐физическийинститут.М.2006.

Страница87



МОДУЛЬ8:«ПОКРЫТИЕПРОГРАММНОГОКОДА»

ПОНЯТИЕПОКРЫТИЯПРОГРАММНОГОКОДА

Однаизоценоккачествасистемытестов–этоееполнота,т.е.величинатойчастифункциональности

системы,котораяпроверяетсятестовымипримерами.Обычнозамеруполнотыберутотношениеобъема

провереннойчастисистемыкееобъемувцелом.Полнаясистематестовпозволяетутверждать,чтосистема

реализует:а)всюфункциональность,указаннуювтребованиях;б)нереализуетникакойдругой

функциональности.

Одинизиспользуемыхметодовопределенияполнотысистемытестовявляетсяопределениеотношения

количестватест‐требований,длякоторыхсуществуюттестовыепримеры,кобщемуколичествутест‐

требований(покрытиетест‐требованийтестовымипримерами).

Длядетальнойоценкиполнотысистемытестовпритестированиистеклянногоящикаанализируется

покрытиепрограммногокода,называемоетакжеструктурнымпокрытием.Канализупокрытияпрограммы

можноприступатьтолькопослеполногопокрытиятребований.Полноепокрытиепрограммногокодане

гарантируеттого,чтотестыпроверяютвсетребованияксистеме.

УРОВНИПОКРЫТИЯ

ПОСТРОКАМПРОГРАММНОГОКОДА(STATEMENTCOVERAGE).Дляобеспеченияполногопокрытия

программногокоданаэтомуровне,необходимо,чтобыврезультатевыполнениятестовкаждыйоператор

былвыполненхотябыодинраз.

Особенностьэтогоуровняпокрытиясостоитвтом,чтонанемзатрудненанализпокрытиянекоторых

управляющихструктур.Например,дляполногопокрытиявсехстрокследующегоучасткапрограммного

коданаязыкеCдостаточноодноготестовогопримера[Синицын2006]:

Вход:condition=true;Ожидаемыйвыход:*p=123.

int*p=NULL;

if(condition)

p=&variable;

*p=123;

Дажеесливсоставтестовнебудетвходитьтестовыйпример,проверяющийработуфрагментапри

значенииcondition=false,кодбудетпокрыт.Однаковслучаеcondition=falseвыполнениефрагментавызовет

ошибку.

Аналогичныепроблемывозникаютприпроверкецикловdo…while,приданномуровнепокрытия

достаточновыполнениециклатолькоодинраз,приэтомметодсовершеннонечувствителенклогическим

операторам||и&&.

Другойособенностьюметодаявляетсязависимостьуровняпокрытияотструктурыпрограммы.Напрактике

частонетребуется100%покрытияпрограммы,вместоэтогоустанавливаетсядопустимыйуровень

покрытия,например75%.Проблемымогутвозникнутьприпокрытииследующегофрагментапрограммы:

if(condition)

Страница88



functionA();

else

functionB();

ЕслиfunctionA()содержит99операторов,аfunctionB()одиноператор,тоодноготестовогопримера,

устанавливающегоconditionвtrue,будетдостаточнодлядостижениянеобходимогоуровняпокрытия.При

этомодинтестовыйпример,устанавливающийзначениеconditionвfalseдасточеньнизкийуровень

покрытия.

ПОВЕТКАМУСЛОВНЫХОПЕРАТОРОВ(DECISIONCOVERAGE).Дляобеспеченияполногопокрытияпо

этомуметодукаждаяточкавходаивыходавпрограммеивовсехеефункцияхдолжнабытьвыполнена,по

крайнеймере,одинразивселогическиевыражениявпрограммедолжныпринятькаждоеизвозможных

значенийхотябыодинраз.Такимобразом,дляпокрытияповеткамтребуетсякакминимумдватестовых

примера.

Вотличиеотпредыдущегоуровняпокрытияэтотметодучитываетпокрытиеусловныхоператоровс

пустымиветками.Так,дляпокрытияповеткамучасткапрограммногокода[Синицын2006].

a=0;

if(condition){

 a=1;

}

необходимыдватестовыхпримера:

1.Вход:condition=true;Ожидаемыйвыход:a=1;

2.Вход:condition=false;Ожидаемыйвыход:a=0;

Особенностьданногоуровняпокрытиязаключаетсявтом,чтонанемнеучитываютсялогические

выражения,значениякомпоненткоторыхполучаютсявызовомфункций.Например,нафрагменте

программногокода[Синицын2006].

if(condition1&&(condition2||function1()))

statement1;

else

statement2;

полноепокрытиеповеткамможетбытьдостигнутоприпомощидвухтестов:

1.Вход:condition1=true,condition2=true

2.Вход:condition1=false,condition2=true/false(любоезначение)

Страница89



Вобоихслучаяхнепроисходитвызовафункцииfunction1(),хотяпокрытиеданногоучасткакодабудет

полным.Дляпроверкивызовафункцииfunction1()необходимодобавитьещеодинтестовыйпример

(который,однако,неулучшаетстепенипокрытияповеткам):

3.Вход:condition1=true,condition2=false.

Дляболееполногоанализакомпонентусловийвлогическихоператорахсуществуетнесколькометодов,

учитывающихструктурукомпонентусловийизначения,которыеонипринимаютпривыполнениитестовых

примеров.

ПОКРЫТИЕПОУСЛОВИЯМ(CONDITIONCOVERAGE).Дляполногопокрытияпоэтомуметодукаждая

компоненталогическогоусловияврезультатевыполнениятестовыхпримеровдолжнаприниматьвсе

возможныезначения,ноприэтомнетребуется,чтобысамологическоеусловиепринималовсевозможные

значения.Так,например,притестированииследующегофрагмента[Синицын2006]:

if(condition1|condition2)

 functionA();

else

 functionB();

Дляпокрытияпоусловиямпотребуетсядватестовыхпримера:

Вход:condition1=true,condition2=false

Вход:condition1=false,condition1=true.

Приэтомзначениелогическогоусловиябудетприниматьзначениетолькоtrue,такимобразом,приполном

покрытиипоусловиямнебудетдостигатьсяпокрытиеповеткам.

ПОКРЫТИЕПОВЕТКАМ/УСЛОВИЯМ(CONDITION/DECISIONCOVERAGE).Этотметодсочетает

требованияпредыдущихдвухметодов–дляобеспеченияполногопокрытиянеобходимо,чтобыкак

логическоеусловие,такикаждаяегокомпонентапринялавсевозможныезначения.Дляпокрытия

рассмотренноговышефрагментасусловиемcondition1|condition2потребуется2тестовыхпримера:

Вход:condition1=true,condition2=true

Вход:condition1=false,condition2=false.

Однакоэтидватестовыхпримеранепозволятпротестироватьправильностьлогическойфункции–вместо

ORвпрограммномкодемоглабытьошибочнозаписанаоперацияAND.

ПОКРЫТИЕПОВСЕМУСЛОВИЯМ(MULTIPLECONDITIONCOVERAGE).Длявыявленияневерно

заданныхлогическихфункцийбылпредложенметодпокрытияповсемусловиям.Приданномметоде

покрытиядолжныбытьпроверенывсевозможныенаборызначенийкомпонентлогическихусловий.Т.е.в

случаеnкомпонентпотребуется2nтестовыхпримеров,каждыйизкоторыхпроверяетодиннабор

значений,Тесты,необходимыедляполногопокрытияподанномуметоду,даютполнуютаблицуистинности

длялогическоговыражения.

Несмотрянаполнотусистемытестов,обеспечивающейэтотуровеньпокрытия,данныйметодредко

применяетсянапрактикеиз‐заегоизбыточностиисложности.Ещеоднимнедостаткомметодаявляется

Страница90



зависимостьколичестватестовотструктурылогическоговыражения.Так,дляусловий,содержащих

одинаковоеколичествокомпонентилогическихопераций[Синицын2006]:

a&&b&&(c||(d&&e))

((a||b)&&(c||d))&&e

потребуетсяразноеколичествотестовыхпримеров.Дляпервогослучаядляполногопокрытиянужно6

тестов,длявторого–11.

УМЕНЬШЕНИЕКОЛИЧЕСТВАТЕСТОВЫХПРИМЕРОВ

ДляуменьшенияколичестватестовыхпримеровпритестированиилогическихусловийфирмойBoeingбыл

разработанмодифицированныйметодпокрытияповеткам/условиям(ModifiedCondition/DecisionCoverage

илиMC/DC).Данныйметодширокоиспользуетсяприверификациибортовогоавиационногопрограммного

обеспечениясогласнопроцессамстандартаDO‐178B.

Дляобеспеченияполногопокрытияпоэтомуметодунеобходимовыполнениеследующихусловий:

 каждоелогическоеусловиедолжноприниматьвсевозможныезначения;

 каждаякомпоненталогическогоусловиядолжнахотябыодинразприниматьвсевозможные

значения;

 должнобытьпоказанонезависимоевлияниекаждойизкомпонентназначениелогического

условия,т.е.влияниепрификсированныхзначенияхостальныхкомпонент.

Покрытиепоэтойметрикетребуетдостаточнобольшогоколичестватестовдлятого,чтобыпроверить

каждоеусловие,котороеможетповлиятьнарезультатвыражения,однакоэтоколичествозначительно

меньше,чемтребуемоедляметодапокрытияповсемусловиям.

АНАЛИЗПОЛНОТЫПОКРЫТИЯКОДА

Цельюанализаполнотыпокрытиякодаявляетсявыявлениеучастковкода,которыеневыполняютсяпри

выполнениитестовыхпримеров.Тесты,основанныенатребованиях,могутнеобеспечиватьполного

выполнениявсейструктурыкода.Дляулучшенияпокрытияпроводитсяанализполнотыпокрытиякода

тестамиидополнительныепроверки,направленныенавыяснениепричинынедостаточногопокрытияи

определениенеобходимыхдействийпоегоустранению.Обычноанализпокрытиявыполняетсясучетом

следующихсоглашений:

 анализдолженподтвердить,чтополнотапокрытиятестамиструктурыкодасоответствует

требуемомувидупокрытияизаданномуминимальнодопустимомупроцентупокрытия;

 анализполнотыпокрытиятестамиструктурыкодаможетбытьвыполненсиспользованием

исходноготекста;

 анализдолженподтвердитьправильностьпередачиданныхиуправлениямеждукомпонентами

кода.

Анализполнотыпокрытиятестамиможетвыявитьчастьисходногокода,котораянеисполняласьвходе

тестирования.Дляразрешенияэтогообстоятельствамогутпотребоватьсядополнительныедействияв

процессепроверкипрограммногообеспечения.Этанеисполняемаячастькодаможетбытьрезультатом:

 недостатковвформированиитестовыхпримеровилитестовыхпроцедур,основанныхна

требованиях;

 неадекватностивтребованияхнапрограммноеобеспечение;