Слукин Сергей. Введение в тестирование программного обеспечения

Подождите немного. Документ загружается.

Страница41



ПРОЕКТНЫЕОГРАНИЧЕНИЯ

Хотяпроектныеограниченияиногдаимаскируютсяподтребования,тестерызанихнеотвечают.Проектные

ограничениянакладываютсяпроектомсистемы,анепредполагаемымееповедением.Частотребования

могутпредусматриватьнекоторыебудущиевозможностиилисвойствасистемы,играярольсвязующего

звенасфункциями,которыеещенеразработаны.Цельтакихуказаний–позволитьинженерам,

соответствующимобразомадаптироватьсвоипроекты.

Пятьэлементовизперечисленныхнарис.2.4[Тамре2006]–этопроектныеограничения,которыелучше

всегопроверятьвходепересмотрапроектасистемы.Впротивномслучаевпродуктемогутбытьпостроены

неверныекомпоненты.Такимобразом,вспискевходныхсостоянийбудутпропущеныследующие

компоненты.



СХЕМАТИЧЕСКИЙПОДХОД

Схематическийподход–этометод,которыйиспользуетсядлярассмотрениятребований.Требования

преобразуютсявсхемыдлятого,чтобыперечислитьразличныеусловиятеста.Схематическийметод

тестированияуправляетсяпроцессамиинезавитотсодержания.Реальноонпоможетобнаружить

отсутствующуювтребованияхинформацию.Каждыйэлементвсхеме,вконечномсчете,будетопределять

входныесостояниядлятестовогопримера.

Схема,какпоказанонарис.2.5[Тамре2006],представляетсобойдревовиднуюструктуру,вкотороймежду

корнемикаждымлисткомсуществуетоднозначноопределенныйпуть.Этотпутьустанавливает

специфическийнаборвходныхсостояний,которыезатембудутиспользованыдляопределениятестового

примера.Схемасодержитузловыеточки,илиточкиветвления,обозначающиеподсказки,типзначенияили

входнойвариант.Нумерацияузлаобозначаетспецифическоевходноесостояниесоответствующегоему

предка.Числолистьевнадереве(илипутейвсхеме)даетприблизительноечислотестовыхпримеров,

необходимыхдлятестированиявсехфункций.Взависимостиотструктурысхемыможноиметьточное

соответствиемеждукаждымпутемвсхемеисвязаннымснимтестовымпримером.

Страница42



Созданиесхемы–этоитерационныйпроцесс.Начальныйсписокобразуетсянаосноветребований,которые

быливыделенывкатегориювходныхсостояний.Номертребованиявключендлятого,чтобыоблегчить

оперативныйконтроль.Каждаяпоследующаясхемаявляетсяусовершенствованиемпредыдущей.Число

итераций,необходимыхдлясозданияокончательнойверсии,зависитотопытаиотпроекта.Каждый

специалистпродолжаетделатьсвоюработу.Последнююитерациютестерывыполняютсовместнос

остальнымиразработчиками,посколькуименноизэтойпоследнейверсиибудетвыводитьсятестовый

пример.

Некоторымтестерамсхематическийподходможетоказатьсяинтуитивным,адругим–утомительным.

Преимуществасхематическогоподходазаключаетсявтом,чтоонслужитинструментомдлядискуссийи

помогаетполучитьнеобходимуюинформациюоткомандыразработчиков.Этоинструменторганизации

мышления.Схемавыделяетосновнуючастьвдокументациистребованиями,отфильтровываялишние

словесныевыражения.

РАЗРАБОТКАСХЕМЫТЕСТА

Присозданиисхемытестабудемиспользоватьсписоксотступами.Первыйэтап,показанныйнарис.2.6

[Тамре2006],заключаетсявперечислениивсехвходныхописанийизспискатребованийкакотдельных

элементовсопределеннойлогическойклассификацией.Исходныегруппывэтомпримере–температура

духовогошкафа,ручнойиавтоматическийрежимы.

Страница43



Длясозданияитерациисхемы№2элементтемпературадуховогошкафа(сп.1.1поп.1.3нарис.2.7[Тамре

2006])будетперемещенвобластьдополнительногоописаниятемпературыприготовлениявручноми

автоматическомрежимах.



Зачемэтоделается?Пользовательработаетсдуховымшкафомводномиздвухрежимов:автоматическом

илиручном.Температураможетвестисебяпо‐разномувзависимостиоттого,какойиспользуетсярежим.

Поэтомувсхемепутидолжныразделяться,чтобыможнобылоразличатьприготовлениявручномив

автоматическомрежимах.Нарис.2.8[Тамре2006]показанмодифицированнаясхемасвыдвинутымна

первыйпланвлияниемэлементов.

Страница44



Итерациясхемы№2по‐прежнемусодержитинформациюизисходныхтребований.Преимущества

схематическогоподходазаключаетсявпредоставлениииерархическойструктуры,вкоторойаналогичные

функциисгруппированывместе.Разныетестерымогутсоздаватьсовершенноразличныесхемы,однако

конечнымкритериембудетсогласиемеждуструктуройсхемыиповедениемприложениятак,какэто

описановтребованияхилидругихописанияхпродукта.Несмотрянавысокуювероятностьутраты

некоторогосмыслаприпереходевописании,главнаязадачасостоитвопределенииосновныхфункций,

подлежащихтестированию.

ЛИТЕРАТУРА

[Тамре2003]–ТамреЛ.Введениевтестированиепрограммногообеспечения.:Пер.сангл.–М.:

Издательскийдом“Вильямс”,2003.

Страница45



МОДУЛЬ5:«ТЕСТОВЫЕПРИМЕРЫ(TESTCASE)»

ТЕСТОВЫЕТРЕБОВАНИЯ–ИСТОЧНИКТЕСТОВЫЕПРИМЕРОВ

Длятестированияпрограммногообеспечения,крометестовогоокружения,необходимоопределить

проверочныезадачи,которыебудетвыполнятьсистемаилиеечасть.Такиепроверочныезадачиназывают

тестовымипримерами.

Каждыйтестовыйпримерсостоитизвходныхзначенийдлясистемы,описаниясценарияработыпримераи

ожидаемыхвыходныхзначений.

ЦЕЛЬЮвыполнениялюбоготестовогопримераявляетсялибопродемонстрироватьналичиевсистеме

дефекта,либодоказатьегоотсутствие.

ТЕСТ‐ТРЕБОВАНИЯКАКИСТОЧНИКДЛЯСОЗДАНИЯТЕСТОВЫХПРИМЕРОВ

Основнымисточникоминформациидлясозданиятестовыхпримеровявляетсяразличногорода

документациянасистему,например,функциональныетребованияитребованиякинтерфейсу.

Функциональныетребованияописываютповедениесистемы,как“черногоящика”,т.е.исключительнос

позицийтого,чтодолжнаделатьсистемавразличныхситуациях.Инымисловами,функциональные

требованияопределяютреакциюсистемынаразличныевходныевоздействия.Рассмотримэтонапримере

функциивычислениянеотрицательнойстепениnчислаx[Котляров2006].

СПЕЦИФИКАЦИЯПРОГРАММЫ

На вход программа принимает два параметра: x‐число, n –степень.

Результатвычислениявыводитсянаконсоль.

Значениячислаистепенидолжныбытьцелыми.

Значения числа,возводимоговстепень, должны лежать в диапазоне –

[0,999].

Значениястепенидолжнылежатьвдиапазоне–[1,100].

Есличисла,подаваемыенавход,лежатзапределамиуказанныхдиапазонов,

тодолжновыдаватьсясообщениеобошибке.

Начальныйэтапработытестировщиказаключаетсявформированиитест‐требований,соответствующих

функциональнымтребованиям.Основнаяцельтест‐требований–определить,какаяфункциональность

системыдолжнабытьпротестирована.Всамомпростомслучаеодномуфункциональномутребованию

соответствуетоднотест‐требование.Однакочащевсеготест‐требованиядетализируютформулировки

функциональныхтребований.

Тест‐требованияопределяют,чтодолжнобытьпротестировано,нонеопределяют,какэтодолжнобыть

сделано.Например,дляперечисленныхвышефункциональныхтребованийможносформулировать

следующиетест‐требования.

ТЕСТ‐ТРЕБОВАНИЯ

Проверить,чтоеслиxнаходитсявдиапазоне[0,999]иn находится в

диапазоне[1,100],топрограммавыдаетправильныйрезультат.

Страница46



Проверить,чтоеслиxнаходитсявнеуказанногодиапазонаилиnнаходится

внеуказанногодиапазона,топрограммавыдаетсообщениеобошибке.

Проверить,чтоеслиx не является числом или n не является числом,то

программавыдаетсообщениеобошибке.

Особенностиреализациитестовогоокруженияиконкретныезначения,подаваемыенавходсистемы,и

ожидаемыенаеевыходеопределяютсятестовымипримерами.Одномутест‐требованиюсоответствуеткак

минимумодинтестовыйпример.

РАЗРАБОТКАТЕСТОВ

Определимобластиэквивалентностивходныхпараметров.

Дляx–числа,возводимоговстепень,определимклассывозможныхзначений:

1. x<0(ошибочное);

2. x>999(ошибочное);

3. x‐нечисло(ошибочное);

4. 0<=x<=999(корректное);

5. Дляn–степеничисла:

6. n<1(ошибочное;

7. n>100(ошибочное);

8. n‐нечисло(ошибочное);

9. 1<=n<=100(корректное).



АНАЛИЗТЕСТОВЫХСЛУЧАЕВ

1.Входныезначения:(x=2,n=3)(классы4,8).

Ожидаемыйрезультат:Thepowernofxis8.

2.Входныезначения:{(x=‐1,n=2),(x=1000,n=5)}(классы1,2).

Ожидаемыйрезультат:Error:xmustbein[0,999].

3.Входныезначения:{(x=100,n=0),(x=100,n=200)}(классы5,6).

Ожидаемыйрезультат:Error:nmustbein[1,100].

4.Входныезначения:(x=ADSn=ASD)(классы3,7).

Ожидаемыйрезультат:Error:Pleaseenteranumericargument.

5.Проверканаграничныезначения:

Страница47



5.1.Входныезначения:(x=999n=1).

Ожидаемыйрезультат:Thepowernofxis999.

5.2.Входныезначения:x=0n=100.

Ожидаемыйрезультат:Thepowernofxis0.



ВЫПОЛНЕНИЕТЕСТОВЫХСЛУЧАЕВ

Запустимпрограммусзаданнымизначениямиаргументов.



ОЦЕНКАРЕЗУЛЬТАТОВВЫПОЛНЕНИЯПРОГРАММЫНАТЕСТАХ

В процессе тестирования производится оценка результатов выполнения

путемсравненияполучаемогорезультатасожидаемымрезультатом.

ТИПЫТЕСТОВЫХПРИМЕРОВ

Дляанализавозможныхтиповтестовыхпримероврассмотримфункциючтенияименифайла.

Спецификацияданнойфункцииследующая.

СПЕЦИФИКАЦИЯПРОГРАММЫ

Входнымпараметромдляпрограммыявляетсяимяфайла.

Функциональныеограничения.

Имя файла не должно содержать ничего кроме символов латинского

алфавитаицифр.

Имяфайланедолжнопревышать12символов.

В случае неправильного задания имени файла программа должна выдавать

сообщениеобошибке.

1.ДОПУСТИМЫЕДАННЫЕ

Чащевсегодефектывпрограммныхсистемахпроявляютсяприобработкенестандартныхданных,не

предусмотренныхтребованиями–привводеневерныхсимволов,пустыхстрок,слишкомбольшойскорости

вводаинформации.Однако,передпоискомтакихдефектовнеобходимоудостоверитьсявтом,что

программакорректнообрабатываетверныеданные,предусмотренныеспецификацией,т.е.проверить

работуосновныхалгоритмов.

Тест‐требование.Проверитьпрограммунавводдопустимыхданных.

Обычнодляпроверкидопустимыхданныхдостаточноодноготестовогопримера.Нофункциональные

требованиямогутопределятьразличныегруппыдопустимыхданных,которыемогутобъединятьсявклассы

Страница48



эквивалентности.Вэтомслучаенеобходимоопределятькакминимумодинтестовыйпримердляодного

классаэквивалентности.Болееподробноречьоклассахэквивалентностипойдетдалее.

2.ГРАНИЧНЫЕДАННЫЕ

Отдельныйвиддопустимыхданных,передачакоторыхвсистемуможетвскрытьдефект–граничные

данные,т.е.например,числа,значениякоторыхявляютсяпредельнымидляихтипа,строкипредельной

илинулевойдлиныит.п.Обычноприпомощитестированияграничныхусловийвыявляютсяпроблемыс

арифметическимсравнениемчиселилиситераторамициклов.

Тест‐требование.Проверитьпрограммунавводграничныхданных.

Например,длятестированияфункциичтенияименифайланаграничныхусловияхможноопределитьдва

тестовыхпримерасминимальнымиимаксимальнымизначениямиполейвзаписи.

3.ОТСУТСТВИЕДАННЫХ

Дефектымогутпроявитьсяивслучае,еслисистеменепередаетсяникакихданныхилипередаютсяданные

нулевогоразмера.Например,длятестированияфункциичтениеименифайлаприотсутствииданныхможно

вызватьее,передаввкачествепараметра–пустуюстроку.

Тест‐требование.Проверитьпрограммунаотсутствиеданных.

4.ПОВТОРНЫЙВВОДДАННЫХ

Вслучаеповторнойпередачинавходсистемытехжесамыхданныхмогутполучатьсяразличияввыходных

данных,непредусмотренныевтребованиях.Какправило,дефектытакоготипапроявляютсяврезультате

того,чтосистеманеустанавливаетвнутренниепеременныевисходноесостояниеиливрезультатеошибок

округления.

Тест‐требование.Проверитьпрограммунаповторныйвводданных.

5.НЕВЕРНЫЕДАННЫЕ

Припроверкеповедениясистемынеобходимонезабыватьпроверятьееповедениеприпередачеей

данных,непредусмотренныхтребованиями–слишкомдлинныхилислишкомкороткихстрок,неверных

символов,чиселзапределамивычислимогодиапазонаит.п.Неверныеданные,какидопустимые,также

можноразделятьнаразличныеклассыэквивалентности.Примеромневерныхданныхдляфункциичтения

именифайламожетслужитьиспользованиеслужебныхсимволов.

Тест‐требование.Проверитьпрограммунавводневерныхданных.

6.РЕИНИЦИАЛИЗАЦИЯСИСТЕМЫ

Механизмыповторнойинициализациисистемывовремяееработытакжемогутсодержатьдефекты.В

первуюочередьэтидефектымогутпроявлятьсявтом,чтоневсевнутренниеданныесистемыпосле

реинициализациипридутвначальноесостояние.Врезультатеможетпроизойтисбойвработесистемы.

Страница49



Тест‐требование. Проверить работу программу при реинициализации

системы.

7.УСТОЙЧИВОСТЬСИСТЕМЫ

Подустойчивостьюсистемыможнопониматьееспособностьвыдерживатьнештатнуюнагрузку,явноне

предусмотреннуютребованиями.Например,сохранитлисистемаработоспособностьпосле10тысяч

вызовов.

Аналогичныйанализможетбытьсделанпутемпросмотратекстапрограммы(еслиондоступенпри

тестировании)наоснованииотсутствия“истории”(хранимыхданных)вреализациипрограммы,т.е.данных,

значениекоторыхможетменятьсявзависимостиотколичествазапусковпрограммы.Такимобразом,в

рядеслучаемтестированиеможетбытьзамененоанализомпрограммногокода.

Тест‐требование.Проверитьпрограммунаустойчивость.

8.НЕШТАТНЫЕСОСТОЯНИЯСРЕДЫВЫПОЛНЕНИЯ

Нештатныесостояниясредывыполнения(например,исчерпаниепамяти,дисковогопространстваили

длительнаянехваткапроцессорноговремени)могутзатруднятьработусистемы,либоделатьее

невозможной.Основнаязадачасистемывтакойситуации–корректнозавершитьилиприостановитьсвою

работу.

Тест‐требование. Проверить программу при нештатном состоянии среды

выполнения.

9.ГРАНИЧНЫЕУСЛОВИЯ

Втестовыхпримерах,прямосоответствующихтест‐требованиямобычноиспользуютсявходныезначения,

находящиесязаведомовнутридопустимогодиапазона.Одинизспособовпроверкиустойчивостисистемы

назначениях,близкихкпредельнымзначениям–создаватьдлякаждоговходакакминимумтритестовых

примера.

1. Значениевнутридиапазона.

2. Минимальноезначение.

3. Максимальноезначение.

Дляещебольшейуверенностивработоспособностисистемыиспользуютпятьтестовыхпримеров.

1. Значениевнутридиапазона.

2. Минимальноезначение.

3. Минимальноезначение+1.

4. Максимальноезначение.

5. Максимальноезначение–1.

Такойспособпроверкиназываетсяпроверкойнаграничныхзначениях.Такаяпроверкапозволяетвыявлять

проблемы,связанныесвыходомзаграницыдиапазона.

Например,есливфункцию[Синицын2006]:

Страница50



charsum(chara,charb)

{

 returna+b;

}

вычисляющуюсуммучиселaиbбудутпереданызначения255и255,товслучаеотсутствияспециальной

обработкиситуациипереполнениясуммабудетвычисленаневерно.

Другаяобласть,притестированиикоторойполезнопользоватьсяпроверкойнаграничныхзначениях–

индексымассивов.

Например,функция[Синицын2006]:

voidabs_array(chararray[],charsize)

{

 for(inti=1;i<=size;i++)

 {

 array[i]=abs(array[i]);

}

return;

}

заменяющаязначениекаждогоэлементапереданногоеймассиваназначениепомодулюсодержитошибку

вциклеfor,котораяможетбытьлегкообнаруженаприпередачевфункциюмассиваединичногоразмера.

10.ПРОВЕРКАРОБАСТНОСТИ(ВЫХОДАЗАГРАНИЦЫДИАПАЗОНА)

РОБАСТНОСТЬСИСТЕМЫ–этостепеньеечувствительностикфакторам,неучтеннымнаэтапахее

проектирования,например,кнеточностиосновногоалгоритма,приводящегокошибкамокругленияпри

вычислениях,сбоямвовнешнейсредеиликданным,значениякоторыхнаходятсявнедопустимого

диапазона.Чащевсегоподробастностьюпрограммныхсистемпонимаютименноустойчивостьк

некорректнымданным.Системадолжнабытьспособнакорректнообрабатыватьтакиеданныепутем

выдачисоответствующихсообщенийобошибках,сбоииотказысистемынатакихданныхнедопустимы.

Длятестированияробастностиктестовымпримерам,рассмотреннымвпредыдущемразделе,добавляются

ещедватестовыхпримера.

1. Минимальноезначение–1.

2. Максимальноезначение+1.

проверяющиеповедениесистемызаграницейдопустимогодиапазона,атакжевслучаетестирования

операцийсравнения,дополнительнодающиегарантиютого,чтовнихнедопущенаопечатка.