Слукин Сергей. Введение в тестирование программного обеспечения

Подождите немного. Документ загружается.

Страница51



Такимобразом,еслиизобразитьдопустимыйинтервал,какнаРис.13[Синицын2006],томожновидеть,что

длятестированияинтервальныхзначенийдостаточно7тестовыхпримеров–пятидопустимыхидвухна

робастность.



Рис.13Рекомендуемыепроверочныезначения

Влитературечастовстречаетсяутверждение,чтозначениевнутриинтервалаявляетсяизбыточнымиего

тестированиенетребуется.Однако,проверкавнутреннегозначенияявляетсяполезнойкакминимумс

психологическойточкизрения,атакжевслучаееслиинтервалограниченсложнымиграничными

условиями.

Такжерекомендуетсяотдельнопроверятьзначение0(дажееслиононаходитсявнутриинтервала),т.к.

зачастуюэтозначениеобрабатываетсянекорректно(например,вслучаеделенияна0).

КЛАССЫЭКВИВАЛЕНТНОСТИ

Приразработкетестовыхпримеровможетвозникнутьтакаяситуация,вкоторойразличныевходные

значенияприводяткоднимитемжереакциямсистемы.Еслиприэтомтакиевходныезначенияимеютчто‐

тообщее,товозможнообъединениетакихзначенийвклассыэквивалентности,т.е.выполнение

эквивалентногоразбиениямножествадопустимыхвходныхзначений.

Разбиениенаклассыэквивалентности–впервуюочередь,способуменьшениянеобходимогочисла

тестовыхпримеров.Обычно,есливтест‐требованияхспециальнонеоговореноиное,притестировании

достаточновыполнитьтолькоодинтестовыйпримердлякаждогоклассаэквивалентности.Разбиениена

классыэквивалентностиособеннополезно,когданавходсистемыможетбытьподанобольшоеколичество

различныхзначений;тестированиекаждоговозможногозначенияпривелобыкслишкомбольшомуобъему

тестирования.

Рассмотренныевышеграничныеусловиямогутслужитьпримеромклассовэквивалентности.

1. Значениеизсерединыинтервала.

2. Граничныезначения.

3. Недопустимыезначениязаграницамиинтервала.

Такимобразом,тестированиеграничныхусловийиробастностиявляетсячастнымслучаемтестированияс

использованиемклассовэквивалентности–вместотого,чтобытестироватьвсенедопустимыезначения,

выбираютсятолькососедниесграничнымизначениями.

Страница52



Приопределенииклассовэквивалентностиследуетруководствоватьсяследующимиправилами.

 Всегдабудет,поменьшеймере,двакласса:корректныйинекорректный.

 Есливходноеусловиеопределяетдиапазонзначений,то,какправило,бываеттрикласса:меньше

чемдиапазон,внутридиапазонаибольшечемдиапазон.(Значениянаконцахдиапазонамогут

трактоватьсякакграничныезначения.)

 Еслиэлементыдиапазонаобрабатываютсяпо‐разному,токаждомувариантуобработкибудут

соответствоватьразныетребования.

Другимпримеромразбиениянаклассыэквивалентностиможетслужитьтестированиеоткрытияфайлапо

егоимени[Синицын2006].Врезультатетестированиянеобходимоопределить,вселивариантыимен

обрабатываютсясистемойсогласноследующимтест‐требованиям.

1. Проверить, что в случае присутствия в имени файла символов,не

являющимися буквами латинского алфавита и цифрами,система

выводитсообщениеобошибке.

2. Проверить,чтовтомслучае,когдадлинаименифайлапревышает

11символов,системавыдаетсообщениеобошибке.

3. Проверить,чтосистеманеразличаетрегистрсимволовименипри

открытиифайла.

4. Проверить, что при открытии файлов с именами,не

противоречащимитребованиям1‐3,системаоткрываетфайл.

Входнымизначениямитестовогопримераявляютсяразличныеименафайлов,выходными–реакция

системы(ошибкаилиуспешноеоткрытие).

Можновыделитьследующиеклассыэквивалентности.

ПОДЛИНЕИМЕНИ:

Длинаименименьше11символов.

Длинаимениравна11символам.

Длинаименибольше11символов.

ПОСИМВОЛАМ:

Имя,состоящееизцифрибуквсмешанногорегистра.

Имя,состоящееизцифрибуквнижнегорегистра.

Имя,состоящееизцифрибуквверхнегорегистра.

Имя,состоящеетолькоизцифр.

Имя,состоящеетолькоизбукв.

Имя,включающеезнакипрепинания(небуквенно‐цифровыесимволы).

Имя,включающееуправляющиесимволы(небуквенно‐цифровыесимволы).

Страница53



Этиклассыэквивалентностииллюстрируют,чтопроверкинаграницахинтерваловприменимынетолько

длятестированияарифметическихоперацийиоперацийсравнения.Практическидлялюбыхданных,даже

текстовых,можноопределить“минимальные”и“максимальны”допустимыезначения.

ТЕСТИРОВАНИЕОПЕРАЦИЙСРАВНЕНИЯЧИСЕЛ

Разбиениенаклассыэквивалентностиширокоиспользуетсяпритестированиикорректностиреализации

арифметическихоперацийиоперацийсравнения.Каждуюоперациюможнорассматриватькакблокс

входами–значениямивыходом–результатомоперации.Дляеетестированиявыполняетсяразбиение

диапазонаизмененияпеременныхнавходахблоканаклассыэквивалентностииметодоманализа

граничныхзначенийэтихпеременных.

Втаблице3[Синицын2006]приведенытестовыенаборыдляблоковреализующихоперациисравнения,в

случае,когданаодинизвходовблокаподаётсяконстанта.

Таблица3.Блокисравненияиопределённыедлянихтестовыенаборы

greaterThan блок. Реализует операцию сравнения

a>b (b – константа, на входе a может быть

переменная числового типа)

greaterEq блок. Реализует операцию сравнения

a>=b (b – константа, на входе a может быть

переменная числового типа)

№

набора

1 2 3* 4 5 № набора 1 2 3* 4 5

Вход a

b - d b + d b min max

Вход a

b - d b + d b min max

Выход

F T F F T

Выход

F T T F T

lessThan блок. Реализует операцию сравнения

a<b (b – константа, на входе a может быть

переменная числового типа)

lessEq блок. Реализует операцию сравнения a<=b

(b – константа, на входе a может быть переменная

числового типа)

№

набора

1 2 3* 4 5 № набора 1 2 3* 4 5

Страница54



Вход a

b - d b + d b min max

Вход a

b - d b + d b min max

Выход

T F F T F

Выход

T F T T F

equalTo блок. Реализует операцию сравнения a=b

(b – константа, на входе a может быть переменная

числового типа)

notEqualTo блок. Реализует операцию сравнения

a≠b (b – константа, на входе a может быть

переменная числового типа)

№ набора

1 2 3 4

№ набора

1 2 3 4

Вход a

≠ b b min max

Вход a

≠ b b min max

Выход

F T F F

Выход

T F T T

*тестовыйнаборреализуемтолько,еслипеременнаянавходеa–переменнаяцелоготипа.

Вприведённыхтестовыхнаборахиспользуютсяследующиеобозначения:

 d–шагизмененияпеременнойнавходеa.Еслипеременнаянавходеa–переменнаяцелоготипа,

тоdравно1;

 min–минимальноезначениепеременнойнавходеa;

 max–максимальноезначениепеременнойнавходеa.

ЛИТЕРАТУРА

[Синицын2006]–СиницынС.В.,НалютинН.Ю.Верификацияпрограммногообеспечения.Курслекций.

Московскийинженерно‐физическийинститут.М.2006.

[Котляров2006]–В.П.Котляров,Т.В.Коликова.Основытестированияпрограммногообеспечения.Учебное

пособие.М.:Интернет‐УниверситетИнформационныхтехнологий.

Страница55



МОДУЛЬ6:«ТЕСТОВЫЕПЛАНЫ(TESTPLAN)»

ТЕСТОВЫЕПЛАНЫ

Тестовыепримерынесуществуютсамипосебе–каждыйтестовыйпримерпроверяетоднуситуациюв

работесистемы,новсясовокупностьтестовыхпримеровдолжнаполностьюпроверятьвсю

функциональностьсистемы.Поэтомуописаниявсехтестовыхпримеровобъединяютсявдокументы,

которыеназываютсяТЕСТ‐ПЛАНАМИ.

Тест‐планпредставляетсобойдокумент,вкоторомперечисленывсетестовыепримеры,необходимыедля

тестированиясистемы,либочастьтестовыхпримеров,объединенныхпоопределенномупризнаку.

Существуетнесколькопричиндляобъединенияописанийтестовыхпримероввединыйдокументили

несколькодокументов(ТЕСТ‐ПЛАН).

1. Единаясхемаидентификацииитрассировкитестовыхпримеров.

2. Объединениетестовыхпримероввсмысловыегруппы.

3. Внесениеизмененийвтестовыепримеры.

4. Определениепоследовательноститестирования.

Тест‐планысоставляютсянаоснованиитест‐требований.Вотличиеоттест‐требованийвтест‐плане

описываютсяконкретныеспособыпроверкифункциональностисистемы,т.е.КАКДОЛЖНА

ПРОВЕРЯТЬСЯФУНКЦИОНАЛЬНОСТЬ.Тест‐плансостоитизотдельныхтестовыхпримеров,каждыйиз

которыхпроверяетнекоторуюфункциюилинаборфункцийсистемы.Длякаждоготестовогопримера

однозначноопределяетсякритерийуспешногопрохождения(pass/failcriteria),припомощикоторогоможно

судитьотом–соответствуетлиповедениесистемызаданномувтребованияхповедениюилинет(Рис.16

[Синицын2006]).



Рис.16Местотест‐плановсредипроектнойдокументации

Критериемкачестватест‐планаявляетсяпокрытие(выполнение)всехтребованийкпроверкеправильности

функционированияпрограммы.Желательнойхарактеристикойтест‐планаявляетсяпроверкаисполнения

всехветоксхемыпрограммнойреализации.

Структуратест‐планаможетсоответствоватьструктуретест‐требованийилиследоватьлогикевнешнего

поведениясистемы.Каждыйпункттест‐планаописывает,КАКПРОИЗВОДИТСЯПРОВЕРКА

ПРАВИЛЬНОСТИФУНКЦИОНИРОВАНИЯпрограммнойреализации,исодержит:

 ссылкунатребование(я),котороепроверяетсяэтимпунктом;

 конкретноевходноевоздействиенапрограмму(значениявходныхданных);

 ожидаемуюреакциюпрограммы(текстысообщений,значениярезультатов);

 описаниепоследовательностидействий,необходимыхдлявыполненияпунктовтест‐плана.

Всоставтест‐планарекомендуетсявключатьпункты,служащиедляпроверкиветвейпрограммы,не

выполнявшихсяприпроверкеудовлетворенияфункциональныхтребований.Такиепунктытест‐планамогут

иметьуказание“Дляполнотыпокрытия”вполессылки.

Страница56



Тест‐планможетбытьнаписаннаестественномилиформальномязыке,впоследнемслучаевозможна

передачатест‐плананавходтестовогоокружениядляавтоматическоговыполненияопределенныхвтест‐

планетестовыхпримеров.Приприготовлениитест‐планввидетекстовогодокументавозможнотолько

ручноетестированиесистемыпонаписанномутест‐плану.

ТИПОВАЯСТРУКТУРАТЕСТОВОГОПЛАНА

Рассмотримтиповуюструктурутест‐плана,написанногонаестественномязыкеисодержащеготестовые

примерыдляпроверкиработымодулярасчетаконтрольныхсумм[Синицын2006].

Тест‐план

Тестовыйпример1

Номертест‐требования:2а,2b

Описание теста: В данном тесте проверяется правильность вычисления

значения контрольной суммы (поля CRC) при непустом значении поля CRCи

нулевыхзначенияхэлементовзаписи.

Входныеданные:CRC=12345,A=0,B=0,C=0,D=0

Ожидаемыевыходныеданные:CRC=0,A=0,B=0,C=0,D=0,Empty=TRUE

Сценарийтеста:

УстановказначенияполяCRCв12345

УстановказначенийполейA‐Fв0

ВызовфункцииSet_CRC

ПроверказначенийCRCна0иEmptyнаTRUE

Тестовыйпример2

Номертест‐требования:2a

Описание теста:Вданномтестепроверяется соответствие алгоритма

вычисленияполяCRC,заданноговспецификациитребований.

Входныеданные:CRC=0,A‐Dзаполненыбайтами01010101b

Ожидаемыевыходныеданные:CRC=0111100b,Empty=FALSE

Сценарийтеста:

УстановказначенияполяCRCв0

ЗаполнениебайтполейA‐Dбайтами01010101b

ВызовфункцииSet_CRC

ПроверказначенийCRCна0111100bиEmptyнаFALSE



Страница57



Тестовыйпример3

Номертест‐требования:2a

Описание теста:ВданномтестепроверяетсянеизменностьполейA‐F

записипривычисленииполяCRC(подсчетеконтрольнойсуммы).

Входныеданные:CRC=0,A‐Dзаполненыбайтами01010101b

Ожидаемыевыходныеданные:A‐Dзаполненыбайтами01010101b

Сценарийтеста:

УстановказначенияполяCRCв0

ЗаполнениебайтполейA‐Dбайтами01010101b

ВызовфункцииSet_CRC

ПроверказначенийбайтполейA‐Dна01010101b

Каждыйтестовыйпримервэтомтест‐планеимеетуникальныйномериссылкунатест‐требование,на

основекоторогооннаписан.Общееописаниетестапомогаетприсопровождениитест‐планов–внесении

измененийприизменениисистемы,инспекцияхтест‐планов,выявляющихнесогласованностьит.п.

Вкаждомтестовомпримереперечисленывсевходныезначенияиожидаемыевыходныезначения,атакже

сценарий,описывающийпоследовательностьдействий,которыенеобходимовыполнитьтестовому

окружениюдлявыполнениятестовогопримера.

Такаяструктуратест‐планапозволяетописыватьтестовыепримерыссовершенноразличныминаборами

входныхивыходныхданныхисценариями,однакоприбольшомколичестветестовыхпримеровэтасхема

слишкомгромоздка.

ВОЗМОЖНЫЕФОРМЫПОДГОТОВКИТЕСТ‐ПЛАНОВ

Формапредставлениятест‐планавпервуюочередьзависитоттого,какимобразомтест‐планбудет

использоватьсявпроцессетестирования.

Приручномтестированииудобнопредставлениетест‐плановввидетекстовыхдокументов,вкоторых

отдельныеразделыпредставляютсобойописаниятестовыхпримеров.Каждыйтестовыйпримервтаком

случаевключаетвсебяперечислениепоследовательностидействий,которыенеобходимовыполнить

тестировщикудляпроведениятестирования–сценариятеста,атакжеожидаемыеоткликисистемынаэти

действия.

Дляавтоматизированноготестированиясценарийтестадолженбытьзаписаннакаком‐либоформальном

языке,вэтомслучаевозможнонепосредственноеиспользованиетест‐плановкаквходныхданныхдля

средытестирования.

Другойформойпредставлениятест‐плановявляетсятаблица.Этаформачастоиспользуетсяпричеткои

формальноопределенныхвходныхпотокахданныхсистемы.Например,каждыйстолбецтаблицыможет

представлятьсобойтестовыйпример,каждаястрока–описаниевходногопотокаданных,авячейке

таблицызаписываетсяпередаваемоевданномтестовомпримеревданныйпотокзначение.Ожидаемые

значениядляданноготестазаписываютсяваналогичнойтаблице,вкоторойвстрокахперечисляются

выходныепотокиданных.

Страница58



Третьейформойпредставлениятест‐планаявляетсяопределениепримеровввидеконечногоавтомата.Эта

формапредставленияиспользуетсяпритестированиипротоколовсвязиилипритестировании

программныхмодулей,взаимодействиекоторыхсвнешниммиромпроизводитсяприпомощиобмена

сообщениямипозаданномуинтерфейсу.Модульприэтомможетбытьпредставленкакконечныйавтоматс

наборомсостояний,атест‐планбудетсостоятьиздвухчастей–описанияпереходовмеждусостояниямии

ихпараметровитестовыхпримеров,вкоторыхзадаетсямаршрутпереходамеждусостояниями,параметры

переходовиожидаемыезначения.Такоепредставлениетест‐планаможетбытьпригоднокакдляручного,

такидляавтоматизированноготестирования.

ЛИТЕРАТУРА

[Синицын2006]–СиницынС.В.,НалютинН.Ю.Верификацияпрограммногообеспечения.Курслекций.

Московскийинженерно‐физическийинститут.М.2006.

ТЕСТОВЫЙСЦЕНАРИЙ

Представлениесценариев,удобноедляручноготестирования,–тест‐планввидетекстовогодокумента,в

которомкаждыйтестовыйпример–этоодинраздел.

Длятестовогопримеравэтотдокументзаписываетсяследующаяинформация:

 идентификатор;

 описаниетестаиегоцель;

 ссылкинатестируемуючастьсистемы;

 ссылкинаиспользуемуюпроектнуюдокументацию,вчастноститест‐требования;

 перечислениедействийсценария;

 ожидаемаяреакциясистемынакаждыйпунктсценария.

Действиясценариядолжныбытьописанытак,чтобыихмогвоспроизвестичеловекспрактическилюбым

уровнемподготовки.Описаниеожидаемойреакциисистемыдолжнотакжебытьзаписанотакимобразом,

чтобыможнобылооднозначносудитьотом–соответствуетреакцияожидаемойилинет.

Неудачнойожидаемойреакциейприручномтестированиибылабызапись:

Сообщение«Загрузка»пропадаетчерезприемлемоевремя.

Степеньприемлемостиздесьбудетзависетьоттерпеливоститестировщика,иобеспечитьповторяемость

тестированиябудетзатруднительно.Болееудачнойформойописаниятойжесамойожидаемойреакции

будет:

Сообщение«Загрузка»исчезаетсэкрананеболее,чемчерез10секундпосле

появления.

Нижеприведенпримерописаниятестовогопримераввидесценария,предназначенногодляручного

тестирования[Синицын2006]:

Группатестов:Работасучетнымизаписями.

Тестовыйпример:1289‐15

Страница59



Назначение:

 Проверка того, что учетная запись пользователя проверяется

перед началом передачи данных и в случае ввода записи по умолчанию при

максимальнойзащитесистемыпередачинепроисходит.

Тест‐требования:8.5.8.1,8.5.8.2

Предусловия для теста: Система должна быть приведена в состояние

«Максимальнаязащита»исброшенавнастройкипоумолчанию.

Критерий прохождения теста:Всеожидаемыезначениясовпадаютс

реальнымизначениями.



Сценарийтестирования:



№ Шагсценария Ожидаемыйрезультат

1 Запуститьтерминальный

клиентисоединитьсяссистемой

поадресу127.0.0.1

олжнопоявитьсяприглашениетерминала

TRANSFER>

2 Запуститьпроцесспередачи

данныхприпомощиввода

командыSENDDATA

олжнопоявитьсяприглашениеDATA

TRANSFERINITIATEDиследующимидвумя

строками

Enteryourcredentials…

3 Ввестиимяучетнойзаписи

default

олжнапоявитьсястрокаPassword:

4 Ввестипарольdefault

олжнопоявитьсясообщение

Defaultuserblocked–systemsettoHighsecurity

исоединениестерминаломдолжнобыть

прервано

Такиетест‐планысовмещаютсотчетамиопроведениитестирования,добавляявтаблицуописания

сценариятретьюичетвертыеколонки–“Реальныйрезультат”и“Соответствует”,вкоторыйзаносятся

реальнаяреакциясистемыиуказаниенасовпадение/несовпадениерезультатовсоответственно.Вконце

описаниякаждоготестовогопримерадобавляетсяграфа“Пройден/непройден”,вкоторуюзаносится

информацияотом,пройденлитестовыйпримервцелом.Вконцевсеготест‐планасовмещенногосотчетом

помещаетсяграфа“Тестовыхпримеровпройдено/всего”,вкоторуюзаноситсячислопройденныхтестовых

примеровиобщееихчисло.

Сценариитестированиядляавтоматическоготестированиячастоописываютнатомилииномязыке

программирования.Например,методывтестирующихклассахMicrosoftVisualStudioTeamEdition

представляютсобойименнопошаговыеописаниядействий,которыенеобходимовыполнитьтестовому

окружениюдляпроведениятестирования.

ЛИТЕРАТУРА

[Синицын2006]–СиницынС.В.,НалютинН.Ю.Верификацияпрограммногообеспечения.Курслекций.

Московскийинженерно‐физическийинститут.М.2006.

ИСПОЛЬЗОВАНИЕТАБЛИЦ

ПРИМЕРПРИЛОЖЕНИЯ

Страница60



Длясистемсбольшимколичествомточеквходаидляприложенийсбольшимпространствомвходов

таблицыявляютсяэффективнымсредствомприопределениитестовыхпримеров[Тамре2003].

Приложениесграфическимпользовательскиминтерфейсомимеютмноговозможностей,спомощью

которыхпользовательможетзаполнитьполеввода.

Внешнийвидрассматриваемогодиалоговогоокнапредставленнарис.4.1.Пользовательзаполняетполя

usernameиpassword,азатемнажимаетлибокнопкуOKдляподтвержденияввода,либокнопкуCANCEL,

чтобыпрерватьдиалог.



Фокус(текущаяпозициякурсора)можетнаходитьсявчетырехместах,каждоеизкоторыхдолжно

правильноотвечатьналюбоенажатиеклавиши,исходяизсвоегоконтекста.

Рассмотримклавиатурус88различнымиклавишами.Такоеколичествоклавишдаетболее600различных

комбинацийнажатияклавишдлякаждогополявводаGUI.Этавеличинаобразуетсяспомощьюследующих

комбинаций.

 88различныхклавиш–дают26символовнижнегорегистра,10цифр,12символовпунктуации,12

функциональныхклавиши28прочихклавиш(ENTER,INSERT,HOME,PAGEUP,UPARROW,SHIFT,

CONTROL).

 87комбинацийсклавишейSHIFT–нажатиеклавишиSHIFTможносочетатьснажатиемоднойиз

остальных87клавиш,некоторыеизнихдаютсимволыверхнегорегистраидругиезнаки

пунктуации.

 87комбинацийсклавишейCONTROL–нажатиеклавишиCONTROLможносочетатьснажатием

однойиз87оставшихсяклавиш.

 87комбинацийсклавишейALT–клавишуALTможноиспользоватьсовместносоднойиз87

оставшихсяклавиш.

 86комбинацийCONTROL+SHIFT–существует86возможныхтрехклавишныхкомбинаций,вкоторых

задействуютодновременноCONTROL+SHIFTилюбаятретьяклавиша.

 86комбинацийALT+SHIFT–ещеоднараспространеннаякомбинациянажатиятрехклавиш,

ALT+SHIFT+<любаятретьяклавиша.

 86комбинацийCONTROL+ALT–комбинациявключаетводновременноенажатиеклавишCONTROL,

ALTилюбойтретьейклавиши.

Некоторыекомбинациидаютразличныйэффектвзависимостиотосновногосостояниясистемы.Вкачестве

примераможнопривестисимволпробела,которыйигнорируется, еслионследуетпоследругогопробела,

новажен,еслиследуетзадругимсимволом.

Таблицасвободноотражаетполявводанасписоквозможныхклавишныхкомбинаций.Частьэтойтаблицы

показанавтабл.4.1.Ограничиваярасчетылишьнаиболеераспространеннымидвух‐итрехклавишными

комбинациями,полнаятаблицабудетсодержатьболее600столбцов.