Слукин Сергей. Введение в тестирование программного обеспечения

Подождите немного. Документ загружается.

Страница31



Наоснованииописанияархитектурысоздаютсянизкоуровневыетест‐требования,вкоторыхописываются

аспектыповеденияконкретнойпрограммнойреализациисистемы,которыенеобходимопротестировать.

Примеромтакоготребованияявляется,например:

Проверить,чтозначениетемпературынадатчикеABCневыходитза255

ТЕСТ‐ПЛАНЫ.Наоснованиитест‐требованийразработчикамитестов(testdevelopers)создаютсятест‐планы

–документы,которыесодержатподробноепошаговоеописаниетого,какдолжныбытьпротестированы

тест‐требования.

ТЕСТ‐ПЛАН–последовательностьтестовыхпримеров,выполняющихпроверкусоответствияреализации

системытребованиям.Каждыйтестовыйпримерсодержитконкретноеописаниезначений,подаваемыхна

входсистемы,значений,которыеожидаютсянавыходеиописаниесценариявыполнениятеста.

Тест‐планготовитсялибоввидепрограммынакаком‐либоязыкепрограммирования,либоввидевходного

файладанныхдляинструментария,выполняющеготестируемуюсистемуипередающегоейзначения,

указанныевтест‐плане,либоввидеинструкцийдляпользователясистемы,описывающейнеобходимые

действия,которыенужновыполнитьдляпроверкиразличныхфункцийсистемы.

Дополнительно,наоснованиитест‐требованийипроектнойдокументациисоздаетсятестовоеокружение,

необходимоедлякорректноговыполнениятестовнатестовыхстендах–драйверы,заглушки,настроечные

файлыит.п.

ОТЧЕТОВЫПОЛНЕНИИТЕСТИРОВАНИЯ.Врезультатевыполнениявсехтестовыхпримеровсобирается

статистикаобуспешностипрохождениятестирования–проценттестовыхпримеров,длякоторыхреальные

выходныезначениясовпалисожидаемыми,такназываемыхпройденныхтестов.Порезультатам

выполнениятестовтестировщиками(testers)создаютсяотчетыовыполнениитестирования,которые

содержатинформациюотом,какиенесоответствиятребованиямбыливыявленыврезультате

тестирования,атакжеотчетыопокрытии,содержащиеинформациюотом,какаядоляпрограммногокода

системыбылазадействованаврезультатевыполнениятестирования.

ОТЧЕТОПРОБЛЕМАХ.Непройденныетестыявляютсяисходнымиданнымидляанализапричиношибоки

последующегоихисправления.Понайденнымнесоответствиямсоздаютсяотчетыопроблемах–

документы,которыенаправляютсянаанализвгруппуразработчиковсцельюопределенияпричины

возникновениянесоответствия.

ЗАПРОСНАИЗМЕНЕНИЕСИСТЕМЫ.Изменениявсистемувносятсятолькопослеизученияэтихотчетови

локализациипроблем,вызвавшихнесоответствиетребованиям.Длятого,чтобыпроцессизмененийне

вышелизподконтроляилюбоеизменениепротоколировалось,создаетсязапроснаизменениесистемы.

Послезавершениявсехработпозапросунаизменениепроцесстестированияповторяетсядотехпор,пока

небудетдостигнутприемлемыйуровенькачествапрограммнойсистемы.

ДОКУМЕНТИРОВАНИЕИНДУСТРИАЛЬНОГОТЕСТИРОВАНИЯ

ДОКУМЕНТАЦИЯИСОПРОВОЖДЕНИЕТЕСТОВ

ТЕСТОВЫЕПРОЦЕДУРЫ–этоформальныйдокумент,содержащийописаниенеобходимыхшаговдля

выполнениятестовогонабора.Процедурыдолжныбытьсоставленытакимобразом,чтобылюбойинженер,

несвязанныйсданнымпроектом,былспособенадекватнопровестициклтестирования,обладаятолько

самымибазовымизнаниямиоприменяющемсяинструментарии.

Страница32



ОПИСАНИЕТЕСТОВразрабатываетсядляоблегченияанализаиподдержкитестовогонабораивыполняет

следующиезадачи.

 Анализироватьстепеньпокрытияпродуктатестаминаоснованииописаниятестовогонабора.

 Длялюбойфункциитестируемогопродуктанайтитесты,вкоторыхфункцияиспользуется.

 Длялюбоготестаопределитьвсефункциииихсочетания,которыеданныйтестиспользует

(затрагивает).

 Понятьструктуруивзаимосвязитестовыхфайлов.

 Понятьпринциппостроениясистемыавтоматизациитестирования.

ДОКУМЕНТИРОВАНИЕИЖИЗНЕННЫЙЦИКЛДЕФЕКТА

Каждыйдефект(ошибка),обнаруженныйвпроцессетестирования,долженбытьдокументировани

отслежен.Приобнаруженииновогодефектаегозаносятвбазудефектов.Дляэтоголучшевсего

использоватьспециализированныебазы,поддерживающиехранениеиотслеживаниедефектов‐типа

DDTS.Призанесенииновогодефектарекомендуетсяуказывать,какминимум,следующуюинформацию:

 Наименованиеподсистемы, вкоторойобнаружендефект.

 Версияпродукта(номерbuild),накоторомдефектбылнайден.

 Описаниедефекта.

 Описаниепроцедуры(шагов,необходимыхдлявоспроизведениядефекта).

 Номертеста,накоторомдефектбылобнаружен.

 Уровеньдефекта,тоестьстепеньегосерьезностисточкизрениякритериевкачествапродуктаили

заказчика.

Занесенныйвбазудефектовновыйдефектнаходитсявсостоянии"New".Послетого,каккоманда

разработчиковпроанализируетдефект,онпереводитсявсостояние"Open"суказаниемконкретного

разработчика,ответственногозаисправлениедефекта.Послеисправлениядефектпереводится

разработчикомвсостояние"Resolved".

Приэтомразработчикдолженуказатьследующуюинформацию:

 Причинувозникновениядефекта.



Местоисправления,какминимум,сточностьюдоисправленногофайла.

 Краткоеописаниетого,чтобылоисправлено.

 Время,затраченноенаисправление.

Послеэтоготестировщикпроверяет,действительнолидефектбылисправлениеслиэтотак,переводитего

всостояние"Verified".Еслитестировщикнеподтвердитфактисправлениядефекта,тосостояниедефекта

изменяетсяснована"Open".

Еслипроектнаякомандапринимаетрешениеотом,чтонекоторыйдефектисправлятьсянебудет,тотакой

дефектпереводитсявсостояние"Postponed"суказаниемлиц,ответственныхзаэторешение,ипричинего

принятия.

ТЕСТОВЫЙОТЧЕТ

Тестовыйотчетобновляетсяпослекаждогоциклатестированияидолженсодержатьследующую

информациюдлякаждогоцикла:

 Переченьфункциональностивсоответствииспунктамитребований,запланированныйдля

тестированиянаданномцикле,иреальныеданныепонему.

 Количествовыполненныхтестов–запланированноеиреальноисполненное.

Страница33



 Время,затраченноенатестированиекаждойфункции,иобщеевремятестирования.

 Количествонайденныхдефектов.

 Количествоповторнооткрытыхдефектов.

 Отклоненияотзапланированнойпоследовательностидействий,еслитаковыеимелиместо.

 Выводыонеобходимыхкорректировкахвсистеметестов,которыедолжныбытьсделаныдо

следующеготестовогоцикла.

ТЕСТОВЫЕМЕТРИКИ

Существуетустоявшийсянабортестовыхметрик,которыйпомогаетопределитьэффективность

тестирования(качество)итекущеесостояниепродукта.Ктакимметрикамотносятсяследующие.

 Покрытиефункциональныхтребований.

 Покрытиекодапродукта.Наиболееприменимодлямодульногоуровнятестирования.

 Покрытиемножествасценариев.

 Количествоилиплотностьнайденныхдефектов.Текущееколичестводефектовсравниваетсясо

среднимдляданноготипапродуктовсцельюустановить,находитсялионовпределах

допустимогостатистическогоотклонения.

 Соотношениеколичестванайденныхдефектовсколичествомтестовнаданнуюфункциюпродукта.

 Количествонайденныхдефектов,соотнесенноеповремени,илискоростьпоискадефектов.

ОБЗОРЫТЕСТОВИСТРАТЕГИИ

Целиобзоратестовойстратегии:

1. Установитьдостаточностьпроверок,обеспечиваемыхтестированием.

2. Проанализироватьоптимальностьпокрытияилиадекватностьраспределенияколичества

планируемыхтестовпофункциональностипродукта.

3. Проанализироватьоптимальностьподходакразработкекода,генерациикода,автоматизации

тестирования.

Целиобзоратестовогокода:

1. Установитьсоответствиетестовогонаборатестовойстратегии.

2. Проверитьправильностькодированиятестов.

3. Оценитьстепенькачествакода,котораядостигнута,исходяизтребованийпостандартам,простоте

поддержки,наличиюкомментариевит.п.

4. Еслинеобходимо,проанализироватьоптимальностьтестовогокодасцельюудовлетворения

требованийкбыстродействиюиобъему.

РУЧНОЕТЕСТИРОВАНИЕ

Ручноетестированиезаключаетсяввыполнениидокументированнойпроцедуры,гдеописанаметодика

выполнениятестов,задающаяпорядоктестовидлякаждоготеста‐списокзначенийпараметров,который

подаетсянавход,исписокрезультатов,ожидаемыхнавыходе.Посколькупроцедурапредназначенадля

выполнениячеловеком,вееописаниедлякраткостимогутиспользоватьсянекоторыезначенияпо

умолчанию,ориентированныеназдравыйсмысл,илиссылкинаинформацию,хранящуюсявдругом

документе.

ПРИМЕРФРАГМЕНТАПРОЦЕДУРЫПРИРУЧНОМТЕСТИРОВАНИИ

1. Податьнавходтриразныхцелыхчисла.

Страница34



2. Запуститьтестовоеисполнение.

3. Проверить,соответствуетлиполученныйрезультаттаблице[ссылканадокумент_1]сучетом

поправок[ссылканадокумент_2].

4. Убедитьсявпонятностиикорректностивыдаваемойсопроводительнойинформации.

Вприведеннойпроцедуретестировщикиспользуетдвадополнительныхдокумента,атакжесобственное

пониманиетого,какуюсопроводительнуюинформациюсчитать"понятнойикорректной".Успехот

использованияпроцедурногоподходадостигаетсявслучаеоднозначногопониманиятестировщикомвсех

пунктовпроцедуры.Например,вп.1приведеннойпроцедурынеуточняется,изкакогодиапазонадолжны

бытьзаданытрицелыхчисла,инеописываетсядополнительно,какиечисласчитаются"разными".

ПРИМЕРСКРИПТА

1. Выдатьнаконсольимяилиномертестаивремяегоначала.

2. Вызватьпродуктсфиксированнымипараметрами.

3. Перенаправитьвыводпродуктавфайл.

4. Проверитьвозвращенноепродуктомзначение.Онодолжнобытьравноожидаемому(эталонному)

результату,зафиксированномувтесте.

5. Проверитьвыводпродукта,сохраненныйвфайле(п.3),наравенствозаранееприготовленному

эталону.

6. ВыдатьнаконсольрезультатытеставвидевердиктаPASS/FAILивслучаеFAIL‐краткогопояснения,

какаяименнопроверканепрошла.

7. Выдатьнаконсольвремяокончаниятеста.

Сравнениеручногоиавтоматизированногоподхода(Табл.10.1[Котляров2006])показываеттенденцию

современноготестирования,ориентирующуюнамаксимальнуюавтоматизациюпроцессатестированияи

генерациютестовогокода,чтопозволяетсправлятьсясбольшимиобъемамиданныхитестов,необходимых

дляобеспечениякачестваприпроизводствепрограммныхпродуктов.

Таблица10.1.Сравнениеручногоиавтоматизированногоподхода



Ручное



Автоматизированное



Заданиевходных



значений

Гибкостьвзаданииданных.Позволяет

использоватьразныезначениянаразных

циклахпрогонатестов,расширяяпокрытие

Входныезначениястрого

заданы

Проверкарезультата



Гибкая,позволяеттестировщикуоценивать

нечеткосформулированныекритерии

Строгая.Нечетко

сформулированныекритерии

могутбытьпроверенытолько

путемсравнениясэталоном

Повторяемость



Низкая.Человеческийфакторинечеткое

определениеданныхприводятк

неповторяемоститестирования

Высокая

Надежность



Низкая.Длительныетестовыециклыприводят

кснижениювниманиятестировщика

Высокая,независитотдлины

тестовогоцикла

Чувствительностьк



незначительным

изменениямв

продукте

Зависитотдетальностиописанияпроцедуры.

Обычнотестировщиквсостояниивыполнить

тест,есливнешнийвидпродуктаитекст

сообщенийнесколькоизменились

Высокая.Незначительные

изменениявинтерфейсе

частоведутккоррекции

эталонов

Скоростьвыполнения



тестовогонабора

Низкая Высокая

Возможность



генерациитестов

Отсутствует.Низкаяскоростьвыполнения

обычнонепозволяетисполнить

сгенерированныйнабортестов

Поддерживается

Страница35



ЛИТЕРАТУРА

[Синицын2006]–СиницынС.В.,НалютинН.Ю.Верификацияпрограммногообеспечения.Курслекций.

Московскийинженерно‐физическийинститут.М.2006.

[Котляров2006]–В.П.Котляров,Т.В.Коликова.Основытестированияпрограммногообеспечения.Учебное

пособие.М.:Интернет‐УниверситетИнформационныхтехнологий.

Страница36



МОДУЛЬ4:«ТЕСТОВЫЕТРЕБОВАНИЯ»

ТЕСТ‐ТРЕБОВАНИЯ–основнойдокументдлятестировщика,которыйопределяетфункциональность

системысточкизрениятого,чтодолжнобытьпроверенодлятого,чтобыудостоверитьсявеекорректном

функционировании,атакже–наоснованиикакоговнешнегоэффектаможноубедиться,чтопроверяемая

функцияреализованаправильно.Существуетдваподходакнаписаниютест‐требований–

ФУНКЦИОНАЛЬНЫЙИСТРУКТУРНЫЙ.

Тест‐требования,написанныеврамкахфункциональногоподходаосновываютсянасистемныхтребованиях

итребованияхкпрограммномуобеспечениюсистемы.

Тест‐требования,написанныеврамкахструктурногоподходапишутсянаоснованииописанияархитектуры

системыипринимаютврасчетстроениеисходныхтекстовсистемы.Структурныетест‐требованияважныв

томслучае,когдакнадежностисистемыпредъявляютсяповышенныетребования.Т.е.когдаважно

проверитьнетольконасколькокорректносистемавцеломотрабатываетсценариисвоейработы,ноикакв

различныхнестандартныхситуацияхбудутвестисебяотдельныееекомпоненты.

Из‐затакогоразличияфункциональныйиструктурныйподходычастоназываютподходамичерногои

белогоящиков.

Напрактикепочтивсегдаприменяютсяобаподходакразработкетест‐требований,врезультатевсостав

документациипроектавключаютсятест‐требованияверхнегоуровняитест‐требованиянижнегоуровня,по

которымсоставляютсятест‐планы(Рис.15[Синицын2006]).



Рис.15Местотест‐требованийсредипроектнойдокументации

СВОЙСТВАТЕСТ‐ТРЕБОВАНИЙ

Тест‐требованиядолжныбытьдостаточнымидляпостроениятест‐планапроверкиреализациизадачибез

знакомствасеепрограммнымитекстами,т.е.тест‐требованиядолжныобладатьсвойствомизоляцииот

внутреннейструктурысистемы.

Структуратест‐требованийследуетструктуреразделафункциональныхтребованийнасистему.Задача

каждоготребования‐определениетого,чтонадопроверить.Техникаисполнениякаждойтакойпроверки–

задачатест‐плана.Обычныйформатописанияотдельноготребованияследующий:

Страница37



Проверить, что при <описание внешнего воздействия> [происходит]

<описаниереакциипрограммы>.

Тест‐требования,написанныеврамкахфункциональногоподходаобычноразделяютнаследующиегруппы:

 функцииконтролявходныхданных;

 функцииобработкиошибок(ввода,вычислений);

 функцииполученияосновногорезультата;

 функцииобработкиособыхситуаций;

 функцииоформленияивыводарезультатов.

Совокупностьтест‐требованийдолжнаобладатьнекоторымиважнымисвойствами:ПОЛНОТА,

ВЕРИФИЦИРУЕМОСТЬИНЕПРОТИВОРЕЧИВОСТЬ.

Какправило,одномусистемномуилифункциональномутребованиюсоответствуетминимумоднотест‐

требование.Еслисовокупностьпроверок,задаваемыхтест‐требованиями,покрываетвсю

функциональностьсистемы,определеннуювсистемныхтребованияитребованияхкпрограммному

обеспечению,тоговорятополнотетест‐требований.Приизмененияхтребованийксистемедля

поддержанияполнотыдолжныменятьсяитест‐требования.

Каксистемныетребованияитребованиякпрограммномуобеспечению,такитест‐требованиядолжны

обладатьсвойствомверифицируемости.Т.е.длякаждоготребованиядолжнасуществоватьвозможность

определитьчеткийкритерийпроверки–выполняетсяэтотребованиевреализованнойсистемеилинет.

Примеромневерифицируемоготребованияможетслужитьследующее“тест‐требование”:

Система должна иметь интуитивно понятный пользовательский

интерфейс.

Очевидное,что“тест‐требование”будетвыглядетькак:

Проверить,чтосистемаимеетинтуитивно понятный пользовательский

интерфейс.

Безчеткогоопределениякритериевинтуитивнойпонятности,проверитьтакоетребованиеприпомощи

написаниятестовыхпримеровнепредставляетсявозможным.Однако,еслисопроводитьтакоетребование

количественнымииликачественнымихарактеристикамиинтуитивнопонятногоинтерфейса–написание

тестовыхпримеровпотребованиямстановитсявозможным.Так,средикритериевинтуитивнойпонятность

могутбытьследующие:глубинавложенностименюнеболеетрех,наличиевсплывающихподсказокна

каждомэлементеуправлениякаждойэкраннойформыит.п.

Прибольшомколичестветест‐требованийичастыхихизмененияхможетвозникнутьситуация,вкоторой

различныетребованияперестаютбытьсогласованными.Вэтомслучаетакиетребованияимеют

взаимоисключающиедругдругакритериипроверки.

Например,однотест‐требованиенапользовательскийинтерфейсможетдекларироватьнеобходимость

проверкитого,чтовведенныйпользователемпарольимеетдлинунеболее16символов,атест‐требование

кбазеданныхсистемы–чтодопустимыйразмерпароля,сохраняемоговБД–от4до12символов.Вэтом

случаеэтидватребованияявляютсяпротиворечивыми.Длятого,чтобыустранитьэтопротиворечиенужно

проводитьанализсистемныхифункциональныхтребованийспоследующеймодификациейтест‐

требований.

Страница38



Тест‐требования,покоторымсоставляютсятест‐планыдлятестированиясистемы,обычнообладают

свойствомнепротиворечивости,посколькупротиворечияобычноустраняютсянауровневерификации

проектнойдокументации.Однакопротиворечиямогутбытьвыявленыипозже,врезультатепопытки

создатьадекватныетестовыепримеры.

ПРИМЕРИСПОЛЬЗОВАНИЯСПЕЦИФИКАЦИИТРЕБОВАНИЙДЛЯРАЗРАБОТКИТЕСТОВ

Пустьзаданследующийфрагментнаборатребованийдлямоделиобменатранзакциями:

1. ФункцияDoTransactionдолжнаприниматьадресиданныевсоответствииспараметрами,создавать

вочерединовыйэлемент,заполнятьегоадреснуючастьичастьполейданныхпереданной

информациейиинициироватьтранзакцию.

2. ФункцияDoAddressTenureдолжнаприниматьадресвсоответствииспараметрами,создаватьв

очерединовыйэлементизаполнятьегоадреснуючасть.

3. ФункцияDoDataTenureдолжнаприниматьданныевсоответствииспараметрами,находитьв

очередипервыйэлементсчастичнонезаполненнымиполямиданных,дополнятьегопереданной

информациейиинициироватьтранзакцию.

Концептуальноеописаниенаборатестов,проверяющегоспецификацию,можетвыглядетьследующим

образом:

1. ВызватьDoTransactionсадресомиданными.Проверитьпоявлениевочередиещеодного

элемента.Проверитьпоявлениенашинетранзакциисправильнымиадресомиданными.

2. ВызватьDoAddressTenureсадресом.Проверитьпоявлениевочередиещеодногоэлемента.

Проверитьотсутствиеновойтранзакциинашине.

3. ВызватьDoDataTenureсданными.Проверитьзаполнениеполейданных.Проверитьпоявлениена

шинетранзакциисправильнымиадресомиданными.

ЛИТЕРАТУРА

[Синицын2006]–СиницынС.В.,НалютинН.Ю.Верификацияпрограммногообеспечения.Курслекций.

Московскийинженерно‐физическийинститут.М.2006.

АНАЛИЗТЕСТОВЫХТРЕБОВАНИЙНАДУХОВОЙШКАФ

ВВЕДЕНИЕ

Работатестерасостоитвтом,чтобы:

 узнатьоновомприложении;

 перечислитьвозможноститестовогопримера;

 определитьтестовыйпример;

 выбрать,какиебудутпроводитьсятесты;

 создатьсредутестирования;

 провеститесты.

ПРИМЕРПРИЛОЖЕНИЯ

Примеромприложенияслужитконтроллердуховогошкафа,егофункциикраткоописанынарис.2.1[Тамре

2006].

Страница39



Нарис.2.2[Тамре2006]представленадиаграммаконтекста,накоторойпоказанывходныеивыходные

данныедляконтроллерадуховогошкафа.



Задачатестера–проанализироватьтребованияспоследующимопределениемнаборатестов.

Вдополнениекперечисленнойвышеинформацииопродуктепредоставленнабортакназываемых

“требований”,посколькуихсодержимоенеописываетреальныхсистемныхтребований(рис.2.3[Тамре

2006]).



ВЫДЕЛЕНИЕТРЕБОВАНИЙ

Начинатьпроцесстестированияследуетспреобразованияобременительного,сбивающегостолкуабзацав

списокизотдельныхпредложенийилифрагментов,какэтопоказанонарис.2.4[Тамре2006].

Страница40



Следующийэтапзаключаетсявразбиениитребованийнатритипа:входныесостояния,ожидаемые

результатыипроектныеограничения.Входнаяинформацияиспользуетсяприразработкетеста,выходная

информациябудетиспользоватьсяпозжеприопределениитестовыхпримеров,апроектныеограниченияв

тестыневключаются.

ОЖИДАЕМЫЕРЕЗУЛЬТАТЫ

Этообщийтермин,описывающийрезультирующееповедениесистемы,включаявнутреннеесостояниеили

изменениепамяти,которыепользователюнаблюдатьсложно,вдополнениекобразованиюотдельных

значенийилинаборарезультирующихданных.Помимозначенийвыходныхданныхпривыполнениитестов

частонеобходимооцениватьидругиетрансформации.Нарис.2.4[Тамре2006]перечисленыпять

требований,описывающиерезультаты;этиположениябудутисключеныизспискавходныхсостояний.

