Слукин Сергей. Введение в тестирование программного обеспечения

Подождите немного. Документ загружается.

Страница91



 «мертвый»код.Этоткоддолженбытьудаленипроведенанализдляоценкиэффектаудаленияи

необходимостиперепроверки;

 дезактивируемыйкод;

 избыточностьусловия.Логикаработытакогоусловиядолжнабытьпересмотрена.

 защитныйкод.Частькода,используемаядляпредотвращенияисключительныхситуаций,которые

могутвозникнутьвпроцессеработыпрограммы.

ОТЧЕТЫОПОКРЫТИИПРОГРАММНОГОКОДА

Степеньпокрытияпрограммногокодатестами–важныйколичественныйпоказатель,позволяющий

оценитькачествосистемытестов,авнекоторыхслучаях–икачествотестируемойпрограммнойсистемы.

Данныеостепенипокрытияпомещаютсявотчетыопокрытии,генерируемыепривыполнениитестов

инструментальнымисредствами,поддерживающимипроцесстестирования,т.е.посути,генерируются

средойтестирования(Рис.20[Синицын2006]).



Рис.20Генерацияотчетаопокрытиииизмененияпорезультатамегоанализа

Форматотчетовопокрытииединвнутрипроектаилинесколькихпроектовизависитотособенностей

инструментальныхсредствтестирования.Вотчетеопокрытиивстандартизированнойформеуказываются

участкипрограммногокодатестируемойсистемы(илиеечасти),которыенебыливыполненывовремя

выполнениятестов.Порезультатаманализапричиннедостаточногопокрытиясоставляютсяотчетыо

проблемахизапросынаизменение–документы,вкоторыхописываетсяобъекты,которыенеобходимо

изменитьипричиныэтихизменений.

1. Недостаточноепокрытиеможетсвидетельствоватьонеполнотесистемытестовилитест‐

требований,вэтомслучаевзапросеобизмененииуказываетсянанеобходимостьрасширения

системытестовилитест‐требований.

2. Другойпричинойнедостаточногопокрытиямогутбытьучасткизащитногокода,которыеникогдане

выполнятсядажевслучаенештатнойработысистемы.Вэтомслучаевзапросенаизменение

указываетсянанеобходимостьмодификацииисходныхтекстов,либоотмечается,чтодляэтого

участкапрограммнойсистемынетребуетсяпокрытие.

3. Третьейпричинойнедостаточногопокрытияможетбытьрассогласованиетребованийи

программногокодасистемы,врезультатекотороговкодемогутостатьсянеиспользуемыеболее

участки,либонаоборот,появитьсяучастки,рассчитанныенабудущее.Вэтомслучаевзапросена

изменениеуказываетсянанеобходимостьмодификациитребованийи/иликодасистемыдля

приведенияихвсогласованноесостояние.

ВОЗМОЖНЫЕФОРМЫОТЧЕТОВОПОКРЫТИИ

Страница92



Типичныйотчетопокрытиипредставляетсобойсписокструктурныхэлементовпокрываемого

программногокода(функцийилиметодов),содержащийдлякаждогоструктурногоэлементаследующую

информацию:

 Названиефункцииилиметода;

 Типпокрытия(построкам,поветвям,MC/DCилииной);

 Количествопокрываемыхэлементоввфункцииилиметоде(строк,ветвей,логическихусловий);

 Степеньпокрытияфункцииилиметода(впроцентахиливабсолютномвыражении);

 Списокнепокрытыхэлементов(ввидеучастковнепокрытогопрограммногокодасномерами

строк).

Крометого,отчетопокрытиисодержитзаголовочнуюинформацию,позволяющуюидентифицироватьотчет

иобщийитог–общуюстепеньпокрытиявсехфункций,длякоторыхсобираетсяинформацияопокрытии.

Примертакогоотчетаопокрытииприведенниже[Синицын2006]:

CoverageReport

Generated10/07/2006forfileTesting_Facilities.cpp

‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

1)functionmain_Menu()

Coverage:Instructions

Elements:25structuredlinesofcode(SLOCs)

Covered:22lines(88%)

Notcovered:

291default:

292return‐1;

293break;

Coverage:Branches

Elements:5branches

Covered:4branches(80%)

Notcovered(startingandendinglinesonly):

default:

break;

‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

2)functionitem_Help()

Coverage:Instructions

Elements:180structuredlinesofcode(SLOCs)

Страница93



Covered:180lines(100%)

Coverage:Branches

Elements:2branches

Covered:2branches(80%)

‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

Totalfunctions:2

Totalinstructionscoverage:98.5%

Totalbranchescoverage:86%

Отчетопокрытииможетсоздаватьсялибодлявсехфункцийпрограммногомодуляиливсегопроекта,либо

выборочнодляопределенныхфункций.Еслиразмерфункций,длякоторыхгенерируетсявыборочный

отчет,невелик,можетприменятьсяформаотчетаопокрытии,вкоторомпокрытыйинепокрытый

программныйкодвыделяетсяразличнымицветами.Такаяформанеприменимадляпокрытияветвейи

логическихусловий,номожетприменятьсядляпокрытияпострокам.Примертакогоотчетаприведенниже

[Синицын2006]:

CoveragereportforBaseCalculator.AnalaizerClass.Formatmethod.

Generatedon25/07/2006

publicstaticstringFormat()

{

 stringformstr="";

 stringprev="";

 if(expression.Length<=65536){

 for(inti=0;i<expression.Length;i++){

  switch(expression[i]){

case'0':{

if(prev=="число"||prev==""){

formstr+=expression[i].ToString();

}else{

formstr+=""+expression[i].ToString();

}

prev="число";

break;

Страница94



}

  }

 }

 }else{

 MessageBox.Show("Слишкомдлинноевыражение.");

 Program.res=7;

 return"&Error07";

 }

}

Зеленымцветомотмеченывыполненныеврезультатетестированияучасткиметода,красным–не

выполненные.

Дляпримерарассмотримотчетоструктурномпокрытии,генерируемыйполученногоприпомощисредства

дляанализапрограммногокодаCodeTESTкомпанииMetrowerks[Синицын2006].Сборпокрытия

производитсяпоопределенномууровнюпокрытия,информацияобэтомвходитвсоставзаголовкаотчетао

покрытии.ВданномслучаепрограммныйкодпокрывалсяпоMC/DC.

CodeTESTAdvancedCoverageTools

ModifiedConditionDecisionCoverageReport(MCDC),DO‐178BLevelA

CodeTESTReportGenerator2.2.04

ReportgeneratedonSunAug2114:28:162005

IDBFile:

<Path_to_IDB_file>

42963330‐1C0ThuMay2621:36:002005

Далеевыводитсяинформацияопроцентепокрытияповсеммодулямвсовокупности(вданномслучае,это

33модуля).

OverallSummary(MCDC):33Files

1405true‐falsedecisions

67448.0%covered

49435.2%partiallycovered

23716.9%notcovered

1928conditionsinthedecisions

106855.4%covered

Страница95



57129.6%partiallycovered

28915.0%notcovered

278casebranches

15455.4%covered

12444.6%notcovered

581coverageevents

50486.7%covered

7713.3%notcovered

Рассмотримболееподробнокаждуюизхарактеристик:

TRUE‐FALSEDECISIONS–количествологическихвыражений,вданномслучаеих1405.Изэтогочислана

обавозможныхзначения(TrueиFalse)покрытолишь674,еще494покрытонакакое‐тоодноиззначений,а

237непокрытовообще.

CONDITIONSINTHEDECISIONS–количествологическихусловийвнутрилогическихвыражений.Их

количествонеможетбытьменьшеколичествалогическихвыражений.Непокрытиелогическихусловий

явнымобразомвлечетзасобойнепокрытиелогическихвыражений.Есливсеусловиябудутпокрыты,товсе

выражениятакжебудутпокрыты.

CASEBRANCHES–количествоветокветвленияоператороввыбора(select).Веткасчитаетсяпокрытой,если

выражение,стоящеевусловииоператораselect,принимаетзначение,соответствующееданномуварианту

выбора(case),врезультатечеговеткавыполняется.

COVERAGEEVENTS–количествоточеквхода/выходавфункциях.Точкавходавфункциюсчитается

покрытой,еслиэтафункциябылавызванахотябыодинраз.Точкамивыходаявляютсяточкаокончания

функции(}),когдауправлениепередаетсявместовызоваэтойфункции,атакжеоператорывозврата

(return),послевыполнениякоторыхуправлениетакжепередаетсявместовызовафункции.



Затемвыводитсяинформациядляпервогомодуля,аименно:имямодуля,путькфайлунадиске,дата

последнегоизменения,контрольнаясумма.Послеэтоговыводитсясуммарнаяинформацияопокрытии

толькодляэтогомодуля(длявсехегофункций,количествокоторыхтакжеуказывается).

Послеэтогопроисходитпоочередныйвыводсуммарнойинформациидлякаждойизфункцийв

отдельности,атакжевсехключевыхучастковфункции,влияющихнапокрытие,аименно:точки

входа/выхода,логическиевыражения,логическиеусловия,операторывыбора.

ПОКРЫТИЕНАУРОВНЕМАШИННЫХКОДОВ

Внекоторыхслучаяхинструментальныесредствасборапокрытияанализируютпокрытиепрограммного

кодатестаминенауровнеисходныхтекстовсистемы,анауровнемашинныхинструкций.Вэтомслучае

степеньпокрытиязависитиоттого,какойисполняемыйкодгенерируетсякомпилятором.

Сборинформацииопокрытиинауровнеисполняемогокоданаиболеечастоприменяетсяввысоко‐

критичныхпрограммныхсистемах,вкоторыхнедопускаетсяналичия“мертвого”исполняемогокода,

которыйпотенциальноможетпривестиксбоюилиотказувовремяработысистемы.Ктакимсистемамв

Страница96



первуюочередьможноотнестиавиационныебортовыесистемы,медицинскиесистемыисистемы

обеспечениябезопасностиинформации.

ЛИТЕРАТУРА

[Синицын2006]–СиницынС.В.,НалютинН.Ю.Верификацияпрограммногообеспечения.Курслекций.

Московскийинженерно‐физическийинститут.М.2006.

Страница97



МОДУЛЬ9:«ТЕСТИРОВАНИЕПОЛЬЗОВАТЕЛЬСКОГОИНТЕРФЕЙСА»

ЦЕЛИИЗАДАЧИТЕСТИРОВАНИЯПОЛЬЗОВАТЕЛЬСКОГОИНТЕРФЕЙСА

ПОЛЬЗОВАТЕЛЬСКИЙИНТЕРФЕЙС–частьпрограммнойсистемы,обеспечивающаяработуинтерфейсас

пользователем.Трудностьтестированияпользовательскогоинтерфейсазаключаетсявдвоякости

восприятиятермина“пользовательскийинтерфейс”.

1) Пользовательскийинтерфейс–частьпрограммнойсистемы.

 Написаниефункциональныхинизкоуровневыхтребований.

 Составлениетест‐требованийитест‐планов.

 Определениереакциисистемынакаждоедействиепользователя(припомощи

клавиатуры,мышиилииногоустройстваввода).

 Оценкавыводаинформационныхсообщенийсистемы(наэкране,напечатающем

устройствеилинаиномдругомустройствевывода).

 Проверкафункциональнойполнотыпользовательскогоинтерфейса(соответствие

реализованныхфункцийтребованиям;правильностьвыводаинформацииит.д.).

2) Пользовательскийинтерфейс–“лицо”системы,иотегопродуманностизависитэффективность

работыпользователяссистемой.

 Проверкаинтерфейсанаэффективностьчеловеко‐машинноговзаимодействия(usability

verification).

 Удобствоиспользования‐учетввидеобщихрекомендацийипринциповпостроения

пользовательскогоинтерфейса.

ФУНКЦИОНАЛЬНОЕТЕСТИРОВАНИЕПОЛЬЗОВАТЕЛЬСКОГОИНТЕРФЕЙСА

Функциональноетестированиепользовательскогоинтерфейсасостоитизпятифаз:

 анализтребованийкпользовательскомуинтерфейсу;

 разработкатест‐требованийитест‐плановдляпроверкипользовательскогоинтерфейса;

 выполнениетестовисборинформацииовыполнениитестов;

 определениеполнотыпокрытияпользовательскогоинтерфейсатребованиями;

 составлениеотчетовопроблемахвслучаенесовпаденияповедениясистемыитребований,либов

случаеотсутствиятребованийнаотдельныеинтерфейсныеэлементы.

ТЕСТ‐ПЛАНЫпредставляютсобойсценарии,описывающиедействияпользователяприработессистемой.

Сценариизаписаныилинаестественномязыке,илинаформальномязыкесистемыавтоматизации

пользовательскогоинтерфейса.

ВЫПОЛНЕНИЕТЕСТОВпроизводитсяилиоператоромвручномрежиме,илисистемой,котораяэмулирует

поведениеоператора.

ВЫПОЛНЕНИЕТЕСТОВЫХПРИМЕРОВоцениваетсяилиизанализавыводимыхнаэкранформиих

элементов(вслучаеграфическогоинтерфейса),илиизанализавыводимогонаэкрантекста(вслучае

текстовогоинтерфейса).

ПОЛНОТАПОКРЫТИЯПОЛЬЗОВАТЕЛЬСКОГОИНТЕРФЕЙСА–привыполнениивсехтестовыхпримеров

необходимо,чтобыкаждыйинтерфейсныйэлементбылиспользованхотябыодинразвовсехдоступных

режимах.

ОТЧЕТОПРОБЛЕМАХпользовательскогоинтерфейса:а)описаниенесоответствиятребованийи

реальногоповедениясистемы;б)описаниепроблемвтребованияхкпользовательскомуинтерфейсу.

Страница98



ПРОВЕРКАТРЕБОВАНИЙКПОЛЬЗОВАТЕЛЬСКОМУИНТЕРФЕЙСУ

1.ТИПЫТРЕБОВАНИЙКПОЛЬЗОВАТЕЛЬСКОМУИНТЕРФЕЙСУ.

Требованияквнешнемувидупользовательскогоинтерфейсаиформевзаимодействияспользователем.

1.1.Требованиякразмещениюэлементовуправлениянаэкранныхформах.

1.2.Требованияксодержаниюиоформлениювыводимыхсообщений.

1.3.Требованиякформатамввода.

Требованияподоступуквнутреннейфункциональностисистемыприпомощипользовательского

интерфейса.

1.4.Требованиякреакциисистемынавводпользователя.

1.5.Требованияквремениоткликанакомандыпользователя.

1.1.ТРЕБОВАНИЯКРАЗМЕЩЕНИЮЭЛЕМЕНТОВУПРАВЛЕНИЯНАЭКРАННЫХФОРМАХ.

Определяютобщиепринципыразмещенияэлементовпользовательскогоинтерфейсаиихконкретных

элементов.

Примеробщеготребования.

Каждоеокноприложениядолжнобытьразбитонатричасти:строкаменю,

рабочая область и статусная строка.Строкаменюдолжнабыть

горизонтальнойиприжатойкверхнейчастиокна, статусная строка

должна быть горизонтальной и прижата к нижней части окна,рабочая

область должна находиться между строкой меню и статусной строкой и

заниматьвсюоставшуюсяплощадьокна.

ТЕСТИРОВАНИЕ.Достаточноопределить,чтовкаждомокнесистемыприсутствуюттричасти,которые

расположеныиприжатысогласнотребованиям(приизмененииразмеровокна,его

сворачивании/разворачивании,перемещениипоэкрану,приперекрытииегодругимиокнами).

Примертребованиякконкретномуэлементу.

Кнопка «Начать передачу» должна находиться непосредственно под

строкойменювлевойчастирабочейобластиокна.

ТЕСТИРОВАНИЕ.Необходимоопределить,сохраняетсялирасположениеэлементаприизменении

размераокна,атакжепринажатии.

1.2.ТРЕБОВАНИЯКСОДЕРЖАНИЮИОФОРМЛЕНИЮВЫВОДИМЫХСООБЩЕНИЙ.

Определяюттекстсообщений,выводимыхсистемой,егошрифтовоеицветовоеоформление,атакжеив

какихслучаяхвыводитсятоилииноесообщение.

Пример.

Страница99



Сообщение«Невозможно открыть файл»должновыводитьсявстатусную

строку прижатым к левому краю красным цветом полужирным шрифтом,

еслиоткрываемыйфайлнедоступенпочтению.

ТЕСТИРОВАНИЕ.Необходимопроверить,чтопривозникновенииуказаннойситуациисообщение

выводитсясогласнотребованиям.

Пример.

Сообщенияобошибкахдолжнывыводитьсявстатуснуюстроку,

прижатымиклевомукраюкраснымцветомполужирнымшрифтом.

ТЕСТИРОВАНИЕ.Необходимопроверятьформатывсехвозможныхсообщенийобошибкахпрограммыво

всехвозможныхошибочныхситуациях.

1.3.ТРЕБОВАНИЯКФОРМАТАМВВОДА.

Определяет,вкакомвидеинформацияпоступаетотпользователявсистему.

ТЕСТИРОВАНИЕ.Проверка,каккорректноговводаданных,такинекорректноговводаданных.

1.4.ТРЕБОВАНИЯКРЕАКЦИИСИСТЕМЫНАВВОДПОЛЬЗОВАТЕЛЯ.

Определяетсвязьвнутреннейлогикисистемыиинтерфейсныхэлементов.

Пример.

При нажатии кнопки «Сброс» значение таймера синхронизации передачи

должносбрасыватьсяв0.

ТЕСТИРОВАНИЕ.Втестовомпримеренеобходимосымитироватьнажатиенакнопку“Сброс”,потом

проверитьзначениятаймера.

Примерреакциисистемы.

При нажатии кнопки «Отложенный сброс» должно выводиться окно «Ввод

значениявременидляотложенногосброса».

ТЕСТИРОВАНИЕ.Имитациявводапользователяианализпоявляющихсяинтерфейсныхэлементов.

1.5.ТРЕБОВАНИЯКВРЕМЕНИОТКЛИКАНАКОМАНДЫПОЛЬЗОВАТЕЛЯ.

Операциипродолжительностьюболее1секундыпользователемвоспринимаютсякакдлительные.Система

должнасообщатьпользователюовыполнениикакой‐либооперации,чтобыпользовательнесчитал,что

системазавислаилиработаетвневерномрежиме.

ТЕСТИРОВАНИЕ.Значенияпредельноговременииравномерностьувеличениязначенийиндикатора

прогресса,указывающеговыполнениеоперации.



Страница100



2.ТЕСТОПРИГОДНОСТЬТРЕБОВАНИЙКПОЛЬЗОВАТЕЛЬСКОМУИНТЕРФЕЙСУ.

ТЕСТОНЕПРИГОДНЫЕТРЕБОВАНИЯ–требования,описывающиесубъективныехарактеристики

интерфейса,которыенемогутбытьточноопределеныилиизмереныпривыполнениитестовыхпримеров.

Примертестонепригодноготребования.

Пользовательскийинтерфейсдолженбытьинтуитивнопонятным.

ТЕСТИРОВАНИЕ.Безопределениячеткихкритериевинтуитивнойпонятностипроверкатакоготребования

невозможна.

Примердетерминированногокритерия.

Под интуитивной понятностью интерфейса понимается доступность

любой функции системы при помощи не более чем 5щелчковмышипо

интерфейснымэлементам.

ТЕСТИРОВАНИЕ.Возможнокакручное,такиавтоматизированноетестирование.

Примервероятностногокритерия.

Подинтуитивнойпонятностьюинтерфейсапонимается,чтопользователь

обращаетсякруководствупользователяне чаще,чемразвпятьминутна

этапе обучения и не чаще,чемразв2часанаэтапеактивного

использования системы. Значения должны быть получены на

репрезентативнойвыборкепользователейнеменее1000человек.

ТЕСТИРОВАНИЕ.Естьчеткийкритерий,прииспользованиикоторогорезультатытестированиямогутбыть

воспроизведены.

ПОЛНОТАПОКРЫТИЯПОЛЬЗОВАТЕЛЬСКОГОИНТЕРФЕЙСА

Включаетследующиеуровни:

 функциональноепокрытие–покрытиетребованийкпользовательскомуинтерфейсу;

 структурноепокрытие–каждыйинтерфейсныйэлементдолженбытьиспользованвтестовых

примераххотябыодинраз;

 структурноепокрытиесучетомсостоянияэлементовинтерфейса–каждыйэлементинтерфейса

долженбытьприведенвовсевозможныесостояния(например,длячек‐боксов–отмечен/не

отмечен,дляполейввода–пустое/заполненноенецеликом/заполненноеполностьюит.п.);

 структурноепокрытиесучетомсостоянияэлементовинтерфейсаивнутреннегосостояниясистемы

–каждоеразличимоеповедениеинтерфейсногоэлементадолжнобытьпроверено(например,

системаимеетдварежимаработы–дляначинающегопользователя,споявлениемвсплывающей

подсказкиинормальныйрежим).

Приопределениистепенипокрытияучитывается,чтореакциянанекоторыеинтерфейсныеэлементы

определяетсянепрограммнойсистемой,анауровнеоперационнойсистемы(например,реакцияна

использованиемногихинтерфейсныхэлементовстандартногодиалоговогоокнаоткрытияфайла

определяетсяоперационнойсистемойиможетнетестироваться).