Слукин Сергей. Введение в тестирование программного обеспечения

Подождите немного. Документ загружается.



Введениев

тестирование

программного

обеспечения

Авторскийкурс

СергейСлукин

11.03.2009



Страница2



ОГЛАВЛЕНИЕ

Модуль1:«Введениевтестированиепрограммногообеспечения».....................................................................4

Тестирование.Основныецелиизадачи...............................................................................................................4

Жизненныйциклразработкипрограммногообеспечения.................................................................................6

Ролевойсоставгруппытестирования..................................................................................................................10

Особенностииндустриальноготестирования.....................................................................................................11

Модуль2«Методыивидытестирования».............................................................................................................16

Типыпроцессовтестирования.............................................................................................................................16

Методытестирования...........................................................................................................................................18

Модульноетестирование.....................................................................................................................................19

Интеграционноетестирование.............................................................................................................................22

Системноетестирование......................................................................................................................................26

Модуль3«Тестоваядокументация.Общиесведения».........................................................................................29

Документы,создаваемыепритестировании......................................................................................................29

Документированиеиндустриальноготестирования..........................................................................................31

Модуль4:«Тестовыетребования»..........................................................................................................................36

Анализтестовыхтребованийнадуховойшкаф..................................................................................................38

Модуль5:«Тестовыепримеры(TestCase)»............................................................................................................45

Тестовыетребования–источниктестовыепримеров.......................................................................................45

Типытестовыхпримеров......................................................................................................................................47

Классыэквивалентности.......................................................................................................................................51

Модуль6:«Тестовыепланы(TestPlan)».................................................................................................................55

Тестовыепланы.....................................................................................................................................................55

Тестовыйсценарий................................................................................................................................................58

Использованиетаблиц..........................................................................................................................................59

Конечныйавтомат.................................................................................................................................................66

Модуль7:«Отчетыопрохождениитестов»...........................................................................................................72

Отчетыопрохождениитестов..............................................................................................................................72

Отчетыопроблемах..............................................................................................................................................80

Оценкакачестватестируемогокода.Статистика................................................................................................83

Страница3



Модуль8:«Покрытиепрограммногокода»...........................................................................................................87



Понятиепокрытияпрограммногокода...............................................................................................................87

Отчетыопокрытиипрограммногокода..............................................................................................................91

Модуль9:«Тестированиепользовательскогоинтерфейса».................................................................................97

Целиизадачитестированияпользовательскогоинтерфейса...........................................................................97

Функциональноетестированиепользовательскогоинтерфейса......................................................................97

Тестированиеудобствапользовательскогоинтерфейса.................................................................................103

Модуль10:«Тестированиеобъектно‐ориентированногопрограммногообеспечения».................................105

Объектно‐ориентированноеипроцедурноепрограммирование..................................................................105

Поэлементноетестированиеклассов................................................................................................................108

Примертестированиясистемы..........................................................................................................................112

Модуль11:«Регрессионноетестирование».........................................................................................................122

Целиизадачирегрессионноготестирования...................................................................................................122

Формированиерегрессионногонаборатестов................................................................................................125

Оптимизацияпоследовательноститестовыхпримеров..................................................................................127

Регрессионноетестированиефункциирешенияквадратногоуравнения.....................................................131



Страница4



МОДУЛЬ1:«ВВЕДЕНИЕВТЕСТИРОВАНИЕПРОГРАММНОГООБЕСПЕЧЕНИЯ»

ТЕСТИРОВАНИЕ.ОСНОВНЫЕЦЕЛИИЗАДАЧИ

ВВЕДЕНИЕ

ТЕСТИРОВАНИЕ–процессвыполненияпрограммысцельюобнаруженияфактаналичияошибок.Это

классическоеопределениетестирования,принадлежащееГленфордуМайерсу[Майерс1980].

ТЕСТИРОВАНИЕПРОГРАММНОГОКОДА–процессвыполненияпрограммногокода,направленныйна

выявлениесуществующихвнемдефектов.Поддефектомпонимаетсяучастокпрограммногокода,

выполнениекоторогоприопределенныхусловияхприводиткнеожиданномуповедениюсистемы(т.е.

поведению,несоответствующемутребованиям).

ТЕСТИРОВАНИЕ–одинизнаиболееустоявшихсяспособовобеспечениякачестваразработки

программногообеспечения.

Тестированиеотвечаетнавопрос“Какэтосделано?”или“Соответствуетлиповедениеразработанной

программытребованиям?”

Процесстестированияотноситсякпроверкекорректностипрограммнойреализациисистемы,соответствия

реализациитребованиям,т.е.тестирование–этоуправляемоевыполнениепрограммысцелью

обнаружениянесоответствийееповеденияитребований.

ЦЕЛЬТЕСТИРОВАНИЯ–минимизацияколичествасущественныхдефектоввконечномпродукте.Грамотно

организованноетестированиедаетгарантиютого,что:а)системаудовлетворяеттребованиям;б)система

ведетсебявсоответствиистребованиямивовсехпредусмотренныхситуациях.

ЗАДАЧАТЕСТИРОВАНИЯ–определениеусловий

,прикоторыхпроявляютсядефектысистемыи

протоколированиеэтихусловий.

ОТЛАДКА–этопроцесслокализациииустраненияошибок.

ЗАДАЧАОТЛАДКИ–выявлениеконкретныхдефектныхучастковпрограммногокодаиихисправление,

котороевыполняетсяпорезультатамтестирования.

ОПЕРВОМВЫЛОВЛЕННОМБАГЕ

Накомпьютерномжаргонеошибкавпрограмменазываетсябагом(отанглийскогослова:bug–жучок).

Происхождениеэтоготерминасвязываютсмошкой,извлеченнойв1947годуизрелекомпьютера“МаркII”.

ГрейсМюррейХопперприклеилаеевжурналспримечанием“первыйслучайвыловленногобага”.

СХЕМАПРОЦЕССАТЕСТИРОВАНИЯИОТЛАДКИ

Процессытестированияиотладкисхематическимогутбытьпредставленытак,какпоказанонарис.3.4

[Липаев1986].



Страница5



ТРУДОЗАТРАТЫНАТЕСТИРОВАНИЕ

Какоднаизосновныхфазпроцессаразработкипрограммногопродукта(Дизайнприложения‐Разработка

кода‐Тестирование),тестированиехарактеризуетсядостаточнобольшимвкладомвсуммарную

трудоемкостьразработкипродукта.Широкоизвестнаоценкараспределениятрудоемкостимеждуфазами

созданияпрограммногопродукта:40%‐20%‐40%,Рис.1.1[Котляров2006].



Рис.1.1.Оценкатрудоемкостиобнаруженияиисправленияошибокприсозданиипрограммногопродукта

[Boehm1981].

Задачейближайшегобудущегоявляетсядвижениевсторонутакогораспределениятрудоемкости: 60%‐

20%‐20%,Рис.1.2[Котляров2006].



Страница6



Рис.1.2.Аналогичнаяоценкаприавтоматизациидизайна[Boehm1981].

ОСНОВНЫЕПОНЯТИЯИОПРЕДЕЛЕНИЯ

Соберемвместеосновныепонятияиопределения,связанныеспроцессомтестирования[Майерс1980].

ТЕСТИРОВАНИЕ–процессвыполненияпрограммысцельюобнаруженияфактаналичияошибок.

ТЕСТОВЫЕДАННЫЕ–входы,которыеиспользуютсядляпроверкисистемы.

ТЕСТОВАЯСИТУАЦИЯ(TESTCASE)–входыдляпроверкисистемыипредполагаемыевыходыв

зависимостиотвходов,еслисистемаработаетвсоответствиисееспецификациейтребований.

ХОРОШАЯТЕСТОВАЯСИТУАЦИЯ–ситуация,котораяобладаетбольшойвероятностьюобнаруженияпока

ещенеобнаруженнойошибки.

УДАЧНЫЙТЕСТ‐тест,которыйобнаруживаетпокаещенеобнаруженнуюошибку.

ОШИБКА‐действиепрограммистанаэтаперазработки,котороеприводитктому,чтовпрограммном

обеспечениисодержитсявнутреннийдефект,которыйвпроцессеработыпрограммыможетпривестик

неправильномурезультату.

ОТКАЗ–непредсказуемоеповедениесистемы,приводящеекнеожидаемомурезультату,котороемогло

бытьвызванодефектами,содержащимсявней.

Такимобразом,впроцессетестированияпрограммногообеспечения,какправило,проверяютследующее:

 Проверкатого,чтопрограммноеобеспечениесоответствуеттребованиямнанего.

 Проверкатого,чтовситуациях,

неотраженныхвтребованиях,программноеобеспечениеведет

себяадекватно,тоестьнепроисходитотказсистемы.

 Проверкапрограммногообеспечениянапредметтипичныхошибок, которыеделают

программисты.

ЖИЗНЕННЫЙЦИКЛРАЗРАБОТКИПРОГРАММНОГООБЕСПЕЧЕНИЯ

МОДЕЛИЖИЗНЕННОГОЦИКЛА.

ЖИЗНЕННЫЙЦИКЛПРОГРАММНОГООБЕСПЕЧЕНИЯ–совокупностьитерационныхпроцедур,

связанныхспоследовательнымизменениемсостоянияпрограммногообеспеченияотформирования

исходныхтребованийкнемудоокончанияегоэксплуатацииконечнымпользователем.

Страница7



КАСКАДНЫЙЖИЗНЕННЫЙЦИКЛ

КАСКАДНЫЙЖИЗНЕННЫЙЦИКЛ(ВОДОПАДНЫЙ)основаннапостепенномувеличениистепени

детализацииописаниявсейразрабатываемойсистемы.Каждоеповышениестепенидетализации

определяетпереходкследующемусостояниюразработки(Рис.1)[Синицын2006].



Рис.1Каскаднаямодельжизненногоцикла.

ДОСТОИНСТВОКАСКАДНОГОЖИЗНЕННОГОЦИКЛА–переходкследующемуэтапупроисходиттолько

тогда,когдаполностьюзавершенывсеработыпредыдущегоэтапа.Тоестьсначалаполностьюготовятсявсе

требованияксистеме,затемпонимполностьюготовятсявсетребованиякпрограммномуобеспечению,

полностьюразрабатываетсяархитектурасистемыитакдалеедотестирования.

НЕДОСТАТОККАСКАДНОГОЖИЗНЕННОГОЦИКЛА–вслучаебольшихсистемработанакаждомэтапе

занимаетзначительноевремя,авнесениеизмененийвпервичныедокументылибоневозможно,либо

вызываетлавинообразноеизменениянавсехдругихэтапах.

Дополнительнонеобходимапроцедурапринятиярешения.Еслитестыобнаружилинесоответствие

реализациитребованиям,топричинаможеткрыться:а)внеправильномтесте;б)вошибкекодирования;в)

вневернойархитектуресистемы;г)некорректноститребованийкпрограммномуобеспечениюит.д.Всеэти

случаитребуютанализадляпринятиярешенияотом,накакойэтапжизненногоцикланадовозвратиться

дляустраненияобнаруженногонесоответствия.

V‐ОБРАЗНЫЙЖИЗНЕННЫЙЦИКЛ

Вкачествемодификацииклассическойкаскадноймоделисталаприменятьсямодельжизненногоцикла,

содержащаяпроцессыдвухвидов–основныепроцессыразработки,аналогичныепроцессамкаскадной

моделиипроцессыверификации,представляющиесобойцепьобратнойсвязипоотношениюкосновным

процессам(Рис.2)[

Синицын2006].

Страница8



Рис.2V‐образныйжизненныйцикл.

Такимобразом,вконцекаждогоэтапажизненногоцикларазработки,азачастуюивпроцессевыполнения

этапа,осуществляетсяпроверкавзаимнойкорректноститребованийразличныхуровней.

ДОСТОИНСТВА.Даннаямодельпозволяетболееоперативнопроверятькорректностьразработки.

НЕДОСТАТКИ.Какивкаскадноймоделипредполагается,чтонакаждомэтаперазрабатываются

документы,описывающиеповедениевсейсистемывцелом.

СПИРАЛЬНЫЙЖИЗНЕННЫЙЦИКЛ

Обарассмотренныхвышетипажизненныхцикловпредполагают,чтозаранееизвестнывсетребования

пользователейилипредполагаемыепользователисистемымогутвысказыватьсвоитребованиякбудущей

системе,невидяеепередглазами.Решение,исправляющееосновнойнедостатокV‐образногожизненного

цикла,–накаждомэтаперазрабатываетсякакбыполноеописаниесистемы,чтоиреализованов

спиральноймоделижизненногоцикла(Рис.3)[Синицын2006].



Рис.3Спиральныйжизненныйцикл.

ВСПИРАЛЬНОЙМОДЕЛИразработкасистемыпроисходитповторяющимисяэтапами–витками

СПИРАЛИ.Каждыйвитокспирали–одинкаскадныйилиV‐образныйжизненныйцикл.Вконцекаждого

виткаполучаетсязаконченнаяверсиясистемы,реализующаянекоторыйнаборфункций.

Страница9



Затемонапредъявляетсяпользователю,наследующийвитокпереноситсявсядокументация,

разработаннаянапредыдущемвитке,ипроцессповторяется.Такимобразом,системаразрабатывается

постепенно,проходяпостоянныесогласованиясзаказчиком.Накаждомвиткеспиралифункциональность

системырасширяетсяпостепенно,дорастаядополнойфункциональности.

ЭКСТРЕМАЛЬНОЕПРОГРАММИРОВАНИЕ

Длясистем,требованияккоторымизменяютсячасто,необходимобылоещебольшеуменьшить

длительностьвиткаспиральногожизненногоцикла.Всвязисэтимсталипопулярнымибыстрыежизненные

циклыразработки,напримержизненныйциклвметодологииeXtremeProgramming(XP).

ОСНОВНАЯИДЕЯЖИЗНЕННОГОЦИКЛА(XP)–максимальноеукорачиваниедлительностиодногоэтапа

жизненногоциклаитесноевзаимодействиесзаказчиком.Накаждомэтапепроисходитреализацияи

тестированиеоднойфункциисистемы,послезавершениякоторых,системасразупередаетсязаказчикуна

проверкуилиэксплуатацию.

ОСНОВНАЯПРОБЛЕМАДАННОГОПОДХОДА–интерфейсымеждумодулями,реализующимиэту

функцию.Есливовсехпредыдущихтипахжизненногоциклаинтерфейсыдостаточночеткоопределяютсяв

самомначалеразработки,посколькузаранееизвестнывсемодули,топриэкстремальномподходе

интерфейсыпроектируютсяна“лету”,вместесразрабатываемымимодулями.

СРАВНЕНИЕРАЗЛИЧНЫХТИПОВЖИЗНЕННОГОЦИКЛА

Особенностирассмотренныхвышетиповжизненногоцикласведенывтаблицу1[Синицын2006].

Различныетипыжизненныхцикловприменяютсявзависимостиотпланируемойчастотывнесения

измененийвсистему,сроковразработкииеесложности.Жизненныециклысболеекороткимифазами

большеподходятдляразработкисистем,требованияккоторымещенеустоялисьивырабатываютсяво

взаимодействиисзаказчикомсистемывовремяееразработки.

Таблица1.Сравнениеразличныхтиповжизненногоцикла

Типжизненного



цикла

Длинацикла



Верификацияивнесение



изменений

Интеграцияотдельных



компонентсистемы

Каскадный Всеэтапы

разработки

системы.

Длинный

Вконцеразработкивсей

системы.

Редко.

Четкоопределенныедо

началакодирования

интерфейсы.

V‐образный Всеэтапы

разработки

системы.

Длинный

Вконцеполнойразработки

каждогоизэтаповсистемы.

Средне.

Редкоизменяемые

интерфейсы.

Спиральный Разработкаодной

версиисистемы.

Средний.

Вконцеразработкикаждого

изэтаповверсиисистемы.

Средне.

Периодическиизменяемые

интерфейсы,редкоменяемые

впределахверсии.

XP Разработкаодной

истории.

Короткий.

Вконцеразработкикаждой

истории.

Оченьчасто

Частоизменяемые

интерфейсы.

Страница10



РОЛЕВОЙСОСТАВГРУППЫТЕСТИРОВАНИЯ

Когдапроектнаякомандавключаетболеедвухчеловек,неизбежновстаетвопросораспределенииролей,

правиответственностивкоманде.Практическивлюбомколлективеразработчиковможновыделить

перечисленныенижероли.Некоторыеизнихмогутвовсеотсутствовать,приэтомотдельныелюдимогут

выполнятьсразунесколькоролей,однакообщийсоставменяетсямало.

ЗАКАЗЧИК(ЗАЯВИТЕЛЬ)–представительорганизации,заказавшейразрабатываемуюсистему.Обычно

заказчикобщаетсятолькосменеджерамипроектаиспециалистомпосертификациииливнедрению.

Заказчикимеетправоизменятьтребованиякпродукту(привзаимодействиисменеджерами),читать

проектнуюисертификационнуюдокументацию,затрагивающуюнетехническиеособенности

разрабатываемойсистемы.

МЕНЕДЖЕРПРОЕКТА–обеспечиваетсвязьмеждузаказчикомипроектнойгруппой.Менеджерпроекта

управляетожиданиямизаказчика,разрабатываетиподдерживаетбизнес‐контекстпроекта.Егозадача–

определитьиобеспечитьтребованиязаказчика.Менеджерпроектаимеетправоизменятьтребованияк

продуктуифинальнуюдокументациюнапродукт.

МЕНЕДЖЕРПРОГРАММЫ–обеспечиваетсвязьвнутрипроектнойгруппы,разрабатывает

функциональныеспецификациииуправляетими,ведетграфикпроектаиотчитываетсяпосостоянию

проекта,инициируетпринятиекритичныхдляходапроектарешений.Менеджерпрограммыимеетправо

изменятьфункциональныеспецификацииверхнегоуровня,план‐графикпроекта,распределениересурсов

позадачам.Частонапрактикерольменеджерапроектаименеджерапрограммывыполняетодинчеловек.

РАЗРАБОТЧИК–принимаеттехническиерешения,которыемогутбытьреализованыииспользованы,

создаетпродукт,удовлетворяющийспецификациямиожиданиямзаказчика.Онучаствуетвобзорах,

реализуетвозможностипродукта,участвуетвсозданиифункциональныхспецификаций,отслеживаети

исправляетошибки.Разработчикимеетдоступковсейпроектнойдокументации,включаядокументациюпо

тестированию,имеетправонаизменениепрограммногокодасистемыврамкахсвоихслужебных

обязанностей.

СПЕЦИАЛИСТПОТЕСТИРОВАНИЮ–определяетстратегиютестирования,тестовыетребованияи

тестовыепланыдлякаждойизфазпроекта,выполняеттестированиесистемы,собираетианализирует

отчетыопрохождениитестирования.Вреальностирольспециалистапотестированиючасторазбиваетсяна

две–разработчикатестовитестировщика.Тестировщиквыполняетвсеработыповыполнениютестови

сборуинформации,разработчиктестов–всюостальнуючастьработы.

СПЕЦИАЛИСТПОКОНТРОЛЮКАЧЕСТВА–осуществляетвзаимодействиесразработчиком,менеджером

программыиспециалистамипобезопасностиисертификациисцельюотслеживанияцелостнойкартины

качествапродукта,егосоответствиястандартамиспецификациям,предусмотреннымпроектной

документацией.Контролькачестваподразумеваетвпервуюочередьконтрольсамихпроцессовразработки

ипроверкуихсоответствияопределеннымвстандартахкачествакритериям.

СПЕЦИАЛИСТПОСЕРТИФИКАЦИИ.Приразработкесистемсповышеннымитребованияминадежности

требуетсясертификациясистемысостороныуполномоченногооргана(обычногосударственного)по

соответствиюэксплуатационныххарактеристиксистемызаданнымкритериям.Специалистпосертификации

приводитдокументациюнапрограммнуюсистемувсоответствиетребованиямсертифицирующегооргана,

либоучаствуетвпроцессесозданиядокументациисучетомэтимтребованиям.Специалистпо

сертификацииответственензавсевзаимодействиемеждуколлективомразработчиковисертифицирующим

органом

.Специалистпосертификациинезависимотпроектнойгруппынавсехэтапахсозданияпродукта.

Взаимодействиеспециалистасчленамипроектнойгруппыограничиваетсяменеджерамипопроектуипо

программе.