Например, один человек отвечает за непосредственно тестирование, а другой за анализ проведенных действий, и также он в какой-то мере контролирует/направляет действия первого. Зная эту информацию мы можем воспользоваться опцией /r , которая позволит пикту минимизировать кол-во тестов, не теряя при этом в тестовом покрытии. Запустите инструмент с этим флагом несколько раз и выберите тот набор, где количество тестов минимальное. Несмотря на то, что пикт, итак, сократил нам время на тестирование, некоторым этого может показаться мало. Для таких жадин существует возможность еще больше сократить количество кейсов, не сильно во вред покрытию. Здесь я просто буду стараться структурировать как можно более полный охват данных из разных источников (чтобы по теории все основное было сразу в одном месте, и новичкам, например, было легче ориентироваться).
Техника основана на том, что 99,9…% дефектов возникают при взаимодействии не более двух факторов одновременно. Результат работы приложения зависит от многих факторов, например, входных параметров, переменных состояний и конфигураций среды. Для определения возможных значений могут быть полезны такие техники, как анализ граничных значений и использование классов эквивалентности. Однако тестировать все возможные комбинации значений для всех факторов — непрактично.
Тест-дизайн. Техника попарного тестирования
Из тестовых сценариев, сгруппированных по некоему признаку (например, тестируемой функциональности), получаются некоторые наборы. Они могут быть как зависящими от последовательности выполнения (результат выполнения предыдущего является предварительным условием для следующего для Test script), так и независимыми (Test suite). Парное тестирование, также известное как Тестирование всех пар, – это подход к тестированию программного обеспечения с использованием комбинаторного метода. Это метод для проверки всех возможных дискретных комбинаций параметров.
Мы получили 8 уникальных комбинаций для выборки из 96 комбинаций. Вот как метод парного тестирования сокращает количество тестовых случаев без ущерба для тестового покрытия. Одно из основных преимуществ pairwise тестирования заключается в его эффективности. Согласно исследованиям, большинство ошибок в программном обеспечении обычно находятся в пределах взаимодействия двух компонентов.
Метод попарного тестирования
Если мы их добавим, то в результате использования метода можем получить кейс в котором на нулевом объёме данных будет проверяться к примеру пара Файловой системы ISO и начала мультисесии. В результате, успешно убедившись в корректной обработке попытки записи пустого диска, мы упустим проверку пары ISO-начать мультисесию. При попарном тестировании создание и анализ тестовых сценариев является менее сложным, чем при использовании тройного или более сложных комбинаций.
Теперь идея состоит в том, чтобы сократить количество тестовых случаев. Сначала мы попытаемся выяснить количество случаев, используя традиционную методику тестирования программного обеспечения. Мы можем рассматривать значения списка как 0, а другие как 0 не является ни положительными, ни отрицательными. Значения переключателей и флажков не могут быть уменьшены, поэтому каждая из них будет иметь 2 комбинации (ВКЛ или ВЫКЛ).
ЧТО ТАКОЕ СКВОЗНОЕ (E2E) ТЕСТИРОВАНИЕ? ПОДРОБНОЕ РУКОВОДСТВО
Следовательно, нам надо поменять местами последний набор значений в четвертом столбце. Сегодня мы поговорим об еще одной технике составления тестов — техника попарного тестирования (не путать с парным тестированием) или, как ее еще называют, Pairwise testing. Тестировщик управляет мышью и клавиатурой, пишет и выполняет тесты. Разработчик надзирает и руководит процессом, задает вопросы, дает подсказки, предлагает идеи по дизайну, и фиксирует текущие результаты сессии. Метод парного тестирования основан на довольно простой, но от того не менее эффективной идее, что подавляющее большинство багов выявляется тестом, проверяющим один параметр, либо сочетание двух. Однако попарное тестирование имеет некоторые недостатки, которые стоит учитывать.
Поэтому метод следует использовать лишь на стабильном функционале, когда текущие тесты уже теряют свою эффективность. Как видно из примера выше, оптимизация даже такого малого набора параметров не так проста как могло бы показаться. При этом сложность задачи возрастает пропорционально росту числа параметров. Научиться всем методам и нюансам тестирования вы сможете на наших курсах QA.
Утилиты для автоматизации pairwise testing
Вы наверняка обратили внимание, что параметр «Скорость записи» имеет значения, недопустимые для “DVD”, как же быть?. У этой маленькой задачки, есть несколько вариантов решения, попарное тестирование одно из которых – это разделить таблицу на две. Стоит учитывать, что на практике параметров в этом сценарии гораздо больше, и несостыковок, было бы значительно больше.
- Техника попарного тестирования очень помогает при разработке тестов для приложений, включающих множество параметров.
- Техника известна уже больше 20 лет, но только последние 5 лет мы можем наблюдать ее активное использование.
- В таких случаях может потребоваться использование других методов, таких как тестирование с покрытием утверждений или мутационное тестирование.
- Прежде чем приступить к выполнению парного тестирования, давайте посмотрите, как мы комбинируем входные наборы.
- Тогда сессия парного тестирования сэкономит много времени и усилий команды.
Готовые решения в разработке, менеджменте, тестировании, DataScience, UX и прочем.
Регресс с PICT (Seeding)
Оно не подходит для тестирования взаимодействия более чем двух параметров. При выборе метода тестирования важно понимать, почему именно попарное тестирование так популярно и почему другие методы, как, например, тройное или более сложные комбинации, не применяются так широко. Это методика, при которой два сотрудника компании работают вместе на одном компьютере, при этом делятся идеями, обсуждают тестируемый софт и пишут тестовые сценарии, делают заметки и репорты. Методика является как бы «продолжением и дополнением» парного программирования, когда два разработчика пишут код, сидя за одним компьютером.
Подводя итоги: стоит ли использовать попарное тестирование?
Также эта методика, в сути своей экспериментальная, не может выступать в качестве «быстрого заменителя» других, фундаментальных типов и этапов тестирования. После завершения сессии результаты вводятся в баг-трекинговую систему, или же фиксируются в менее формальном виде, но в любом случае фиксируются. Это методика даст хороший результат, когда в компании есть сложившиеся команды эффективных профессионалов, неконфликтных и умеющих в коллаборацию. Парное тестирование чаще довольно-таки неформальный, спонтанный процесс (что не мешает создавать заметки и какую-то промежуточную документацию).