Составление отчета о тестировании iOS-приложения

Учитывая достаточно большое количество одновременно разрабатываемых в high!glossy digital media solutions проектов, новые сборки появляются несколько раз в неделю, и, конечно же, все их необходимо тщательно тестировать. Процесс этот у нас построен достаточно прямолинейно и очевидно — на все устройства устанавливается текущая сборка, тестировщик тщательно ее исследует и готовит список обнаруженных багов, который затем превращается в Issues на GitHub либо задачи в TeamLab. Самым проблемным в этой цепочке был процесс превращения списка найденных ошибок в задачи для разработчика — тестировщик по большей части готовил отчет в свободной форме, в результате чего периодически терялась последовательность воспроизведения багов, указание рассматриваемой платформы или другие важные параметры. В качестве решения этой проблемы на скорую руку был подготовлен шаблон отчета о тестировании сборки приложения.


С примером такого отчета можно ознакомиться здесь. Расскажу подробнее про его структуру:

ID
Порядковый номер найденного бага.

Критичность
Приблизительная оценка критичности найденного бага по десятибалльной шкале.
Примеры:

  • 10/10 – вылет при старте приложения,
  • 1/10 – Текст не выровнен относительно изображения.

Воспроизводимость
Приблизительная оценка частоты проявления найденного бага.
Примеры:

  • Иногда,
  • Всегда.

Платформа
Указывается устройство, на котором была обнаружена ошибка, и версия установленной iOS.
Примеры:

  • iPad 3 iOS 7.1.1,
  • iPhone 5s iOS 8.0.

Краткое описание
Описание сути найденного бага длиной не более одного предложения.
Примеры:

  • Замедление работы при большом количестве слов в обучении,
  • Не сбрасывает значение изученных слов на графике.

Полное описание
Максимально подробное описание найденного бага.
Примеры:

  • Приложение начинает тормозить при прохождении полного теста, когда отвечаем на вопрос от 100 и далее. Так же наблюдаются задержки при Обучении слов, когда изучаем подряд 200 и более слов. Задержки от 2 (на 100-ом слове) до 4-5 секунд (в конце теста).

Шаги воспроизведения
Полное перечисление всех шагов, которые ведут к срабатыванию найденной ошибки.
Примеры:
1. Экран «Команда»
2. Выбор любого игрока
3. Нажатие на фотографию игрока
4. Фотография не загружается

Дополнительная информация
Сюда включаются ссылки на скриншоты, видео, логи и прочие сопутствующие файлы.
Примеры:

  • См. скриншот 5,
  • См. скриншоты 1-1 и 1-2.

Конечно, вместо составления отчетов и последующего переноса их содержания в TeamLab или GitHub, гораздо лучше было бы использовать для этих целей отдельный баг-трекер — но пока что приходится обходиться такой системой. В любом случае, наличие такого отчета позволяет трезво оценить степень готовности приложения и качество работы программистов.