УПС! Что-то пошло не так

Simple Wine — компания, входящая в группу Simple. Simplewine.ru — интернет-витрина, на которой собраны 3500 наименований вин из Старого и Нового Света и крепких напитков. На сайте представлен весь ассортимент вин и крепких напитков, а также сопутствующих продуктов и аксессуаров.Simple Wine — компания, входящая в группу Simple. Simplewine.ru — интернет-витрина, на которой собраны 3500 наименований вин из Старого и Нового Света и крепких напитков. На сайте представлен весь ассортимент вин и крепких напитков, а также сопутствующих продуктов и аксессуаров.

Запрос

Заказчик обратился к команде AWG за услугами по внедрению и настройке инструмента по автоматизированному тестированию и проведения ряда автотестов сайта.

На этапе обращения в компании:

• не было ручного тестировщика;
• отсутствовали тест-кейсы и чек-листы;
• не было автоматизации;
• ручное тестирование было встроено в процесс разработки сайта и приложения только на уровне статусов задачи;
• в постановке задач не были описаны функциональные требования.

Цели и задачи

Цель — внедрить и настроить инструмент по автоматизированному тестированию, провести несколько видов автотестов сайта и приложения заказчика.

Основные задачи команды AWG:

1. Провести регрессионное тестирование (выявляет ошибки после внесения изменений в продукт).
2. Провести функциональное тестирование (проверяются реализуемые функциональные требования в рамках одной задачи).
3. Провести нагрузочное тестирование.
4. Описать критическую дорогу пользователя — наиболее важный путь, влияющий на финансовые показатели продукта и лояльность к нему.
5. Сократить время прохождения регрессионного тестирования до 16 раз.
6. Поддерживать актуальность автотестов и развивать их.
7. Внедрить процесс описания функциональных требований (тест-кейсов) в разработку.
8. Уберечь весь проект от появления новых дефектов при внесении локальных изменений.
9. Повысить общее качество продукта при существенном сокращении времени внедрения нового функционала.
10. Реализация.

Реализация

На первом этапе проекта команде AWG необходимо было закрыть критические задачи по тестированию нового функционала заказчика как на сайте, так и в приложении. После этого была описана критическая дорога пользователя и основной набор тестовых сценариев, который проверяет основную массу требований к продукту (меню, фильтры, карточки товаров, оформление заказа и т.д). Параллельно был развернут TestRail и описано более 200 тест-кейсов. Они были сгруппированы по функционалу и полностью описывали каждый шаг и ожидаемый результат.

Также специалисты AWG создали фреймворк, позволяющий запускать автотесты и собирать отчетность об их выполнении, в том числе и в формате видео. Создание фреймворка дало возможность быстро тестировать критическую дорогу на боевом стенде после внесения изменений в продукт. Выполнение сценариев происходит в «чистом» браузере, таким образом, исключены ошибки кэша и старых стилей и скриптов. Тесты имитируют с помощью сценариев работу реального пользователя — клик, выбор, переход. При этом автоматизация позволяет увеличить количество одновременных тестов и экономит время на проверку.

Также команда AWG провела ряд нагрузочных автотестов — в инструменте можно эмулировать ожидаемую нагрузку, и теперь заказчик может быть уверен в том, что при значительном росте трафика продукт выдержит нагрузку.

В реализации проекта был использован стек технологий Java, Maven, Selenide, Allure 2. На серверах заказчика была развернута инфраструктура для запуска тестов и просмотра отчетности. Также наша команда написала инструкции и рекомендации по внедрению систем автоматизированного тестирования в существующий процесс разработки.

Команда

• Руководитель проекта
• Разработчики
• Тестировщики

Результат

В рамках проекта команде AWG необходимо было отследить как новый функционал повлияет на ранее интегрированные элементы с помощью проведения автотестов. Автоматизированное тестирование позволяет найти ошибки после обновлений продукта всего за 25 минут, при этом при проведении ручного тестирования проверка целостности всей системы занимает 8 часов. И имея одного специалиста, выделить столько времени на полную системную проверку после каждого релиза невозможно.

Кроме того, внедрение инструмента автоматизированного тестирования позволило исключить человеческий фактор — выполняемые тест-скрипты не допускают ошибки, что гарантирует качественную проверку.

Благодаря внедрению автоматизированного тестирования специалистам AWG удалось значительно сократить время на выполнение проверки. При этом по окончании процесса создается полная отчетность — автоматически формируемые и сохраняемые отчеты о результатах (есть ссылки на тест-кейсы и на видео, а также обработанные сообщения об ошибках).

Внедрение автоматизированного тестирования позволило:

• точно оценить объем необходимой автоматизации;
• повысить качество разработки — потенциальные ошибки выявляются на этапе написания тест-кейсов к новому функционалу;
• повысить скорость и эффективность ручного тестирования с помощью чек-листов;
• оперативно выявлять ошибки еще до передачи задачи в тестирование, что увеличивает качество продуктов и минимизирует риски для бизнеса;
• уменьшить срок поставки нового функционала до конечного пользователя;
• не останавливать тестирование продукта даже при условии, что ответственный человек заболел или уволился;
• организовать быстрый онбординг тестировщиков.