Стратегия тестирования REST API — уровни, задачи, инструменты, метрики и автоматизация в CI/CD.
1) Unit-тесты
- Цель: проверка логики контроллеров/сервисов/валидаторов в изоляции (без реальных БД/сервисов).
- Объём: валидация входов, обработка ошибок, бизнес-правила, сериализация/десериализация.
- Инструменты: JUnit/TestNG + Mockito (Java), pytest + unittest/mock (Python), Jest (Node.js). Для HTTP-слоёв — REST-assured, supertest (Node).
- Метрики/покрытие: покрытие кода (line/branch) — целевой порог, например $\ge 80\%$. Тесты должны быть быстрые (<100 ms\) на тест).
- CI/CD: запуск в каждом PR; отчёты coverage (Cobertura/Codecov); отказ сборки если покрытие < порога. Пример правила: fail if coverage < $80\%$.
2) Интеграционные тесты
- Цель: проверка взаимодействия контроллеров с БД, кэшом, внешними сервисами в реальной/контейнирной среде.
- Объём: реальные SQL-запросы, миграции, контрактные сценарии end-to-end между компонентами.
- Инструменты: Testcontainers, Docker Compose, Spring Boot Test, pytest + docker-compose, WireMock/MockServer (для стабов внешних API).
- Метрики: процент успешных интеграций $\text{success rate}=\frac{\text{successes}}{\text{total}}\times 100\%$. Цель: $\ge 98\%$ прохождения. Время выполнения набора интеграционных тестов — целевой предел, например <5 min\) в CI для быстрых наборов.
- CI/CD: запуск в pipeline после unit-тестов; использовать ephemeral контейнеры; откатать базу миграциями; очищать данные; Parallelize (параллельные job'ы) для ускорения. Статусы публиковать в CI (JUnit XML).
3) Контрактные тесты (API Contract)
- Цель: гарантировать, что контракты между consumer и provider стабильны; предотвращать регрессии в API и в клиентах.
- Подходы: Consumer-Driven Contracts (Pact), Schema validation (OpenAPI/JSON Schema), интеграция с CI.
- Инструменты: Pact (Pact JVM/Pact JS), Dredd (OpenAPI -> тесты), Schemathesis (property-based для OpenAPI), Swagger/OpenAPI Validator.
- Метрики/валидаторы: успешное прохождение контрактов $100\%$. Версионность схем: семантическое сравнение схем, подсветка breaking changes.
- CI/CD: при PR provider запускает проверку всех pacts от consumers; при нарушении — fail PR. Хранить пacts в Pact Broker или как артефакты. Автоматически публиковать успешные проверки в broker.
4) Нагрузочные/стресс-тесты
- Цель: проверка производительности, устойчивости, масштабируемости и определения SLA.
- Сценарии: пиковая нагрузка, устойчивость под ошибками, тесты долговременной нагрузки (soak).
- Инструменты: k6 (скрипты JS), Gatling, JMeter, Locust. Интеграция с Prometheus + Grafana для метрик, Jaeger/Zipkin для трейсинга.
- Ключевые метрики:
- Throughput (RPS): $\text{RPS}$
- Латентности: медиана $p50$, $p95$, $p99$, например $p95<500\mathrm{ms}$, $p99<2\mathrm{s}$.
- Error rate: $\text{error rate}=\frac{\text{failed requests}}{\text{total requests}}\times 100\%$ — цель \<1\%\).
- Resource usage: CPU, memory, GC, latency under load.
- Availability/SLAs: e.g. uptime $\ge 99.9\%$.
- CI/CD: запуск нагрузочных тестов в pipeline ограниченно (nightly, pre-prod), не на каждом PR; автоматическая сборка отчётов (Grafana dashboards, k6 summary, JTL), сравнение с baseline; fail pipeline при нарушении порогов (например error rate > 1\% или $p95>500\mathrm{ms}$).
5) Проверки безопасности и устойчивости
- Тесты: авторизация/аутентификация, rate limiting, IDS/IPS, тесты на утечки (SQLi, XSS) — инструменты OWASP ZAP, Burp.
- CI/CD: сканирование в nightly или pre-release, fail on critical vuln.
6) Cross-cutting: тестовые данные, окружения, мокинг
- Изолированные env: unit — нет внешних ресурсов; integ — ephemeral БД; contracts — mock/stub provider/consumer; load — staging, production-like infra.
- Использовать миграции (Flyway/Liquibase), seed data, fixtures; управлять секретами через CI secret store.
- Mocking: WireMock/Testcontainers для реальных контрактов; переключаемые конфиги (feature flags).
7) Автоматизация в CI/CD (общий поток и правила)
- Пайплайн-рубрика (пример последовательности):
1) Static analysis + lint + schema validation (OpenAPI).
2) Unit-тесты + coverage (fast). Gate: coverage $\ge 80\%$.
3) Contract tests (validate against stored pacts/OpenAPI). Gate: no breaking changes.
4) Integration tests (use Testcontainers, ephemeral DB). Gate: success rate $\ge 98\%$.
5) (Optional) E2E tests against staging. Gate: success $\ge 95\%$.
6) Nightly/Pre-release load & security tests; publish reports. Gate: performance thresholds (e.g. $p95<500\mathrm{ms}$, error rate \< 1\%\).
- CI tools: GitHub Actions, GitLab CI, Jenkins, Azure DevOps. Запускать heavy-тесты в отдельном pipeline или scheduled jobs.
- Gate logic: в CI добавить шага проверки метрик (плагин/скрипт парсит отчёты и сравнивает с порогами), при нарушении — автоматическое блокирование merge и уведомления.
8) Отчётность и мониторинг тестов
- Хранить артефакты тестов: junit XML, coverage reports, load test summaries, pact reports.
- Dashboards: Grafana отображает RPS/latency/error rate; сравнение с предыдущими прогонами (regression detection).
- Alerts: автоматические уведомления при регрессиях (Slack/Email), автоматические тикеты при критичных провалах.
9) Практические рекомендации и SLA-примеры
- Контрактная публикация: publish pacts on merge to main; consumer CI runs pact verification against latest provider build.
- Частота нагрузочных тестов: nightly + before major release.
- Примеры порогов (настраиваемые под продукт):
- Coverage: $\ge 80\%$
- Integration success rate: $\ge 98\%$
- Error rate under load: \< 1\%\)
- Latency: $p95<500\mathrm{ms}$, $p99<2000\mathrm{ms}$
- Availability SLA: $\ge 99.9\%$
10) Короткая сводка по инструментам (быстро):
- Unit: JUnit/pytest/Jest + Mockito.
- Integration: Testcontainers, Docker Compose, WireMock.
- Contract: Pact, Dredd, Schemathesis, OpenAPI Validator.
- Load: k6, Gatling, JMeter, Locust.
- Observability: Prometheus, Grafana, ELK, Jaeger.
- CI: GitHub Actions/GitLab CI/Jenkins.
Заключение (одно предложение): автоматизируйте быстрые тесты в каждом PR, контрактные проверки при merge, интеграционные и нагрузочные — в staging/nightly pipelines, и используйте пороговые критерии (как выше) для автоматического пропуска/блокировки релизов.