Кратко и по делу: перечисляю уровни тестирования с ключевыми проверками, метрики качества (с формулами) и схему автоматизации.
Уровни тестирования (что проверять и примерные сценарии)
- Unit (модульные)
- Контроль арифметики: функции округления, суммирования, процентных расчётов, дисконтирования.
- Граничные значения: ноль, отрицательные, очень большие и очень малые числа, NaN/Inf.
- Режимы округления и масштабы (scale): проверять все поддерживаемые режимы.
- Поведение при неверном вводе — исключения/валидаторы.
- Примеры: расчёт процентов для сумм $0$, $10^{-12}$, $10^{12}$.
- Integration (интеграционные)
- Взаимодействие с форматерами валют, конвертацией, датами (учёт високосных годов, календарных правил).
- Сравнение с эталоном (arbitrary‑precision библиотека) для типичных сценариев.
- System / End-to-end
- Полные бизнес‑процессы: расчёт платежей по графику, начисление процентов, налоговые удержания.
- Проверка локализации и разных округлений в UI/экспортах.
- Regression
- Набор «золотых» кейсов (golden master) для финансовых результатов.
- Property‑based / Fuzzing
- Свойства: монотонность при увеличении базовой суммы, инвариант суммирования с заданным округлением и т.д.
- Фаззинг входных строк/форматов и генерация случайных наборов для устойчивости парсинга.
- Performance / Stress
- Пропускная способность и латентность при массовых расчётах.
- Нагрузочные тесты на память/утечки при долгом исполнении.
- Stability / Chaos
- Тесты с прерываниями, сетевыми ошибками, нестабильными зависимостями (для интеграций).
- Security / Validation
- Валидация ввода, защита от инъекций (если есть выражения), контроль переполнений.
Ключевые тестовые группы (внутри уровней)
- Базовые арифметические тесты, регрессионные «золотые» примеры.
- Тесты на числовую устойчивость: последовательное применение операций vs свёртка.
- Кросс‑платформенные тесты (разные архитектуры/локали/языки).
- Проверка поведения при смене масштабов/валют.
Метрики качества (с формулами)
- Абсолютная погрешность: $\text{abs\_err}=|x_{\text{calc}}-x_{\text{ref}}|$.
- Относительная погрешность: $\text{rel\_err}=\frac{|x_{\text{calc}}-x_{\text{ref}}|}{|x_{\text{ref}}|}$ (при $x_{\text{ref}}\ne 0$).
- RMS ошибка по набору: $\text{RMS}=\sqrt{\frac{1}{n}{\sum }_{i=1}^n(x_i^{\text{calc}}-x_i^{\text{ref}}{)}^2}$.
- Процент соответствующих результатов: $\%\text{within tol}=\frac{\#\{i:{\text{abs\_err}}_i\le \epsilon \}}{n}\times 100\%$.
- Пороговые требования (примерные; подберите под домен):
- максимальная абсолютная погрешность ${\epsilon }_{\text{abs}}\le 10^{-9}$,
- относительная погрешность для ненулевых значений ${\epsilon }_{\text{rel}}\le 10^{-12}$,
- доля кейсов внутри допусков: $\%\text{within tol}\ge 99.9\%$.
- Производительность:
- Средняя латентность ${\mu }_t$, P95/P99 ($t_{95},t_{99}$).
- Пропускная способность (TPS).
- Надёжность/качество тестов:
- Покрытие кода (line/branch) — целевой минимум, например $\ge 80\%$.
- Mutation score (качество тестов на обнаружение ошибок).
- Текучесть тестов: время обнаружения/исправления дефекта (MTTD/MTTR).
Как проверять точность: эталон
- Сравнивать с высокоточной библиотекой (BigDecimal/decimal с расширенной точностью) или аналитическим решением.
- Использовать сравнительный тест «reference vs implementation» и регистрировать max/avg/percentile ошибок.
Организация автоматизации
- CI‑pipeline (стадии и приоритеты)
- Pre‑merge (быстрые): статический анализ, линтер, unit tests, property tests на малых выборках.
- Post‑merge / nightly: интеграционные тесты, расширенные property/fuzzing, performance smoke.
- Release / pre‑prod: полный regression suite + стресс‑тесты + кросс‑платформенные прогоны.
- Параллелизация и распределение:
- Разделять тесты по скорости; тяжёлые тесты запускать в отдельных джобах/раннер‑ах.
- Среды и воспроизводимость:
- Контейнеры (Docker) с фиксированными зависимостями и параметрами локали/режима округления.
- Фиксированные random seed для детерминированных тестов; при fuzzing логировать seed для воспроизведения.
- Хранение артефактов и данных:
- Логирование сравнительных результатов и «золотых» данных в артефактный хранилище.
- Версионирование тестовых наборов и эталонов.
- Мониторинг тестовой эффективности:
- Дашборды (Grafana/Prometheus) для метрик ошибок, латентности, процента прохождения тестов, покрытия.
- Работа с флаки:
- Автоматический ретрай для единичных флаппингов, но при частых флаппах — помещать в quarantine и заводить баг.
- Инструменты и подходы
- Unit: xUnit, parametrized tests.
- Property‑based: Hypothesis (Python), QuickCheck/ScalaCheck.
- Fuzzing: AFL/libFuzzer или специализированные для парсеров.
- Performance: JMeter, Gatling, Benchmarks (microbenchmarks).
- Mutation testing: Stryker/Mutmut.
- Контроль качества тестового кода:
- Code review тестов, метрики покрытия и mutation score в CI.
- Документы и операции
- Матрица тестовых сценариев с приоритетами (P0..P3).
- План запуска: быстрые тесты на PR, полный прогон на nightly, критические перед релизом.
- Регулярные ревью допусков и порогов ошибок совместно с бизнесом.
Практические рекомендации (коротко)
- Всегда хранить эталонные результаты и точные входные значения.
- Использовать decimal/fixed‑point для валют, не доверять бинарному double для фин. расчётов.
- Писать property‑tests про ожидаемые инварианты (монотонность, масштабируемость).
- Автоматизировать регрессии и производственные сигналы (напр., калькулятор в prod vs в staging).
Если нужно, могу собрать конкретный CI‑workflow (пример задач/инструментов) или набор тест-кейсов для типичных финансовых операций.