План автоматизации + проверки качества и возможные источники ошибок.
План автоматизации (шаги)
1. Сбор и инвентаризация данных
- Источники: LiDAR (ALS/MLS/UAV), фотограмметрия (dense cloud), RGB/RTK/GNSS, мультиспектр.
- Проверка метаданных: точность позиционирования, плотность точек, время съёмки.
2. Предобработка и геопривязка
- Блоки: фильтрация выбросов (Statistical Outlier Removal), регистрация/слияние облаков (ICP/RANSAC), привязка к CRS.
- Нормализация высот (height above ground) — построение цифровой модели рельефа (DTM) и вычисление нормализованной высоты $z_{norm}=z-DTM(x,y)$.
3. Очистка и ресемплинг
- Удаление шумов, коррекция плотности (VoxelGrid downsampling), восстановление пробелов (interpolation при необходимости).
- Рекомендации по плотности: для деревьев/детальной вегетации $\ge 8{\text{точек/м}}^2$, для общих задач инфраструктуры $\ge 4{\text{точек/м}}^2$.
4. Обогащение признаками (feature engineering)
- Геометрические: нормали, кривизна, планарность, высотные перцентайлы, плотность в окне.
- Радиометрические/цветовые: RGB, интенсивность, мультиспектральные индексы.
- Локальные дескрипторы: FPFH, eigenvalue‑based features; многомасштабные признаки.
5. Разметка и подготовка обучающей выборки
- Инструменты: ручная пометка + полуавтоматические пайплайны (smart labeling, active learning).
- Контроль целостности: баланс классов, агрегация меток по сегментам (crowns/building footprints/road segments).
6. Выбор архитектуры ML/DL и обучение
- Кандидаты: PointNet/PointNet++, RandLA-Net, KPConv, MinkowskiNet (sparse 3D conv), а также 2D‑проекции (U‑Net на DSM/CHM) или гибридные решения.
- Техники: data augmentation (вращения, шум, пропуск точек), class weighting, k‑fold cross‑validation, ранняя остановка.
- Метрики мониторинга в обучении: loss, per‑class accuracy, IoU.
7. Инференс и масштабирование
- Построение пайплайна infer (пакетная обработка, скольжение окнами, страггеринг по плотности).
- Аппаратное ускорение: GPU, распределённые задачи, батчинг.
8. Постобработка результатов
- Сглаживание меток (morphological operations), объединение сегментов (connected components), удаление шумных островков.
- Векторизация: полигоны зданий, полилинии/полигоны дорог, точки/кроны деревьев; вычисление атрибутов (высота, площадь).
9. Интеграция и автоматические отчёты
- Экспорт в GIS/BIM форматы, создание дашбордов качества и журналов обработки.
- Автоматическая генерация отчётов по метрикам качества и по пространственным нарушениями.
10. Мониторинг, валидация в поле и поддержка
- Регулярная проверка модели на новых данных, процесс active learning для дообучения.
- Версионирование модели и данных, CI/CD для ML.
Этапы проверки качества (QA)
- Общие метрики (класс‑по‑классу):
- $\text{Precision}=\frac{TP}{TP+FP}$
- $\text{Recall}=\frac{TP}{TP+FN}$
- $\text{IoU}=\frac{TP}{TP+FP+FN}$
- $F1=\frac{2\cdot \text{Precision}\cdot \text{Recall}}{\text{Precision}+\text{Recall}}$ - Пространственные и геометрические метрики:
- RMSE позиционной точности: $\text{RMSE}=\sqrt{\frac{1}{n}{\sum }_{i=1}^n{e}_i^2}$ - Расхождение по границам/площадям (area/shape similarity), topological consistency.
- Перекрёстная валидация и тест на отложенной выборке (k‑fold).
- Матрица ошибок (confusion matrix) + per‑class omission/commission rates.
- Пространственная верификация: согласованность соседних тайлов, отсутствие «пятен»/шумов.
- Валидация в полевых условиях: выборочная проверка GNSS/RTK точек или фотосъёмка; пороговые цели, например общая точность $\ge 90\%$ по важным классам или IoU $\ge 0.7$.
- Мониторинг стабильности: drift по времени, проверка на новых сезонах/условиях.
Возможные источники ошибок и меры смягчения
- Сенсорный шум и погрешности позиционирования (ALS/MAV/GNSS)
- Меры: калибровка, фильтрация выбросов, коррекция POS/IMU, контроль RMSE регистрации.
- Ошибки регистрации/слияния облаков (misalignment)
- Меры: robust ICP/RANSAC, контроль контрольных точек, автоматическое выравнивание с валидацией ошибок.
- Неполнота/неоднородная плотность точек
- Меры: адаптивный ресемплинг, использование мультискейл признаков, предупреждения при низкой плотности.
- Сезонные/освещённые изменения (листья/безлиственные, снег)
- Меры: мультисезонная обучающая выборка, domain adaptation, отдельные модели под сезон.
- Окклюзии и затенение (например, дороги под деревьями)
- Меры: многовидовая агрегация, использование фотограмметрии + LiDAR fusion, пост‑процессинг сегментов.
- Ошибки разметки (label noise)
- Меры: валидация разметки, консенсус разметчиков, активное обучение, инструменты проверки качества разметки.
- Классовый дисбаланс
- Меры: oversampling/undersampling, class weights, focal loss.
- Перенос модели на новую область (domain shift)
- Меры: transfer learning, fine‑tuning на небольшом наборе новых данных, unsupervised domain adaptation.
- Неверная векторизация/постобработка (склеивание/расщепление объектов)
- Меры: правила геометрической валидации, минимальные пороги площади/высоты, топологические операции.
- Баги в пайплайне (форматы, CRS, квантование)
- Меры: автоматические тесты данных, валидация CRS, контроль согласованности единиц.
- Переподгонка/недостаточная генерализация модели
- Меры: регуляризация, кросс‑валидация, проверка на отложенной выборке, ensembling, uncertainty estimation.
Краткие рекомендации по запуску
- Начать с гибридного подхода: классические признаки + одна DL‑модель (например, RandLA‑Net) и 2D‑U‑Net на DSM для дорог/площадей.
- Внедрять QA‑контрольные точки (field checks) и автоматические метрики в pipeline; настроить пороги оповещений при ухудшении качества.
- Использовать active learning для минимизации ручной разметки и постоянного улучшения модели.
Если нужно, могу дать пример архитектуры модели (конфигурации слоёв/гиперпараметров) и пример чеклиста QA для полевого теста.