Кратко: нужно разделить эффект по сегментам (простые запросы vs сложные), атрибутировать изменения в NPS и жалобах, провести контрольные эксперименты и улучшить модель передачи на человека и эмпатии. Далее — пошагово.
1) Быстрый диагностический план
- Собрать метрики по каналам и сегментам: покрытие ботом $70\%$, NPS (до/после), рост жалоб на сложные случаи $18\%$, среднее время до решения, FCR, повторные контакты, доля переходов на человека, удовлетворённость после бота vs после агента.
- Сэмплировать транскрипты/чат‑логи для качественного анализа (ошибки понимания, неадекватные ответы, долгое ожидание при эскалации).
2) Как аналитически атрибутировать влияние
- Разложение изменения NPS по объёмам: пусть $V_s$ — объём «простых» запросов, $V_c$ — «сложных», $V_{tot}=V_s+V_c$. Тогда
$$\Delta NP{S}_{total}=\frac{V_s}{V_{tot}}\Delta NP{S}_s+\frac{V_c}{V_{tot}}\Delta NP{S}_c.$$ Это покажет вклад автоматизации по сегментам.
- Развернутый тест: difference‑in‑differences (DiD) с контролем:
$$DiD=(NP{S}_{post,treated}-NP{S}_{pre,treated})-(NP{S}_{post,control}-NP{S}_{pre,control}).$$ - Анализ корзин ошибок: классифицировать жалобы по причинам (холодная эскалация, потеря контекста, неверный диагноз, эмоциональная реакция).
3) Эксперименты и A/B
- Запустить A/B для вариантов handoff: мгновенный перевод vs «тёплая» передача с контекстом и кратким резюме от бота; метрики — время до решения, CSAT, число повторных обращений.
- Тестировать порог доверия NL и автопредложений: если confidence < $\tau$ перевод на человека. Подбирать $\tau$ оптимально через эксперименты.
- Тест empathy‑scripts: бот с шаблонами эмпатии vs стандартный — измерять CSAT и долю эскалаций.
4) Изменения в сервисной модели (рекомендации)
- Гибридный роутинг:
- Автообслуживание для простых кейсов (остается $70\%$ покрытие), но с условием confidence threshold $\ge \tau$.
- Для низкой уверенности или сигналов негативной эмоции — немедленная передача на человека.
- Улучшенная «тёплая» передача: при эскалации бот передаёт полную сессию, причину, гипотезы решения и прогноз времени ожидания; агент видит рекомендованные шаги.
- SLA и приоритизация для сложных кейсов: установить SLA эскалации $\le$ $48$ часов и первичный ответ $\le$ $2$ часа (подбирать по бизнес‑приоритету).
- Человекоцентричное усиление:
- Агент‑ассист (подсказки, автозаполнение, быстрые шаблоны эмпатии).
- Тренинг по эмпатии и управлению сложными случаями.
- Превентивный подход: для клиентов с риском эскалации — проактивные уведомления/консультации и выделение приоритетного канала.
- Качественный контроль: регулярный QA чатов, KPI по «эмпатии» (оценка CSAT и текстовая сентимент‑оценка).
5) KPI для мониторинга и целевые ориентиpы (примерно)
- Containment rate (решённые ботом запросы) — текущая $70\%$, целевой диапазон $\ge$ $75\%$ без роста жалоб.
- Жалобы на сложные случаи — вернуть к базовому уровню или уменьшить на $18\%$ относительно роста.
- Time to resolution для сложных случаев — целевой $\le$ $48$ часов.
- FCR $\ge$ $70\%$, CSAT пост‑эскалации ≥ базового уровня, поддерживать NPS повышенным на $+3$ пункта или лучше.
6) Дорожная карта внедрения (сроки примеры)
- Диагностика и сбор данных: $2$-$4$ недели.
- Быстрые исправления (handoff, SLA, агентов‑ассист): $4$-$8$ недель.
- Пилоты A/B и оптимизация порогов $\tau$: $6$-$12$ недель.
- Масштабирование успешных изменений и постоянный мониторинг.
7) Финальное правило принятия решений
- Баланс мерить не только через покрытие и скорость, но и через качество контакта: если автоматизация уменьшает нагрузку, но повышает неудовлетворённость в критичных сложных случаях, нужно перераспределить ресурсы на лучшую поддержку этих случаев (проактивность, быстрые SLA, тёплая эскалация).
Если хотите, могу предложить конкретную структуру A/B‑эксперимента и список полей для передачи при «тёплой» эскалации.