Риски
- Для автономии учителя:
- Снижение профессионального суждения: автоматические рекомендации могут стать де‑факто директивой и привести к «дескиллингу» — учитель перестаёт принимать самостоятельные педагогические решения.
- Давление и оценка: данные системы могут использоваться для контроля эффективности учителя и KPI, что сужает свободу методики.
- Стандартизация педагогики: рекомендации ориентированы на типовые паттерны, подавляют творческие/индивидуальные подходы.
- Непрозрачность алгоритма: невозможность понять логику рекомендаций осложняет обоснование педагогических решений.
- Перекладывание ответственности: при ошибках система «снимает» ответственность с разработчиков/администрации, но учитель остаётся под давлением.
- Для приватности учащихся:
- Чрезмерный сбор данных и профильирование, в том числе скрытые выводы о здоровье, поведении, социально‑экономическом статусе.
- Риск ре‑идентификации при публикации агрегированных данных.
- Несанкционированный доступ и утечки персональных данных.
- Вторичное использование данных (коммерция, сторонние исследования) без согласия.
- Отсутствие информированного согласия учащихся/родителей и неясность прав на доступ/удаление данных.
Этические и методические регламенты (ключевые положения)
1) Цель и минимизация данных
- Собирать данные только для явно заявленных образовательных целей; запрещено собирать или хранить данные, не нужные для этих целей.
- Пример: аналитика вовлечённости и оценки — ok; автоматические диагнозы психического здоровья — только при явном согласии и с участием специалистов.
2) Прозрачность и объяснимость
- Система обязана предоставлять понятные объяснения рекомендаций и метрики (краткое описание источников данных и факторов).
- Обучающимся и учителям доступна политика работы алгоритма в понятной форме.
3) Человеческий контроль (human‑in‑the‑loop)
- Автоматические рекомендации носят консультативный характер; окончательное решение — за учителем.
- Любое высокостепенное или санкционирующее решение (перевод в профиль, отчисление, дисциплинарные меры) не принимается исключительно алгоритмом.
4) Права, доступ и согласие
- Роли и права доступа по принципу наименьшей привилегии; журналирование всех обращений к данным.
- Ученики/родители имеют право на доступ, исправление, удаление персональных данных и понятную форму отказа от аналитики там, где это допустимо.
- Для несовершеннолетних требуется информированное согласие родителей/опекунов на расширенный сбор/анализ.
5) Хранение и удаление
- Формативная аналитика хранится не дольше, чем нужно для образовательного процесса: по умолчанию не дольше $\text{1 год}$ после окончания соответствующего курса.
- Итоговые записи/оценки — в соответствии с законодательством, но не дольше разумного срока, например $\text{5 лет}$ (или срок по локальному праву).
- Политика удаления и архивирования должна быть документирована и реализуема.
6) Безопасность и реакция на инциденты
- Шифрование данных «в покое» и «при передаче», мультифакторная аутентификация для администраторов.
- План реагирования на утечку с уведомлением пострадавших в течение $\text{72 часов}$.
7) Ограничения на профильные выводы
- Запрет на автоматическое выведение и использование чувствительных характеристик (здоровье, религия, политические взгляды, уголовная предрасположенность и т. п.).
- Любая предиктивная модель, затрагивающая благополучие (например, риск отчисления, психическое здоровье), требует одобрения этической комиссии и письменного согласия.
8) Аудит и оценка системы
- Регулярные внутренние и независимые аудиты на предмет смещений и точности не реже чем каждые $\text{12 месяцев}$.
- Публикация сводных отчётов по влиянию системы на образовательные результаты и риски.
9) Методические правила для учителей (практика применения)
- Система как диагностический инструмент: использовать для идентификации групп/трендов, не для ярлыков.
- Перед применением рекомендации: сверять с личным наблюдением и контекстом ученика; фиксировать обоснование решений, если рекомендация реализована или отвергнута.
- Включать учеников в обсуждение рекомендаций (партисипативный подход), объяснять им цель и ограничения рекомендаций.
- Обязательное обучение для учителей по интерпретации метрик, распознаванию ошибок алгоритма и этике использования данных.
10) Правила для провайдеров и контрактов
- Юридически закрепить запрет вторичного использования данных, перечень суб‑процессоров, обязанности по безопасности.
- Проводить DPIA (оценку воздействия на приватность) и делать её доступной администрации лицея.
11) Надзор и механизм жалоб
- Создать комиссию (включая учителей, родителей, представителей учащихся, эксперта по ИИ), рассматривающую спорные случаи.
- Обеспечить процедуру обжалования решений, основанных на системе, с правом на пересмотр человеком.
12) Пилотирование и валидация
- Внедрять систему поэтапно: пилот с контролем за побочными эффектами, сбором качественной обратной связи, корректировкой правил; до масштабирования — положительный отчёт комиссии.
Краткое резюме: система должна служить поддержкой, а не заменой педагогической ответственности; данные — минимальными, защищёнными и прозрачными; решения — под контролем человека; внедрение — с аудитом, обучением и возможностью жалоб.