Это классический морально-политический вопрос: как балансировать потенциальную пользу науки и техники с рисками для безопасности, прав человека и природы — особенно когда последствия носят глубоко неопределённый и долговременный характер. Ниже — предлагаемый набор этических ориентиров и практических процедур, которые можно использовать для принятия решений о финансировании или ограничении рисковых направлений исследований.

Ключевые этические принципы (минимальный набор)

Защита основных прав и достоинства человека. Нельзя финансировать исследования, систематически нарушающие фундаментальные права (на жизнь, свободу от пыток, честное согласие и т. п.).Принцип предосторожности (precautionary principle). При возможных серьёзных или необратимых вредах — требовать весомых доказательств безопасности прежде, чем расширять работу.Пропорциональность и минимизация вреда. Риски должны быть соразмерны ожидаемым выгодам; выбирать наименее вредные альтернативы.Справедливое распределение выгод и бремён. Оценивать, кто получает выгоды и кто несёт риски (межпоколенческая и внутрипоколенческая справедливость).Прозрачность и подотчётность. Решения и их основания должны быть доступны общественности, за исключением случаев, где секретность оправдана по ясным и проверяемым критериям.Адаптивность и скромность познания. Признание высокой неопределённости, готовность пересматривать решения по мере появления новых данных.Многообразие ценностей (плурализм). Не упираться в одну этическую теорию — сочетать утилитарные расчёты с правовым и деонтологическим контролем.

Критерии оценки проектов

Необходимость и социальная польза
Является ли цель исследования важной и уникальной (нет безопасных альтернатив)?Вероятность и тяжесть вреда
Оценка масштабов возможного вреда (локальный / глобальный / межпоколенческий) и вероятности его наступления.Обратимость и масштаб риска
Можно ли отменить результат (исправить последствия) или вред окажется необратимым?Контролируемость и средство смягчения
Есть ли технические и институциональные меры, позволяющие контролировать распространение и последствия?Распределение выгод/ущерба
Кто выигрывает, кто рискует, имеются ли несправедливые перекосы?Соблюдение прав и норм
Соответствует ли проект международным и национальным правовым нормам, правам человека?Прозрачность и возможность независимой оценки
Доступны ли методики, данные, есть ли возможность внешней проверки?Деградация природных систем
Возможен ли устойчивый вред биосфере или экосистемам?Двойное назначение (dual-use)
Может ли направление быть легко преобразовано в вредоносное?Межпоколенческий риск и неопределённость
Оценка рисков с долгой временной перспективой и высокой эпистемической неопределённостью.

Процедуры и институциональные меры (предлагаемая модель)

Многоуровневая система управления
Локальные институциональные этические комитеты (IRB-like) для первичной экспертизы.Национальные комиссии (независимые, междисциплинарные) для направлений со средними и высокими рисками.Международный координационный механизм (конвенция или сеть органов) для глобальных/катастрофических рисков.Категоризация направлений (разделение по режимам)
Запрещённые (черный список): явные нарушения прав и неприемлемые риски (например, эксперименты, явно направленные на создание биологического оружия; грубые нарушения человеческого достоинства).Строго ограниченные: исследования, которые допускаются только в контролируемых условиях, с сильными мерами безопасности и международным надзором.Условно разрешённые: возможны при соблюдении жестких регламентов, прозрачности и поэтапной валидации.Свободно финансируемые: низкорисковые исследования, общая научная деятельность.Пакет процедур для «строго ограниченных» и «условно разрешённых»
Предвари­тельная оценка риска/пользы (multi-criteria), включая сценарный анализ и модель невырожденности.Красная команда (external harm-focused review) — попытка найти способы злоупотребления.Ступенчатое финансирование и stage-gates: малые пилотные этапы → внешняя валидация → расширение.Условные «лицензии» с отчётностью, инспекциями, возможностью приостановки и отзыва.Требование «безопасности по дизайну» (safety-by-design) и планов реагирования на инциденты.Прозрачный реестр проектов и механизм общественной консультации (где это не противоречит безопасности).Управление неопределённостью и долгосрочным риском
Применение подходов минимакса/минимизации сожаления (minimax regret) и real-options (оставлять возможность отказаться).Портфельный подход к финансированию: сочетание «высокориск/высокая выгода» с большим количеством низкорисковых проэктов.Постоянный мониторинг, индикаторы раннего предупреждения, критерии триггеров для пересмотра/заморозки.Sunset-клаузулы и регулярные ревью: каждые N лет обязательный пересмотр рисков и выгод.Институт представительства будущих поколений
Комиссия или омбудсмен по правам будущих поколений, имеющий право вето или сильное консультативное влияние при решении по долговременным рискам.Участие стейкхолдеров и публичная легитимация
Инклюзивные процедуры: гражданские ассамблеи, консультации с уязвимыми группами, экологическими и правозащитными организациями.Для секретных направлений: специальная закрытая процедура, но с независимым надзором и отчетностью в демократические институты.Международное сотрудничество и правила
Договорные нормы для транснациональных рисков (например, регулирование геоинжиниринга климата, биотехнологий, ИИ высокого уровня).Общие стандарты открытости данных и обмена информацией по безопасности.Ответственность и компенсация
Ясные механизмы ответственности (гражданской и, при необходимости, уголовной) за нарушение условий экспериментов.Фонды компенсации и страхование для возмещения вреда.

Как применять это к примерам

Усиление человекоподобных свойств ИИ (эмоции, автономность, социальное влияние)
Критерии: риск манипуляции, erosions rights/dignity, влияние на институты (работа, демократия).Процедура: обязательная оценка социальных рисков; поэтапное финансирование; публичные тесты воздействия; требования Explainability, контроль за масштабированием; этические панели с гражданским участием. Если проект существенно угрожает автономии/правам — ограничивать.Генная модификация человека (улучшения, соматические/герминальные правки)
Критерии: необратимость (герминальные изменения), равенство доступа, возможные биологические и экосистемные риски.Процедура: строгий запрет на немедленное клиническое внедрение герминальных модификаций без международного консенсуса; разрешение на ограниченные соматические терапии при тщательной оценки безопасности и согласия; требование прозрачных протоколов и долгосрочного наблюдения.Манипуляции климата (geoengineering)
Критерии: глобальная обратимость, трансграничные эффекты, политическая легитимация.Процедура: до получения согласия на уровне международных органов — разрешать только моделирование и лабораторные исследования, ограниченные полевые эксперименты с чёткими границами; для масштабных полевых работ — международное соглашение, оценка последствий, механизмы компенсации для пострадавших стран.

Практические инструменты для реализации

Прозрачный реестр проектов с классификацией риска.«Красные» и «жёлтые» списки тем/методов (регулярно обновляемые).Независимые аудиторы безопасности и этики.Финансовые условия (страховка, фонды общественной ответственности) как часть грантовых требований.Обязательная публикация отчётов о воздействии и планы смягчения.Защита информаторов и санкции за нарушение правил.

Заключение — комбинированный подход
Нужен гибрид: не только принцип предосторожности, но и процедурная демократия, научная экспертиза, международное сотрудничество и реальные инструменты контроля. При этом базовые «красные линии» (принципиальные нарушения прав и угрозы необратимого глобального вреда) должны оставаться непереходными. Там, где будущие риски велики и необратимы, стандарт доказательств должен быть выше и решения — консервативнее; где риски ограничены и есть сильная польза и контроль — допускается аккуратное продвижение с поэтапной проверкой и прозрачным надзором.