Кратко: философия науки предлагает несколько критериев (консеквенциализм, деонтология, принцип предосторожности, ответственность, пропорциональность, участие общественности и др.) и набор процедур для их применения. Ниже — с пояснениями и практическими шагами.
1) Последствия (утилитаризм / риск‑выгода)
- Суть: выбирать действие, которое максимизирует суммарную пользу и минимизирует вред.
- Практика: количественная оценка выгод и рисков: оценить сценарии, вероятности и масштабы последствий и сравнить. Например, расчёт ожидаемой чистой пользы можно формализовать как
$\text{ENB}=\sum _i{p}_i{B}_i-\sum _j{q}_j{H}_j$,
где $p_i,B_i$ — вероятность и польза i‑го благого сценария, $q_j,H_j$ — вероятность и ущерб j‑го вредоносного сценария. Провести чувствительность к неопределённости.
2) Деонтологические ограничения (права, запреты, обязательства)
- Суть: некоторые действия запрещены независимо от суммарной пользы (напр., сознательное создание средств массового уничтожения, нарушение прав участников).
- Практика: проверить соответствие законам, кодексам этики, юридическим и моральным запретам; при несоответствии — отказаться или изменить проект.
3) Принцип предосторожности
- Суть: при большой неопределённости и потенциально катастрофическом риске предпочтение — ограничение или запрет.
- Практика: ввод временного моратория, стадии с ужёсточенным контролем, дополнительные эксперименты по оценке безопасности, «малые дозы/нижняя сложность» перед масштабированием.
4) Принцип пропорциональности и минимизации вреда
- Суть: выбирают минимально инвазивный/опасный способ достижения цели.
- Практика: поиск альтернативных методов, «безопасный дизайн» эксперимента, снижение масштабов, технические барьеры для злоупотреблений.
5) Ответственность за будущее (этическая обязанность предвидения)
- Суть (по Хансу Йонсу и др.): учесть долгосрочные последствия и защиту будущих поколений.
- Практика: долговременные сценарии, условия финансирования (ограничения на применение), институциональная ответственность и страхование рисков.
6) Управление двойным назначением (governance, value‑sensitive design)
- Суть: встроить меры безопасности и контроль в саму разработку.
- Практика: технические гарантии (контейнирование, криптографические/доступные барьеры), ограничение доступа к данным/протоколам, поэтапный открытый доступ (staged release).
7) Прозрачность, участие заинтересованных сторон и делиберация
- Суть: решения должны приниматься с участием экспертов разных областей, общественности и ответственных органов.
- Практика: создать совет из биоэтиков, специалистов по безопасности, юристов, представителей общества; публичные слушания; публикация оценок рисков.
8) Нормативно‑правовые и международные ориентиры
- Суть: руководствоваться национальными/международными нормами (напр., комитеты по биобезопасности, Конвенция по запрещению биологического оружия).
- Практика: своевременные консультации с регуляторами, соблюдение экспортного контроля, уведомление соответствующих органов.
9) Моральная неопределённость и правило максимина
- Суть: если неопределённость велика и возможен катастрофический исход, выбирать вариант, минимизирующий худший возможный вред.
- Практика: при наличии маловероятных, но катастрофических сценариев — ограничивать работу или внедрять строгие барьеры.
Практическая пошаговая процедура (рекомендация):
1. Идентифицировать возможные благи и вреды и заинтересованные стороны.
2. Оценить вероятности и величины последствий (количественно, где возможно) и посчитать $\text{ENB}$ + провести анализ чувствительности.
3. Проверить юридические и деонтологические запреты; если есть нарушение — остановиться/переиначить проект.
4. При высокой неопределённости или возможном катастрофическом риске применить принцип предосторожности (мораторий/ограниченный режим).
5. Рассмотреть и реализовать менее рискованные альтернативы и технические меры минимизации вреда.
6. Организовать внешнюю экспертную проверку, общественное обсуждение и получить необходимые разрешения.
7. Если принимаете продолжение — ввести мониторинг, протоколы реагирования на инциденты и условия по поэтапному раскрытию результатов.
Вывод: нет единственного критерия — нужно комбинировать количественную оценку последствий, проверку моральных и правовых ограничений, принцип предосторожности и институциональные меры управления риском; на практике используют пошаговую процедуру, включающую оценку, внешнюю проверку, смягчение рисков и контроль доступа.