Краткая методика оценки качества перевода художественной прозы (фр → рус.), с критериями и формулой итоговой оценки.
1) Общее устройство
- Отбирают репрезентативные отрывки (диалог, описание, монолог, образные места).
- Оценку проводят минимум $n=3$ рецензента: двое литературных переводчиков/критиков + $1$ целевой читатель. Оценки усредняются.
2) Ключевые критерии (каждому присваивают балл по шкале $1$-$5$)
- Верность / адекватность (fidelity) — передача значений, подтекста, намерений.
- Стиль / голос автора — сохранение лексико-фразеологических средств, синтаксического регистра, тембра.
- Ритм и звукопись — длина предложений, паузы, аллитерации, рифмичность фраз.
- Идиомы и фразеологизмы — адекватность передачи устойчивых выражений.
- Культурные аллюзии — оценка решений: сохранить/адаптировать/объяснить/опустить.
- Читаемость и плавность — естественность русского текста для целевого читателя.
3) Количественные показатели (автоматизированные и простые статистики)
- Средняя длина предложения (ASL): $\mathrm{ASL}=\frac{\text{число слов}}{\text{число предложений}}$. Сравнить ${\mathrm{ASL}}_{\text{оригинал}}$ и ${\mathrm{ASL}}_{\text{перевод}}$; разница $|{\mathrm{ASL}}_o-{\mathrm{ASL}}_t|$.
- Среднее число слогов на слово (AWL): считать для языка; сравнить распределения.
- Корреляция ритма: вычислить последовательность длин предложений по предложениям и взять корреляцию (Пирсона/Спирмена) между оригиналом и переводом: $\rho$.
- Лексическое разнообразие: Type‑Token Ratio $\mathrm{TTR}=\frac{V}{N}$ (v — типы, N — токены) и доля «высокоударных» слов (слова вне частотного списка).
- Сохранение коллокаций/идиом: доля случаев, где выбран эквивалент адекватен ≔ $\frac{\text{число корректно переданных идиом}}{\text{число идиом в оригинале}}$.
- Семантическое сходство (автомат.): косинус между эмбеддингами предложений (BERTScore / Sentence-BERT): $\cos (v_o,v_t)$. Порог: $\ge 0.85$ — высокий.
- Статистические меры текста: процент коротких/длинных предложений, частота пунктуации, сходство распределений (KL‑дивергенция) для ритмических характеристик.
- Авто‑метрики MT как доп.индикаторы: chrF, BERTScore, COMET — интерпретировать осторожно.
4) Качественные критерии и рубрики (шкала $1$-$5$, краткие дескрипторы)
- Верность: $1$ — искажение смыслов; $3$ — в целом верно, локальные потери; $5$ — полная адекватность подтекста.
- Стиль/голос: $1$ — другой тон, регистрация; $3$ — частично сохранён; $5$ — голос автора чётко читается.
- Ритм: $1$ — ритм разрушен; $3$ — ритмические акценты частично сохранены; $5$ — сопоставимый ритмический профиль.
- Идиомы: $1$ — регулярные буквальные/ошибочные переводы; $3$ — приемлемые локальные решения; $5$ — творчески и адекватно переданы.
- Культурные аллюзии: $1$ — утрата смысла/контекста; $3$ — замечания/приметки/адаптация; $5$ — тонкие аллюзии сохранены или элегантно адаптированы.
- Читаемость: $1$ — трудно читать; $3$ — читаемо, но местами затруднительно; $5$ — плавно и естественно.
5) Итоговая формула оценки
- Присвойте каждому критерию вес $w_i$ так, чтобы ${\sum }_i{w}_i=1$.
Пример весов:
- верность: $w_1=0.25$ - стиль/голос: $w_2=0.25$ - ритм: $w_3=0.15$ - идиомы: $w_4=0.12$ - культурные аллюзии: $w_5=0.13$ - читаемость: $w_6=0.10$
- Нормализуем баллы $s_i$ (шкала $1$-$5$) в $[0,1]$ через $s_i^{\prime }=\frac{s_i-1}{4}$. Итоговый скор:
$$S=\sum _{i=1}^6{w}_i{s}_i^{\prime },S\in [0,1].$$ Процентная шкала: $S_{\%}=100\cdot S$.
6) Надёжность и валидация
- Межоценочная согласованность: Cohen's kappa $\kappa =\frac{P_o-P_e}{1-P_e}$. Интерпретация: $\kappa >0.6$ — приемлемая согласованность.
- Анализ расхождений: разбирать случаи, где разница между экспертами $\ge 2$ пункта, фиксировать причины.
7) Отчётность и рекомендации
- В отчёте приводят: таблично баллы по критериям, автоматические метрики, примеры удачных/проблемных фрагментов с кратким обоснованием.
- Для устойчивых проблем — рекомендации переводчику: лексико‑фразеологические замены, ритмические перестройки, примечания для читателя.
8) Практические примечания
- Для ритма важнее относительные характеристики (корреляция, профиль длин), чем абсолютное совпадение.
- При идиомах и аллюзиях фиксировать тип решения: калькирование / заменитель / пояснение / локализация.
- Автоматические метрики использовать как вспомогательные, основное — экспертная оценка и читательская отзывчивость.
Эта методика даёт комбинированную (количественно‑качественную) картину: формула $S$ сводит экспертные оценки в один индекс, а набор автоматических и статистических показателей помогает объяснить, почему оценка получилась такой.