Автоматическая оценка качества перевода французских юридических текстов — комплексная задача. Ниже — набор методов/критериев и перечень специфических грамматических и стилевых трудностей, которые нужно учитывать.
1) Методы оценки (комбинировать автоматические метрики, таргетированные тесты и человеческую экспертизу)
- Автоматические корпусные метрики:
- BLEU: $$BLEU=BP\cdot \exp \left(\sum _{n=1}^N{w}_n\log p_n\right)$$ где $p_n$ — n-грамные прецизионные доли, $BP$ — brevity penalty.
- chrF (символно- n-граммовая метрика), TER: $$TER=\frac{S+I+D}{N}$$ (S — замены, I — вставки, D — удаления, $N$ — число токенов эталона).
- Современные согласованные метрики качества (COMET, BLEURT) — дают лучшую корреляцию с человеческой оценкой для сложных формулировок.
- Таргетированные метрики для права и терминологии:
- Term accuracy / terminology recall/precision и F1: $$F_1=2\cdot \frac{P\cdot R}{P+R}$$ — измеряют корректность переводов юридических терминов по глоссарию.
- Named-entity F1 для статей/статутов, номеров дел, дат, ссылок на кодексы.
- Structural checks: совпадение нумерации и ссылок (Article/§, ссылки на статьи/пункты), сохранение скобок, пунктуации, параграфной структуры.
- Оценка пост-редактирования:
- HTER (human-targeted TER) — сколько операций требуется для приведения MT к приемлемому виду.
- Время и усилия пост-редактора (PE time), количество правок/правка в минуту.
- Качественная человеческая оценка:
- Двумерная шкала: адекватность (сохранение смысла/правовой силы) и текучесть/стилистика.
- Юридическая эквивалентность: бинарная или ранжированная оценка того, меняет ли перевод правовой эффект.
- Аннотация ошибок по таксономии (терминология, модальность/обязательность, условность, ссылки, числа).
- Межоценочная согласованность: измерять $\kappa$ (Cohen’s kappa): $$\kappa =\frac{P_o-P_e}{1-P_e}$$ - Тестовые наборы и контрольные примеры:
- Составить «casuistic» тесты с минимальными парами, направленными на типичные трудности (модальность, императивы, пассивы, номера статей, даты).
- Использовать несколько эталонных переводов (если возможно) — улучшает надёжность автоматических метрик.
- Статистика и валидация:
- Проверять корреляцию автоматических метрик с человеческими оценками (Pearson/Spearman).
- Статистическая значимость улучшений (bootstrap resampling для BLEU/COMET).
2) Рекомендуемые критерии оценки (что именно измерять)
- Юридическая эквивалентность/риск: есть ли изменение правового эффекта/обязательности? (критическая категория).
- Терминологическая точность: перевод установленных правовых терминов и ссылок на нормативы.
- Сохранение структуры ссылок/нумерации/параграфов/подпунктов.
- Лингвистическая адекватность: смысловая полнота (no omissions/additions), правильность передачи условий, сроков, сумм.
- Грамматическая и стилистическая корректность: согласования, времена, модальность, формы отрицания.
- Машинная читаемость/последующая обработка: корректность метаданных, тегов, маркеров статей.
- Пороговые/взвешенные ошибки: пометить ошибки «критические» (меняют право), «серьёзные» (вводят двусмысленность), «мелкие» (стиль/пунктуация).
3) Практический протокол оценки (коротко)
- Автоматическая проверка метриками (BLEU/chrF/COMET) + терминологический контроль.
- Прогон тест-сета с таргетированными примерами.
- Человеческая оценка по шкале адекватности/флюентности и классификация ошибок; измерение HTER/PE time.
- Корреляция автоматик ↔ человек; корректировка весов в итоговой метрике (например, сильнее учитывать терминологию и юридическую эквивалентность).
4) Специфические грамматические и юридически значимые трудности французских текстов (нужно специально тестировать и учитывать)
- Модальность и обязательность:
- Глаголы-модальники и перипразы: «doit», «est tenu de», «peut», «est autorisé à», «a l’obligation de». Ошибка в модальности меняет юридическую силу.
- Имперсональные конструкции и безличные обороты:
- «Il est interdit de», «Il est obligatoire que…» — перевод должен сохранять безличную форму и силу.
- Сложные отрицания и отрицательные местоимения:
- «nul», «personne», «aucun», «ne … que», «ne … pas» — смысл меняется при неверной интерпретации.
- Субжунктив и согласование времен:
- Употребление субжунктива после определённых связок/условий; ошибки влияют на условность/неточность.
- Пассив и партиципальное строение:
- Часто используются пассивные и причастные обороты; важна корректная передача агента/страдательности.
- Соглашение причастия с прямым дополнением:
- Правило согласования причастия прошедшего времени с «avoir» при наличии прямого дополнения перед ним — источник ошибок в роде/числе.
- Номинализации и сложные именные группы:
- Длинные юридические NP с вложенными относительными предложениями; порядок слов и связки важны для точного смысла.
- Примеры форм собственности/предлогов:
- Различия «de», «du», «au», «à la» влияют на синтаксическую роль и правовую привязку.
- Ссылки на статьи/коды/номера дел:
- Формат «art. L. 123-4 du Code …», «alinéa», «par.», ссылки должны быть перенесены без искажений.
- Даты, суммы, номера и единицы:
- Формат дат, десятичных разделителей, валюты (евро), интервалы — критично для правовой точности.
- Квазимодальные фразы и устойчивые юридические выражения:
- «à défaut de», «sous réserve de», «aux fins de», «à titre exceptionnel» — дословный/неточный перевод меняет смысл.
- Стилизация и формальные маркеры:
- Использование «Madame/Monsieur», «Le juge», «La Cour», формулировки «En application de…» — требуют стандартных эквивалентов.
- Аббревиатуры и сокращения юридических терминов:
- «C. civ.», «C. pén.», «art.» — должны соответствовать целевой практике перевода.
5) Практические рекомендации
- Собрать доменный глоссарий и правила трансляции ссылок/номеров.
- В тестах ввести много примеров с модальностью, отрицанием, ссылками на статьи, датами/суммами.
- Ввести правило, что ошибки, меняющие право/обязанность — критические и доминируют в итоговой оценке.
- Использовать комбинацию автоматических метрик и юрист-референса для финального качества.
Если нужно, могу предложить шаблон шкалы аннотации ошибок или пример таксономии ошибок и тестовый набор из N примеров.