Краткая методология.
1) Критерии отбора корпусов
- Диахроничность: покрытие достаточного периода до и после реформы (минимум несколько лет, лучше десятки лет).
- Сравнимость регистров: выбрать пары сопоставимых жанров (газеты ↔ газеты, веб ↔ веб, субтитры ↔ субтитры) или использовать сбалансированные корпуса.
- Метаданные: точная дата текста, жанр, источник, автор (если есть).
- Качество текста: низкий уровень OCR-ошибок; для исторических данных — наличие исправлений/нормализаций.
- Размер: достаточное количество токенов в каждой временной ячейке (например, год) для статистической мощности.
- Репрезентативность/доступность: предпочтительно крупные открытые корпуса (DeReKo, DWDS, German Press Archive, OpenSubtitles, web corpora), но сохранять сопоставимость по жанру.
2) Предобработка и аннотация
- Нормализация орфографии: привести «daß» → «dass» (если цель — считать их эквивалентами), но сохранять исходные формы для контроля.
- Токенизация и POS-теггинг/зависимости (UD): важна дисambiguация функций «das» (DET/PRON/REL) vs «dass» (SCONJ/complementizer).
- Правило/классификатор для выделения случаев, где «das» выполняет роль союзного «dass» (например: POS==SCONJ или dependency label == mark/comp и т. п.). Рекомендую ручную разметку случайной выборки для оценки точности автоматического теггера и поправки ошибок.
- Стратификация по годам/кварталам и по жанрам; удалить цитаты/переводы по необходимости.
3) Метрики для сравнения
- Абсолютные частоты: $c_{dass}(t)$, $c_{das\_sub}(t)$ — количество токенов «dass» и количество «das», помеченных как союз/вводящая часть придаточного предложения в моменте $t$.
- Нормированные частоты: частота на миллион токенов $f(t)=\frac{c(t)}{N(t)}\times 10^6$. Формально: $p(t)=\frac{c_{target}(t)}{N(t)}$.
- Пропорция замены/путаницы: доля корректных/некорректных написаний в роли complementizer: $\pi (t)=\frac{c_{dass}(t)}{c_{dass}(t)+c_{das\_sub}(t)}$.
- Отношение частот (odds): $\text{odds}(t)=\frac{\pi (t)}{1-\pi (t)}$.
- Изменение во времени: абсолютная разница $\Delta \pi ={\pi }_{post}-{\pi }_{pre}$ и относительный рост $\frac{{\pi }_{post}-{\pi }_{pre}}{{\pi }_{pre}}$.
- Эффект размера: odds ratio $OR=\exp (\beta )$ из логистической регрессии; Cramér's V для таблиц сопряжённости: $V=\sqrt{\frac{{\chi }^2}{N(k-1)}}$.
4) Статистические тесты и модели (когда и почему)
- Сравнение двух периодов (до/после):
- Контингентная таблица (counts: «dass» vs «das_sub») × (периоды): критерий χ². Если ожидаемые частоты малы — тест Фишера. Соответствующая статистика: ${\chi }^2$. Для пропорций можно использовать z‑тест для долей.
- Тренды во времени:
- Логистическая регрессия на уровне токена: зависимая переменная $y_i=1$ если токен — «dass» (в функции союз), иначе $0$; модель: $\log \frac{p_i}{1-p_i}={\beta }_0+{\beta }_1\cdot tim{e}_i+{\beta }_2\cdot D_i+{\beta }_3\cdot tim{e}_i\cdot D_i+\dots$, где $D_i$ — индикатор постреформы. Коэффициенты $\beta$ тестируются на значимость; $OR=\exp (\beta )$.
- По счётам на период: (приближенно) пуассоновская или негативно-биномиальная регрессия с офсетом лог(токенов): $\log ({\lambda }_t)=\alpha +\gamma \cdot tim{e}_t+\log (N_t)$.
- Разрыв/вмешательство (Interrupted Time Series / segmented regression):
- Оценить немедленный уровень и изменение тренда в точке реформы: модель с сегментированными коэффициентами (см. логит-модель с $D_t$ и interaction выше).
- Смешанные модели:
- Если используются несколько корпусов/жанров: mixed‑effects logistic regression с случайными перехватами/наклонами, например $(1+time|corpus)$, чтобы учесть зависимость наблюдений внутри корпуса/текста.
- Альтернативные проверки:
- Change-point detection (CUSUM, Bayesian) для обнаружения дат резкого изменения.
- Коррекция множественных сравнений: Benjamini–Hochberg или Bonferroni при множественных тестах.
5) Оценки значимости и размеров эффекта
- Для логистической модели сообщать доверительные интервалы для OR и p‑value.
- Для χ² — Cramér's V как мера силы связи.
- Для пропорций — абсолютная разница и Cohen's h: $h=2\arcsin \sqrt{p_1}-2\arcsin \sqrt{p_2}$.
- Минимально важный эффект (practical significance) заранее определить (например, уменьшение доли ошибок на $x\%$).
6) Валидация и устойчивость результатов
- Ручная проверка случайной подвыборки для оценки ошибок автоматической классификации; скорректировать оценки по ошибкам (post-stratification).
- Анализы по подкорпусам (жанр, регион, авторская группа) — устойчивость эффекта.
- Тесты на автокорреляцию остатков временных моделей; при наличии — использовать ARIMA/GLS или robust SE.
- Проверка чувствительности к нормализации «daß»→«dass» и к фильтрации OCR.
7) Практические рекомендации
- Структура отчёта: описание корпусов, размеры и метаданные; процедуры предобработки; качества POS/парсера; таблицы временных рядов; модели с коэффициентами и CI; визуализация временных рядов и сегментированных регрессий.
- Минимальный статистический набор для публикации: частоты по годам, χ²/Fisher для до/после, сегментированная логистическая регрессия с контролем по корпусу/жанру и CI для OR.
Это даёт воспроизводимую схему: подобрать сопоставимые диахронические корпуса, корректно дискриминировать функции «das» vs «dass» (POS/синтаксис + ручная валидация), измерить нормализованные частоты и доли, протестировать изменения χ² / Fisher для разовых сравнений и моделями (логит, Poisson/NegBin, ITS, mixed‑effects) для учёта времени и структуры данных; оценивать значимость и практическую значимость через OR, CI и меры эффекта.