Краткий план корпусного исследования (сравнение частотности и контекстуальных коллокаций слова freedom в текстах $19$-го и $21$-го веков).
1) Постановка гипотез
- H1: Частотность слова freedom различается между веками (например, выше/ниже в одном из периодов).
- H2: Коллокационные портреты различаются: $19$-й век — более политико‑философские коллокации (например, «rights», «liberty», «constitution»), $21$-й — индивидуалистические/безопасностные/технологические (например, «privacy», «security», «rights» в другом контексте).
- H3: Синтаксические паттерны использования (например, «freedom of X», атрибутивные/предикативные конструкции) изменились.
- H4: Семантика слова смещается во времени; это измеримо через дрейф эмбеддингов.
2) Корпусы и выборка
- Определить периоды: $19$-й век (например, $1800$–$1899$), $21$-й век (например, $2000$–$2020$).
- Балансировать по жанру/региону/регистру (политические тексты, пресса, художественная литература, научные тексты) или контролировать их как факторы.
- Размер: стремиться к сопоставимым объёмам токенов, минимум $N=1,000,000$ токенов на период, оптимально $N=10^7$.
- Метаданные: год, жанр, источник, регион — для стратифицированного анализа.
3) Предобработка
- OCR‑коррекция (для $19$-го века), нормализация орфографии, приведение к нижнему регистру (по необходимости).
- Токенизация, лемматизация, POS‑теггинг, синтаксический парсинг (для анализа синтаксических коллокаций).
- Нормализация частот: использовать частоту на миллион токенов: $$f_{norm}=\frac{count}{tokens}\times 10^6.$$
4) Анализ частотности
- Подсчитать абсолютные и нормированные частоты по периодам и по жанрам.
- Статистическая проверка различий: лог‑вероятностный тест (G‑тест) или хи‑квадрат; при малых частотах — точный критерий Фишера.
- Формулировка: сравнить частоты по всему корпусу и внутри жанров; порог значимости $\alpha =0.05$ с коррекцией на множественные проверки (FDR или Бонферрони).
- Визуализация: временные ряды (если есть годовые данные), столбчатые диаграммы частот.
5) Анализ коллокаций
- Окна: лексические коллокации в окне $\pm 5$ слов и синтаксические коллокации (связи по Dependency: object/of, modifier и т.д.).
- Метрики ассоциации: mutual information (MI), t‑score, log‑likelihood (LL), Dice. Сравнивать списки топ‑N (например, $N=50$) по каждой метрике.
- Статистика значимости: для каждого кандидата вычислять LL и p‑значение; корректировать множественные сравнения.
- Сравнение списков: ранговые корреляции (Spearman), коэффициент совпадения (overlap), Rank‑Biased Overlap (RBO) для ранжированных списков.
- Измерение распределения коллокаций и divergence: Jensen‑Shannon divergence между распределениями коллокаций в двух периодах.
6) Семантический дрейф (эмбеддинги)
- Обучить векторные представления отдельно на двух корпусах (word2vec/SGNS, fastText) или использовать временные методы (Temporal Referencing, dynamic embeddings).
- Выравнивание моделей (Orthogonal Procrustes) для сопоставимости; измерять cosine‑distances между векторами слова freedom в периодах и соседних слов.
- Анализ соседей по косинусу, кластеризация соседей, вычисление изменения соседей (Jaccard/overlap).
7) Синтаксический анализ
- Подсчитать частоту конструкций: «freedom of X», attributive uses, predicative, collocations со связками.
- Сравнить распределения грамм. ролей с помощью chi‑square / LL.
8) Качественная проверка
- Выборка concordance‑примеров для мануального кодирования (семантические рамки, позитив/негатив, целевые категории) — для проверки автоматических выводов.
- Аннотировать случайную выборку по каждому периоду: примерно $n=200$ примеров на период или по стратифицированным категориям.
9) Статистика и контроль ошибок
- Коррекция множественных сравнений (например, Benjamini–Hochberg, Bonferroni).
- Проверка устойчивости результатов при изменении параметров (окно $\pm 3$ vs $\pm 5$; разные метрики ассоциации).
10) Выводы, визуализация и ограничения
- Визуализации: сети коллокаций, тепловые карты, временные графики, изменения соседей в эмбеддингах.
- Ограничения: OCR/орфография, жанровый состав, семантическая неоднозначность, corpus representativeness.
- Репликация: публиковать скрипты и выборки для воспроизводимости.
11) Ожидаемые результаты и интерпретация
- Четкое отчётливое отличие частоты/коллокаций подтвердит H1/H2; отсутствие — интерпретировать с учётом жанров и метаданных.
- Комбинация количественных (статистика, эмбеддинги) и качественных (конкордансы) методов даст надёжную интерпретацию изменений значения и употребления слова freedom.
Если нужно, могу дать конкретный рабочий пайплайн с командами для Python (NLTK/spacy/gensim) и примерами параметров.