Корпусные исследования в лексикологии — ключевой инструмент для описания значения и употребления многозначного слова: они дают эмпирическую картину частотности смыслов, их распределения по жанрам и типичные контекстные паттерны (коллокации), что позволяет различать и описывать отдельные значения.
Что даёт частотный анализ (коротко)
- Оценка относительной важности смыслов: частота встреч слова и частота контекстов, соотносимых с каждым смыслом. Нормализация: частота на миллион слов
$f_{norm}=\frac{f}{N}\times 10^6$.
- Распределение по подкорпусам/жанрам (ключевые корпуса): позволяет увидеть, в каких сферах доминирует тот или иной смысл (специализация).
- Меры дисперсии/равномерности (чтобы отличить «равномерно распространённый» смысл от «локального»): сравнение частот по сегментам, либо статистические индикаторы (Juilland, D и т.п.).
- Сравнительная «ключевость» между корпусами (например, художественная vs научная) обычно оценивается лог-лайклихудом (Dunning) или другими тестами.
Роль коллокаций
- Коллокации раскрывают семантические и синтаксические предпочтения слова: какие слова чаще всего рядом (в фиксированном окне или в конкретных слотах аргумента).
- Часто используемые меры:
- PMI (Pointwise Mutual Information)
$PMI(w,c)={\log }_2\frac{P(w,c)}{P(w)P(c)}\approx {\log }_2\frac{f_{wc}\cdot N}{f_w{f}_c}$.
(хорош для специфичных, но редких коллокатов).
- t-score
$t=\frac{f_{wc}-E_{wc}}{\sqrt{f_{wc}}},E_{wc}=\frac{f_w{f}_c}{N}$.
(устойчивая оценка для частых коллокатов).
- Dice
$Dice=\frac{2f_{wc}}{f_w+f_c}$.
- Лог-лайклихуд для статистической значимости сочетания.
- Интерпретация: разные смыслы слова имеют разные коллокационные профили (наборы сильных коллокатов), что позволяет их разграничить автоматически или вручную.
Как это помогает раскрыть многозначность — практическая схема
1. Собрать все вхождения леммы в корпус, нормализовать частоты ($f_{norm}$).
2. Просмотреть конкордансы (контексты) для качественной интуиции о смыслах.
3. Выделить/разметить подкорпусы по жанрам и посчитать распределение смыслов по ним.
4. Посчитать коллокации (окно ±n, синтаксические слоты) и ранжировать по PMI / t-score / Dice / G2.
5. Кластеризация контекстов или векторная индукция смыслов (word sense induction) — автоматическое выделение значений по сходству контекстов.
6. Интерпретировать кластеры с учётом частот, жанровой привязки и синтаксики; верифицировать вручную.
Короткий пример (иллюстрация)
- Слово «ключ» имеет смыслы: (A) механический предмет, (B) источник воды, (C) средство/решение. Для каждого смысла будут разные сильные коллокации:
- A: глаголы «открыть», «повернуть», словосочетания «ключ от», «запереть на ключ».
- B: «родник», «источник», «набирать воду», «родниковый ключ» (географическая лексика).
- C: «ключ к задаче», «ключ к разгадке», «дать ключ».
- Частотный анализ покажет, какой из смыслов наиболее частотен в корпусе; анализ распределения по жанрам покажет, что, скажем, смысл B силен в топонимических/краеведческих текстах, а смысл C — в публицистике/академическом дискурсе.
- Коллокации и меры (PMI vs t-score) помогут отделить специфические маркеры отдельных смыслов от общих частых сочетаний.
Ограничения и меры предосторожности
- Плотность корпуса и разрядность (sparse data) влияют на надёжность PMI и других мер.
- Ошибки лемматизации/тегирования и омонимия/морфологические совпадения требуют ручной проверки.
- Окно для коллокаций и выбор меры влияют на результаты — рекомендовано комбинировать несколько мер и дополнять качественным анализом.
Краткий итог
- Частотный анализ показывает, какие смыслы доминируют и как они распределены по жанрам; коллокации дают «контекстные профили» смыслов, их селективность и коннотативные оттенки. Вместе они позволяют надёжно различать и описывать значения многозначного слова, особенно при дополни­тельной кластеризации контекстов и верификации вручную.