Кратко: сочетание лингвистических (лексико‑морфологических, синтаксических, поэтических) маркёров и количественных методов (частотный анализ, нормализация, многомерные методы, статистическое тестирование, классификация) + обязательная качественная интерпретация. Ниже — критерии, конкретные маркёры и практический пошаговый план с формулами для вычислений.
Критерии и методы (общее)
- Лексика: частоты служебных слов, лемм, hapax'ов, показатель лекс. богатства.
- Морфология/синтаксис: распределение частей речи (POS), средняя длина синтаксической единицы, средняя зависимая длина.
- Фонетика/звукопись: частота аллитераций, ассонансов, согласных/гласных сочетаний.
- Метрика и формальные поэтические признаки: средняя длина строки, распределение рифм, схема рифмовки, частота эния́мба(ж)мента.
- Стиль‑марки: пунктуация (тире, многоточие, восклиц.), шаблоны обращений, цитатность, метафоры/эпитеты.
- Количественные методы: частотный анализ, нормализация, z‑стандартизация, TF–IDF, косинусная похожесть, Burrows's Delta, KL‑дивергенция, кластеризация, PCA/MDS, классификация (SVM, RandomForest) с кросс‑валидацией.
- Статистика: сигнификантность различий (χ², t‑тест / перестановочные тесты), оценка эффект‑сайза (Cohen's d), бутстрэп.
Основные формулы (используйте при расчётах)
- Нормализация частоты на $10^4$ слов: $$f^{\prime }=\frac{f}{N}\cdot 10^4,$$ где $f$ — абсолютная частота, $N$ — размер корпуса в словах.
- TTR (type‑token ratio): $$\mathrm{TTR}=\frac{V}{N},$$ где $V$ — число типов (лемм), $N$ — число токенов.
- Hapax‑rate: $$H=\frac{V_1}{N},$$ где $V_1$ — число слов, встречающихся 1 раз.
- Yule's K: $$K=10^4\cdot \frac{{\sum }_i{i}^2{V}_i-N}{N^2},$$ где $V_i$ — число типов с частотой $i$.
- TF–IDF: $${\mathrm{tfidf}}_{t,d}=t{f}_{t,d}\cdot \log \frac{N_d}{d{f}_t},$$ (стандартная формула; $N_d$ — число документов/текстов).
- Косинусная схожесть векторных представлений: $$\cos \theta =\frac{{\sum }_i{x}_i{y}_i}{\sqrt{{\sum }_i{x}_i^2}\sqrt{{\sum }_i{y}_i^2}}.$$ - Burrows's Delta (упрощённо): для выбранных $n$ частых слов считать z‑оценки $z_{A,i},z_{B,i}$, затем $$\Delta =\frac{1}{n}\sum _{i=1}^n|z_{A,i}-z_{B,i}|.$$ - KL‑дивергенция: $$D_{KL}(P\Vert Q)=\sum _{i}P(i)\log \frac{P(i)}{Q(i)}.$$ - Cohen's d (эффект‑сайз для средних): $$d=\frac{{\bar{x}}_1-{\bar{x}}_2}{s_p},s_p=\sqrt{\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}}.$$
Конкретные текстовые маркёры (рекомендуемая выборка)
1. Функциональные слова — частоты нормализованные (использовать $\text{top}50$–$\text{top}100$ служебных слов): (и, в, на, не, я, ты, он, с, что, как, но, для…).
2. Символы/пунктуация — частота: запятая, точка, тире, многоточие, двоеточие, восклицательный/вопросительный знаки; частота строк с прямой речью/кавычками.
3. Лексические: процент hapax, доля редких слов (frequency < threshold), средняя длина слова (в букв.).
4. Фонетические/звукопись: частота аллитераций (соседние слова с одинаковыми нач. фонемами), ассонансов (повтор гласных), соотношение гласных/согласных.
5. Поэтические: средняя длина строки (слов/слогов), распределение метрических схем (если возможно), частота рифмованных строк, процент рифмующихся окончаний (слово‑концов), схема рифмовки (ABAB, AABB и т.п.).
6. Синтаксические: распределение POS (части речи по относ. частоте), доля предложений с подчинёнными конструкциями, средняя глубина синтаксического дерева, средняя длина предложения в словах.
7. Морфология: соотношение инфинитивов/личных форм, распределение времён/видов глагола (если релевантно), % причастий/деепричастий.
8. Коллокации и n‑граммы: частые словосочетания (би‑/триграммы), характерные character n‑grams ($3$-$5$ букв).
9. Стилометрические векторы: TF–IDF на леммах / character n‑grams; частотные векторы для последующих методов кластеризации/классификации.
10. Семантика/тематика: распределение тематических кластеров (LDA), частоты тематических лемм (природа, любовь, смерть и т.п.) для контроля жанровых различий.
Практический план исследования (по шагам)
1. Постановка задач: подтвердить/опровергнуть сходство/различие авторского стиля между двумя сборниками; выделить маркёры, характерные для автора A vs B.
2. Сбор корпуса: оцифровать оба сборника, разбить на аналитические единицы (стихотворения, строфы, строки). Фиксировать метаданные (год, изд., посвящения).
3. Предобработка:
- нормализация (привести кавычки, тире), но сохранить пунктуацию как маркёр;
- токенизация, лемматизация (сохранять исходную форму при необходимости для рифм/метрики);
- POS‑тэггинг, синтаксический парсинг (если есть ресурсы для русского).
4. Выделение маркёров (см. список выше) и нормализация (частоты на $10^4$ слов или относительные доли).
- считать для каждого текста: векторы частот функц. слов ($\text{top}50$), POS‑распределение, TTR, Hapax, Yule's K, средняя длина строки/слова, метрика/рифма.
5. Описательная статистика и визуализация:
- гистограммы, boxplots для ключевых маркёров;
- корреляционные матрицы маркёров.
6. Сравнительный статистический анализ:
- тесты различий: χ² для частот категорий, t‑тест/Мann‑Whitney для непрерывных маркёров, перестановочные тесты для малых выборок;
- вычислить effect sizes (Cohen's d).
7. Многомерный анализ:
- PCA / MDS для снижения размерности и визуализации группировки текстов;
- кластеризация (agglomerative, k‑means) для проверки естественных групп.
8. Стилометрическая классификация:
- подготовить вектора (например, top $n$ функц. слов + char 3‑grams), обучить SVM/RandomForest с кросс‑валидацией (k‑fold, например $k=10$);
- оценить точность, precision/recall; permutation tests для значимости.
9. Мероприятия по проверке устойчивости:
- повтор с разными наборов маркёров (функц. слова vs char n‑grams vs POS);
- бутстрэп/перестановки для оценки стабильности маркёров.
10. Качественная интерпретация:
- взять значимые маркёры и сопоставить с примерами из текстов (close reading);
- учитывать жанровые/темпоральные факторы (внешние влияние, редакционные изменения).
11. Отчёт и выводы: указать какие маркёры статистически различимы, их интерпретация и ограничения исследования.
Практические настройки и рекомендации
- Выбирать $\text{top}50$–$\text{top}100$ служебных слов для базовой стилометрии; char n‑grams $3$–$5$.
- Нормализовать по объёму корпуса: использовать частоты на $10^4$ слов.
- Для Burrows's Delta выбирать $n=150$–$n=500$ наиболее частых слов (в зависимости от объёма корпуса).
- При малых корпусах применять перестановочные тесты и бутстрэп вместо классических асимптотических тестов.
- Всегда сопровождать количественные результаты примером текста и интерпретацией — автоматические маркёры объясняют «что», но не «почему».
Ограничения и контрольные замечания
- Отличия жанра/темы/редакции могут маскировать авторский почерк — контролируйте тему (тематика/жанр как ковариата).
- Метрика и рифма в поэзии требуют сохранения исходной формы (ненадёжно лемматизировать окончания при анализе рифм).
- Результаты должны сочетать статистику и качественное чтение.
Если нужно, могу: a) предложить конкретный набор $\text{top}n$ маркёров для автоматического извлечения; b) показать пример кода для расчёта Burrows's Delta / кластеризации.