Короткая цель: дать повторяемую методику (ручную + автоматическую) для выявления и количественной оценки жанровой гибридности текста, где пересекаются эпос, лирика и драматические вставки.
Ключевые признаки по жанрам
- Эпос: повествование, сюжетная линейность, третье лицо/омниск. фокализация, временные маркеры, сцены, именованные персонажи, большие абзацы. Маркеры: повествовательные глаголы («сказал», «стоял», «идти»), прошедшее время.
- Лирика: субъективность, первая персона, метафоры, образность, ритм/метр, интенция эмоционального высказывания, короткие строки/строфы, повтор, анафора.
- Драма: прямая речь/диалог, реплики, имена перед репликой, сценические ремарки (в скобках, курсивом), смена говорящих, маркировки сцен/актов.
Шаги методики
1) Подготовка (корпус и разметка). Собрать корпус и, при возможности, разметить ручным аннотированием фрагменты как «Э», «Л», «Д» для обучения/валидации.
2) Предобработка: токенизация, разбиение на абзацы/строфы/строки, предложение, POS-тегинг, лемматизация, распознавание прямой речи и сценических ремарок.
3) Извлечение признаков (по фрагментам/окнам текста):
- синтаксические и лексические: частота местоимений первого лица $f_{1p}$, третьего лица $f_{3p}$, прошедшего/настоящего времени $f_{past},f_{pres}$;
- диалоговые: доля прямой речи по символам/словам $d$, число меток говорящих на 1000 слов $g_{rate}$;
- поэтические: средняя длина строки $L_{line}$, дисперсия длины строки ${\sigma }_L$, наличие рифмы/повторов, высокая доля метафор/ эпитетов $m$ (через модели метафор/риторики);
- повествовательные: плотность именованных сущностей $ne$, событийных глаголов $v_{ev}$;
- сценические маркеры: наличие скобок/курсива/инструкций $s$.
4) Нормализация признаков на диапазон $[0,1]$ для каждого фрагмента: получить признаки $x_i\in [0,1]$.
5) Вычисление жанровых скорингов (пример — линейная модель):
- эпос: $S_E=w_{ne}ne+w_v{v}_{ev}+w_{3p}{f}_{3p}+\dots$ - лирика: $S_L=w_{1p}{f}_{1p}+w_{m}m+w_L(1-L_{line\_norm})+\dots$ - драма: $S_D=w_{d}d+w_g{g}_{rate}+w_{s}s+\dots$ Подбор весов $w$ — через обучение (логистическая регрессия/Random Forest) на размеченных данных или вручную по экспертизе.
6) Нормировка итоговых скорингов к сумме: $p_g=\frac{S_g}{S_E+S_L+S_D}$ для $g\in \{E,L,D\}$.
7) Оценка гибридности:
- энтропийная мера: $H=-{\sum }_g{p}_g\log p_g$. Максимальная энтропия при $3$ категориях равна $\log 3$.
- нормированная гибридность: $H_{norm}=\frac{H}{\log 3}\in [0,1]$.
- альтернативная простая мера: $HybridIndex=1-\max (p_E,p_L,p_D)$ (чем ближе к $1$, тем более смешанный фрагмент).
8) Классификация фрагмента:
- доминирующий жанр: argmax of $p_g$.
- гибридный фрагмент, если $H_{norm}>t_H$ (рекомендуется $t_H=0.6$) или если $\max (p_g)<t_{max}$ (рекомендуется $t_{max}=0.5$).
9) Визуализация и аналитика: временная шкала/heatmap по тексту для $p_E,p_L,p_D$, графики $H_{norm}$.
10) Валидация: кросс-валидация, метрики — accuracy/precision/recall по каждому жанру, согласованность аннотаторов (Коэнов kappa).
Практические советы и эвристики
- Разбейте текст на окна длиной $N$ предложений или $M$ строк (рекомендуемо $N=5$ или $M=8$), проверяйте чувствительность результата к размеру.
- Для поэзии/лирики полезна детекция метра (счёт слогов, ударение) и рифмы; для драмы — парсинг имен реплик (шаблоны «ИМЯ:»).
- Комбинируйте правило-ориентированные детекторы и ML-модели: правила хорошо ловят драматические маркеры; ML — комбинации признаков.
- Для низкого количества размеченных данных — активное обучение и ручная разметка конфликтных фрагментов.
Выводы по интерпретации
- Низкая $H_{norm}$: текст жанрово однороден.
- Высокая $H_{norm}$ при явной доминанте одного жанра (высокое $p_g$) означает «главный жанр + вставки».
- Высокая $H_{norm}$ и близкие $p_g$ — истинная жанровая гибридность.
Необходимые инструменты
- NLP-библиотеки: spaCy/UDPipe, инструменты для детекции прямой речи; библиотеки для рифм/метрики; инструменты визуализации (Matplotlib/Plotly).
- Корпус размеченных образцов для обучения/валидации.
Если нужно, могу прислать: шаблон кода-пайплайна (Python) с примерами признаков и формулами расчёта $S_E,S_L,S_D$ и $H_{norm}$.