Краткая простая модель и план (конкретно, легко реализуемый baseline):
1) Выбор признаков
- Текстовые признаки:
- TF‑IDF на word n‑grams (n=$1$-$2$), max_features=$10000$.
- Символьные n‑grams (n=$3$-$5$) для устойчивости к мутациям слов.
- Частотные/позиционные признаки: частота «спамных» слов, наличие «unsubscribe», «buy now», слова в теме.
- Структурные/метаданные:
- Количество ссылок, количество доменов в письме, наличие IP в ссылках.
- Наличие вложений, тип вложения, размер письма.
- Отправитель (домен) — кодировать категориально (one‑hot / target encoding / hashing).
- Статистические признаки:
- Доля заглавных букв, число восклицательных знаков, длина письма, число слов.
- Дополнительно:
- Черные/белые списки доменов; URL‑фичи (домены, TTL, WHOIS age — опционально).
2) Модель (baseline)
- Простая и эффективная: TF‑IDF + Logistic Regression с регуляризацией $L_2$ (или Multinomial Naive Bayes для очень быстрой базовой проверки).
- Пайплайн: текстовая предобработка → TF‑IDF / feature union → scaler для числовых фич → classifier.
- Рекомендация: LogisticRegression(class_weight='balanced', C — подобрать).
3) Валидация
- Использовать стратифицированную k‑fold валидацию, например $k=5$ (stratified $k$-fold) для учета дисбаланса.
- Если данные временные (письма идут по времени) — делать time‑based split (train up to t, validate after t).
- Для подбора гиперпараметров — nested CV или grid/random search внутри стратифицированного CV.
- Держать отдельный отложенный тест‑набор (hold‑out) для окончательной оценки.
4) Метрики
- Основные: precision, recall, F1. Формулы:
- precision $=\frac{TP}{TP+FP}$ - recall $=\frac{TP}{TP+FN}$ - $F1=2\cdot \frac{precision\cdot recall}{precision+recall}$ - Дополнительно: PR AUC (важнее при сильном дисбалансе), ROC AUC, accuracy (менее информативна при дисбалансе).
- Для операционной настройки — выбирать порог классификации по trade‑off precision/recall (precision@fixed recall или наоборот).
5) Борьба с переобучением
- Регуляризация:
- Линейные модели: $L_2$ (Ridge) или $L_1$ (Lasso) для отбора признаков.
- Для деревьев/градиентных бустингов: ограничение глубины, min_samples_leaf, learning_rate.
- Простота модели: начинать с простой модели (логистическая регрессия / Naive Bayes).
- Уменьшение размерности: Truncated SVD (LSA) для TF‑IDF, отбор по chi2 / mutual information.
- Контроль признаков: удалять редкие n‑grams, ограничить max_features в TF‑IDF.
- Добавить больше данных или аугментацию (перефразирование, симуляция спама) при возможности.
- Для NB — сглаживание (add‑alpha).
- Ранний стоп (для градиентных методов) и кросс‑валидация при тюнинге.
- Ensemble сдерживает переобучение только при правильной регуляризации (bagging, простой stacking).
6) Практические рекомендации и порядок работы
- Построить baseline: MultinomialNB + TF‑IDF (быстро) и LogisticRegression + TF‑IDF.
- Оценить по stratified $5$-fold: precision, recall, F1, PR AUC.
- Тюнить регуляризацию, max_features, n‑gram range. Подбирать порог для желаемого уровня recall/precision.
- При ухудшении на валидации — упростить признаки, увеличить регуляризацию, уменьшить размерность или собрать больше данных.
Это минимально достаточная модель и процесс для надёжной классификации спам/не‑спам с объяснимыми шагами и мерами против переобучения.