Ошибка: при предобработке вы заново вызываете `fit` на тестовой выборке:
```
X_train = scaler.fit_transform(X_train)
X_test = scaler.fit_transform(X_test) # неправильно
```
Правильно — вычислять параметры стандартизации (среднее и дисперсию) только по тренировочным данным и затем применять их к тесту:
```
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test) # правильно
```
Почему это ошибка и как она ведёт к утечке/неверной оценке:
- StandardScaler вычисляет параметры
$\mu =\frac{1}{n}{\sum }_{i=1}^n{x}_i$ и ${\sigma }^2=\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu {)}^2$ и преобразует по формуле $x^{\prime }=\frac{x-\mu }{\sigma }$.
- Если вы вызываете `fit` на тесте, вы используете информацию о тестовом множестве (его $\mu ,\sigma$) при подготовке признаков для оценки модели. Это — утечка данных (data leakage): оценка качества опирается на статистики, которые в реальном применении недоступны при обучении модели.
- Последствия: искажение метрик — оценка может быть оптимистичной или вообще некорректной (и часто непредсказуемо завышенной/пониженной), плюс несоответствие представлений тренировочных и тестовых признаков (если стандартизация разная), что нарушает принцип честной валидации.
Рекомендации и исправление:
- Всегда обучать преобразователи только на тренировочных данных: `scaler.fit(X_train)` или `fit_transform` на train, затем `transform` на test.
- Используйте sklearn.pipeline.Pipeline, чтобы гарантировать правильный порядок (преобразование обучается в каждом фолде отдельно при кросс-валидации).
Пример:
```
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
pipe = make_pipeline(StandardScaler(), LogisticRegression())
pipe.fit(X_train, y_train)
score = pipe.score(X_test, y_test)
```
- При кросс-валидации применяйте pipeline внутри кросс-валидации (например, `cross_val_score(pipe, X, y, cv=...)`) — тогда scaler будет `fit` только на тренировочной части каждого фолда.
Какие процедуры валидации подходят для разных задач (кратко):
- IID (динамически не зависимые, независимые наблюдения):
- K-Fold CV — для общих задач регрессии/классификации.
- StratifiedKFold — для классификации с несбалансированными классами (сохраняет пропорции классов).
- RepeatedKFold / ShuffleSplit — для устойчивой оценки при небольших данных.
- Групповые данные (зависимости внутри групп, например пациенты, пользователи):
- GroupKFold — чтобы все наблюдения одной группы оказались в одном фолде (нет утечки между train/test).
- Временные ряды / последовательности:
- TimeSeriesSplit или скользящее/expanding окно (no shuffling). Обучаете на прошлых данных, тестируете на будущих.
- Временная валидация: сначала train на [1..t], test на (t+1..t+h), затем сдвиг вперед.
- Гиперпараметрическая оптимизация:
- Nested CV (вложенная валидация) — внешний цикл для оценки, внутренний — для выбора гиперпараметров (чтобы избежать оптимистичного смещения).
- Малые выборки / оставить одно наблюдение:
- Leave-One-Out (LOO) — дорого вычислительно, применяется редко.
Ключевые практики:
- Всегда вычислять любые параметры препроцессинга (скейлинг, имputation, feature selection) только по обучающей части каждого фолда.
- Использовать Pipeline + соответствующий splitter (StratifiedKFold, GroupKFold, TimeSeriesSplit) согласно структуре данных.
Если нужно — привожу минимальный пример с TimeSeriesSplit и Pipeline.