Задача: разработать и психометрически обосновать тест для измерения эмоционального интеллекта (ЭИ) у студентов — пройти полный цикл от концептуализации до подтверждения надежности и валидности инструмента.
Краткий пошаговый план с необходимыми процедурами и критериями
1) Концептуализация и спецификация конструкции
- Описать компоненты ЭИ (например, восприятие эмоций, понимание, регуляция, использование).
- Сформулировать оперативные определения и гипотезы о факторной структуре.
2) Генерация и отбор пунктов
- Создать широкую книгу пунктов (самоотчет, ситуационные задания).
- Провести экспертную ревизию по содержательной релевантности и ясности.
3) Контентная валидность
- Экспертная оценка: рассчитать Content Validity Ratio (CVR) и Content Validity Index (CVI).
- Критерий: принять пункты с CVR выше критического для числа экспертов; итоговый CVI близкий к $1$.
4) Пилотное тестирование
- Провести пилот на репрезентативной подвыборке студентов; собрать данные по восприятию пунктов, времени, распределению ответов.
- Желательное N для начального анализа: не менее $N=100$–$200$.
5) Анализ пунктов (item analysis)
- Частоты, дисперсии, асимметрия, потолочные/половые эффекты.
- Дискриминация: скорр-корреляции пункт–тотал (исключая пункт); принимать пункты с корреляцией обычно $>0.30$.
6) Исследование факторной структуры
- EFA: определить число факторов (методы: parallel analysis, scree). Требуемый размер выборки обычно $N\ge 5\text{–}10$ на пункт и минимум $N\approx 200$.
- Критерии загрузок: факторная загрузка $>0.40$ считается приемлемой.
- CFA на отдельной валидационной выборке для подтверждения структуры; показатели соответствия: CFI/TLI $>0.90$ (желательно $>0.95$), RMSEA \< $0.08$ (лучше \< $0.06$), SRMR \< $0.08$.
7) Надёжность измерений
- Внутренняя согласованность: Cronbach’s alpha $\alpha$ (формула: $$\alpha =\frac{k}{k-1}\left(1-\frac{\sum {\sigma }_i^2}{{\sigma }_T^2}\right)$$), предпочтительно $\alpha \ge 0.70$ (для шкал-зондов целевой $\ge 0.80$). Рекомендуется также McDonald’s omega.
- Тест–рестест: интервал $2\text{–}4$ недели; ICC для постоянства во времени: $$ICC=\frac{{\sigma }_{between}^2}{{\sigma }_{between}^2+{\sigma }_{within}^2}$$, критерий $ICC\ge 0.70$.
- При необходимости — альтернативные формы или межэкспертная надежность.
8) Конструктная валидность
- Сходимость: корреляции с близкими конструкциями (эмпирически ожидаемые) — значимые и умеренные/высокие.
- Дискриминантность: низкие корреляции с не связанными конструктами.
- Показатели на латентном уровне: Average Variance Extracted (AVE) и Composite Reliability (CR): $$AVE=\frac{\sum {\lambda }_i^2}{\sum {\lambda }_i^2+\sum {\theta }_i},CR=\frac{(\sum {\lambda }_i{)}^2}{(\sum {\lambda }_i{)}^2+\sum {\theta }_i}$$; критерии: $AVE\ge 0.50$, $CR\ge 0.70$.
9) Критериальная валидность
- Конкурентная (concurrent): корреляция с внешними критериями в тот же момент (напр., академическая адаптация, конфликтные поведения).
- Предсказательная: регрессия на будущие показатели (успеваемость, стресс). Оценивать величину эффекта и вклад в объяснение дисперсии.
10) Анализ по модели IRT и DIF
- При необходимости применить IRT (2PL/GRM) для оценки параметров пунктов (дискриминация $a$, трудность/порог $b$). Требуемая выборка для стабильных оценок обычно $N\ge 500$.
- Проверить DIF (по полу, курсу, языку) методами Mantel–Haenszel, логистической регрессии или IRT; исключить или скорректировать проблемные пункты.
11) Многообразие и интерференс измерения
- Тестировать инвариантность измерения (multi-group CFA): конфигурационная, метрическая, скалярная инвариантность между группами (пол, курс, язык).
- При отсутствии инвариантности скорректировать интерпретацию или адаптировать шкалу.
12) Нормирование, шкалирование и документация
- Построить нормы (перцентили, нормативные таблицы) на большой репрезентативной выборке.
- Описать процедуру администрирования, шкалы, интерпретацию баллов, ограничения и ожидаемые погрешности измерения (SEM).
- Составить технический отчет/мануал с результатами всех анализов.
Статистические рекомендации по выборкам и критериям
- EFA/CFA: минимум $N\approx 200$ (лучше $N\ge 300$).
- IRT/DIF: $N\ge 500$ для стабильности параметров.
- Внутренняя согласованность: целевой $\alpha \ge 0.70\text{–}0.80$.
- Тест–рестест ICC: $\ge 0.70$.
- CFA-fit: CFI/TLI $>0.90$ (идеально $>0.95$), RMSEA \< $0.08$ (идеально \< $0.06$), SRMR \< $0.08$.
Этические и практические моменты
- Согласие участников, анонимность, безопасность данных.
- При переводе — процедура перевода и обратного перевода; повторные проверки валидности.
Коротко: пройдите этапы концептуализации → генерации/отбора пунктов → пилота → item analysis → EFA → CFA → надежность (alpha, omega, ICC) → конвергентная/дискриминантная и критериальная валидность → IRT и DIF → инвариантность → нормирование и документирование.