Коротко и по существу — для каждого метода: какие компетенции он реально выявляет и какие искажения (bias / ошибки измерения) типично даёт. В начале — общее уравнение измерения: наблюдаемый балл = истинный показатель + ошибка
$$X=T+E,$$ и надёжность измерения можно записать как
$$r=\frac{\mathrm{Var}(T)}{\mathrm{Var}(X)}.$$
1) Традиционные экзамены (письменные/тестовые)
- Какие компетенции выявляют:
- Фактические знания и репродуктивное понимание (факты, формулы, определённые алгоритмы).
- Умение быстро решать типовые задачи и применять стандартные процедуры.
- Навыки быстрого чтения условий и управление временем (тест-навыки).
- Типичные искажения/ограничения:
- Конструкт-неактуальность: экзамен измеряет тест-навыки или запоминание вместо глубокого понимания.
- Ситуативная ограниченность (task specificity): высокая зависимость от набора вопросов — низкая генерализуемость.
- Эффекты случайного угадывания, тревоги, плохого самочувствия в день экзамена.
- «Teaching-to-the-test» и подготовка под формат, уменьшение ширины компетенций.
- Смягчение искажения:
- Разнообразие форматов, надёжные задания, стандартизированные критерии, статистическая проверка надёжности ($r$) и дискриминативности заданий.
2) Портфолио
- Какие компетенции выявляют:
- Долгосрочное развитие, интеграция знаний и навыков, способность рефлексировать и самооценивать.
- Процессные умения (планирование, редактирование, проектная работа), творческое мышление и устойчивость.
- Типичные искажения/ограничения:
- Селекция материала: студент выбирает лучшие работы — искажает представление о типичном уровне.
- Влияние помощи/коучинга (внешняя валидность снижается).
- Субъективность оценивания и низкая межэкспертная согласованность без рубрик.
- Трудоёмкость и сложности стандартизации.
- Смягчение искажения:
- Чёткие рубрики, требование полноты (включать рабочие версии), калибровка рецензентов, верификация аутентичности работ.
3) Оценивание навыков (практические задания, оценочные сессии, OSCE, проекты с наблюдением)
- Какие компетенции выявляют:
- Прикладные/профессиональные навыки, коммуникация, командная работа, принятие решений в ситуации, перенос знаний на практику.
- Поведение в реальном или смоделированном контексте (performance).
- Типичные искажения/ограничения:
- Контекст-зависимость: навыки могут не переноситься в другие ситуации (низкая генерализуемость).
- Рейтинговая субъективность и эффект наблюдателя (интер-рэйтерные различия).
- Ресурсозатратность и возможная неравномерность условий (разные оборудование/кейс).
- Смягчение искажения:
- Стандартизированные сценарии, тренировка и калибровка оценщиков, множественные наблюдения/репликации задач.
Краткое сравнение по основным критериям (очень сжато)
- Надёжность: экзамены > навыковые станции (при плохой стандартизации) ≈ портфолио (если нет стандартизированных рубрик).
- Аутентичность/реалистичность: портфолио и навыковые задачи > традиционные экзамены.
- Валидность для глубоких компетенций: портфолио/навыки > экзамены.
- Стоимость/масштабируемость: экзамены наиболее экономичны, портфолио и практики — дороже.
Рекомендация (конкретное практическое правило):
- Триангулировать: комбинировать методы. Например,
$$\text{Итоговый балл}=w_1\cdot \text{экзамен}+w_2\cdot \text{портфолио}+w_3\cdot \text{практика},$$ с ясными весами $w_i$ и мерами качества (рубрики, калибровка, статистическая проверка надёжности).