Краткий план эксперимента и рекомендации.
1) Цели и конфигурация эксперимента
- Определить: аппаратную платформу (число сокетов/ядер, частоты, NUMA), компилятор/флаги, среду выполнения (MP, threads), версии библиотек.
- Зафиксировать: режим питания (CPU governor), изоляцию (выделенный узел или cpuset), привязку тредов (pinning), отключить гиперпоточность при необходимости.
- Прогрев и повторяемость: выполнить 3–5 прогревных прогонов, затем 5–20 измерений для статистики.
2) Какие метрики собирать
- Время выполнения:
- полное время $T_p$ на $p$ потоках/процессах;
- разбивка на фазы: вычисление, коммуникация, синхронизация, I/O (время каждой фазы).
- Производность и эффективность:
- ускорение $S_p=\frac{T_1}{T_p}$;
- эффективность $E_p=\frac{S_p}{p}$.
- Оверхеды и дробление:
- время ожидания (idle, wait), время барьеров, время передачи сообщений.
- Аппаратные счётчики:
- загрузка CPU, IPC, CPI, кеш-промахи (L1/L2/L3), пропускная способность памяти (GB/s), TLB-misses.
- Сеть/интерконнект: пропускная способность, латентность (для распределённых систем).
- Системные события: контекстные переключения, страницы подкачки, компетенция по NUMA.
- Энергия (по возможности): потребление и энергоэффективность.
- Статистика по потокам/процессам: баланс нагрузки, разброс времен.
Инструменты: perf, PAPI, likwid, Intel VTune, HPCToolkit, MPI profilers (mpitrace, mpiP), strace/htop, numastat.
3) Как измерять масштабируемость (эксперименты)
- Strong scaling (фиксированный размер задачи): фиксируете задачу, меняете $p$, измеряете $T_p$, строите $S_p$ и $E_p$. Это показывает пределы ускорения для данного размера.
- Weak scaling (масштабируемый размер задачи): увеличиваете объём работы пропорционально $p$ (например, N ~ p), измеряете время/пропускную способность. Идеал — постоянное время при росте $p$.
- Графики:
- $S_p$ против $p$ с идеальной линейной кривой;
- $E_p$ против $p$;
- время выполнения по фазам (stacked bars) по $p$;
- пропускная способность / латентность (weak scaling).
- Статистика: для каждого $p$ — среднее, стандартное отклонение, доверительный интервал; отметить выбросы.
- Оценка параллельной доли: из измеренного $S_p$ можно оценить долю последовательной работы $s$:
$$s=\frac{1/S_p-1/p}{1-1/p},f=1-s.$$ (где $f$ — параллельная доля).
4) Где и как проявляются эффекты Amdahl'а и Gustafson'а
- Amdahl (ограничение при фиксированном размере задачи):
- Модель: пусть последовательная доля $s$, параллельная $1-s$. Тогда
$$S_p=\frac{1}{s+\frac{1-s}{p}}.$$ - Последствие: при росте $p$ скорость стремится к пределу $1/s$. На практике проявляется как «плато» ускорения при увеличении числа ядер — причина: неизбежные сериализованные участки, барьеры, и накладные расходы.
- Где замечаете: при strong scaling, когда время синхронизации/барьеров или последовательный код доминирует; когда нагрузка слишком мала для большого $p$.
- Gustafson (масштабируемая задача, параллельная часть растёт с размером):
- Модель (с сериал. долей $s$):
$$S_p=s+p(1-s)=p-s(p-1).$$ - Последствие: если вы увеличиваете размер задачи с ростом $p$, практически достигается линейное ускорение — полезно для задач, где можно увеличить объём параллельной работы.
- Где замечаете: при weak scaling, когда накладные синхронизации растут медленнее, чем параллельная работа; при вычислительно интенсивных задачах с локальной работой.
- Практические дополнительные ограничители (помимо идеальных моделей):
- Память/канал: насыщение полосы пропускания памяти или шин/интерконнекта приводит к падению эффективности.
- Когерентность кеша и false sharing — возрастание кеш-промахов и синхронизаций.
- Баланс нагрузки: неоднородность времени работы потоков/процессов.
- Оверхед планировщика/контекстных переключений.
- Малые сообщения / высокая латентность при распределённой коммуникации.
5) Диагностика и локализация проблем
- Разбивайте время по категориям: если коммуникация/синхронизация растёт с $p$ — причина явно не в Amdahl’е, а в накладных.
- Выполняйте микробенчмарки:
- измерить max memory bandwidth (stream-like) — проверка на насыщение памяти;
- измерить latency/bandwidth сети;
- измерить стоимость барьеров и atomic операций.
- Трассировка: временные диаграммы (timeline) покажут ожидания и дисбаланс.
- Сопряжение профилирования (горячие точки) и аппаратных счётчиков для подтверждения узких мест.
6) Рекомендации по оформлению результатов
- Привести таблицу/графики: $p$, средний $T_p$, std, $S_p$, $E_p$, доля времени в коммуникации/синхронизации.
- Показывать и strong-, и weak-scaling; сравнивать с Amdahl и Gustafson (построить теоретические кривые для оценочных $s$).
- Обсудить наблюдаемые отклонения от моделей и предположить причины (бандвич, кеши, баланс).
Коротко: выполняйте оба набора экспериментов (strong и weak), собирайте полную разбивку времени и аппаратные счётчики, сравнивайте реальные кривые с формулами Amdahl $S_p=\frac{1}{s+(1-s)/p}$ и Gustafson $S_p=s+p(1-s)$, и используйте профайлинг + микробенчмарки, чтобы отличить теоретические ограничения от практических узких мест (память, сеть, синхронизация, баланс).