Кратко: архитектура фон Неймана (единое адресуемое пространство команд и данных, последовательный цикл «извлечь‑расшифровать‑выполнить») сформировала базовую модель вычислителя и одновременно породила «фон‑неймановский узел» — узкое место между процессором и памятью. Это стимулировало развитие техник и архитектур, разрывающих последовательность и снижать зависимость от единой шины: кэши, конвейеры, суперскалярность, предсказание ветвлений, многоядерность, распределённые системы, GPU и т. д.
Ключевой формализм ограничения параллелизма:
- Amdahl: скорость на $n$ процессорах при доле параллельного кода $p$: $S(n)=\frac{1}{(1-p)+\frac{p}{n}}$ — показывает верхний предел ускорения при фиксированной задаче.
- Gustafson (масштабируемый случай): $S(n)=(1-p)+p\cdot n$ — оправдывает увеличение рабочих нагрузок с ростом ядер.
Альтернативы фон‑Нейману (XX–XXI вв.) — с краткими преимуществами и недостатками:
1) Гарвардская архитектура (раздельные памяти для инструкций и данных)
- Плюсы: параллельный доступ к код/данным, проще конвейеризация, уменьшение конфликтов доступа.
- Минусы: сложнее динамическая загрузка кода/самообновляемый код, менее гибкая память.
2) Векторные и SIMD/GPU/TPU (данно‑параллельные процессоры, массивы сопроцессоров, systolic arrays)
- Плюсы: очень высокая пропускная способность для регулярных численных задач и ML; энергоэффективность.
- Минусы: плохо для нерегулярных ветвящихся задач и непредсказуемой памяти; требуется адаптация алгоритмов (развёртывание данных).
3) Многоядерные и MIMD-кластеры (shared memory, NUMA, MPI)
- Плюсы: масштабируемость, общая модель программирования (threads, message passing) для больших задач.
- Минусы: проблемы согласованности кешей, синхронизация, накладные расходы на коммуникацию; сложность отладки и параллелизации.
4) Dataflow‑машины и потоковые модели (концепция вычисления при наличии входных данных)
- Плюсы: естественно выражают параллелизм данных/зависимостей, минимизируют центральный цикл управления.
- Минусы: сложная реализация аппаратно и программно; большие накладные расходы на управление событиями; ограниченная коммерческая успешность.
5) VLIW / EPIC (перекладывание выявления параллелизма на компилятор)
- Плюсы: упрощение аппаратной логики, высокая производительность при хорошем компиляторе.
- Минусы: зависимость от качества компиляции, проблемы совместимости бинарников, кодовый «раздутие».
6) Асинхронные (без тактового генератора) и событийно‑управляемые архитектуры
- Плюсы: потенциально низкое энергопотребление, локальное синхронизирование, гибкая масштабируемость.
- Минусы: сложность проектирования и тестирования, малый промышленный опыт.
7) Нейроморфные и специфичные ускорители (спайковые нейросети, РИСУНКИ)
- Плюсы: очень энергоэффективны для распознавания/онлайн‑обработки; устойчивы к шума.
- Минусы: нет универсальности Тьюринга в привычной форме, трудны для общего программирования, зрелость экосистемы мала.
8) Квантовые вычисления
- Плюсы: потенциально экспоненциальный выигрыш в специфичных задачах (факторизация, симуляция квант. систем).
- Минусы: пока практические ограничения: декогеренция, коррекция ошибок, узкий класс задач.
9) Systolic и стрим‑архитектуры (TPU, специализированные АСИ)
- Плюсы: предсказуемая задержка, высокая плотность операций на ватт для потоковых вычислений.
- Минусы: низкая гибкость вне целевой задачи; сложность картирования алгоритмов.
Влияние на современные подходы к параллелизму:
- Эволюция от ILP (инструкция‑уровня — конвейер, OOO, суперскаляр) к TLP (поток/ядро), DLP (данные — SIMD/GPU) и кластерной параллельности.
- Появились многослойные модели: иерархия кэшей, NUMA, межсоединения, программные модели (OpenMP, MPI, CUDA), что отражает попытку компенсировать фон‑неймановский узел.
- Архитектурные альтернативы чаще специализируются под класс задач (регулярные матричные операции, ML, потоковые сигналы и т. п.), тогда как универсальные фон‑неймановские процессоры остаются гибкими, но менее эффективными по энергоэффективности/производительности для специфичных применений.
Краткий вывод: фон‑неймановская модель задала универсальную основу и выявила узкое место — память/шина — из‑за чего возникла масса специализированных и параллельных альтернатив. Выбор архитектуры — компромисс между гибкостью/универсальностью и пропускной способностью/энергоэффективностью для конкретного класса задач.