1) Профилирование (обязательно)
- Инструменты: cProfile ($python-mcProfile$), pyinstrument, line_profiler, memory_profiler, tracemalloc. Выясните, где тратится время и память (функции с наибольшим временем, I/O‑ожидание, аллокации).
- Что измерять: время выполнения функций, доля I/O vs CPU, пиковая память. Цель — сократить число итераций/проходов по данным и удалить «горячие точки».
2) Сначала оптимизируйте алгоритм и поток данных
- Минимизируйте число проходов по файлу: объединяйте операции в один проход, если возможно (агрегация + фильтрация + преобразование).
- Используйте потоковую обработку (streaming, iterator, чтение чанков) вместо загрузки всего файла в память: чтение чанков размера $\sim 100,000$ строк (параметр: chunksize=$100,000$).
- Избегайте операций с квадратичной сложностью; стремитесь к линейной $\mathcal{O}(n)$ или $\mathcal{O}(n\log n)$ при сортировках/слиянии.
3) Работа с форматом и I/O
- Если CSV — большой узкий профиль: переключитесь на бинарные/колоночные форматы (Parquet, Feather, Arrow) для многократных запросов.
- Используйте быстрые парсеры: pandas.read_csv с engine='c' или pyarrow.csv, либо библиотеку csv в стриме для простых задач.
- Компрессия/архивы: чтение сжатых файлов экономит диск‑I/O, но увеличивает CPU; тестируйте.
- Для больших файлов — SSD и параллельное чтение/разбиение файла на части.
4) Выбор библиотек и инструментов
- pandas (векторные операции), но избегайте .iterrows(), .apply() с Python‑функциями; вместо этого — vectorized/NumPy операции.
- pyarrow — быстрый парсер CSV и нативная интеграция с Parquet/Arrow.
- polars — многопоточный, очень быстрый DataFrame на Rust; хорош для замены pandas в many workloads.
- Dask/Modin — масштабирование pandas на несколько ядер/узлов (для тех случаев, где менять API нежелательно).
- Vaex — ленивые операции для больших данных в памяти/из файла.
- DuckDB — отличен для SQL‑запросов по CSV/Parquet без ETL, встроенно быстрый и однофайловый.
- Для простых текстовых преобразований — утилиты xsv/awk/rg для предварительной фильтрации.
5) Параллелизм и распределение
- Для I/O‑bound задач используйте многопоточность; для CPU‑bound — multiprocessing или библиотеки с native multithreading (polars, pyarrow).
- Разбейте файл на независимые чанки и обрабатывайте в пуле процессов; затем агрегируйте результаты (map‑reduce pattern).
- Следите за contention и overhead на сериализацию между процессами.
6) Оптимизация представления данных
- Устанавливайте корректные dtypes (integers с минимальным размером, floats, datetime), избегайте object dtype: это сильно ускоряет операции и экономит память.
- Используйте category для столбцов с небольшим числом уникальных значений.
- Для группировок/соединений используйте хеш‑алгоритмы или индексы; сортировка бывает нужна только если нужен order.
7) Замена узких мест на оптимизированный код
- Замените горячие Python‑циклы на NumPy/Vectorized pandas/pyarrow/numba/Cython. Numba даёт JIT‑ускорение для численных операций.
- Если критично — написать узкую функцию на C/C++/Rust (расширение или use PyO3) или использовать библиотеку на Rust (polars).
8) Профилирование после изменений и измерение
- Проводите A/B тесты: замеряйте wall time, CPU time, peak memory. Используйте reproducible benchmark (time.perf_counter(), несколько прогонов).
- Целитесь в реальные метрики: уменьшение времени в $\times 2$, $\times 5$ и т.д., фиксируйте baseline.
9) Практические советы и частые ошибки
- Не использовать df.append в цикле — собирайте в список и делайте pd.concat один раз.
- Не использовать regex без необходимости; для строковых операций предпочитайте vectorized методы.
- Следите за копиями DataFrame (avoid unnecessary copies) — используйте views и in‑place операции аккуратно.
- Кеширование промежуточных результатов в Parquet/Feather если данные переиспользуются.
10) План действий (кратко)
- Профилировать → выявить горячие места.
- Пробовать быстрые вентиляторы: правильные dtypes, чтение чанками, vectorized pandas/NumPy.
- Тестировать polars/pyarrow/duckdb для конкретной задачи.
- Параллелить обработку чанков или перейти на Dask/Modin/Polars.
- Конвертировать в Parquet/Arrow для повторной аналитики.
- Профилировать повторно и сравнить метрики.
Если нужно, могу предложить конкретный план действий и набор команд/фрагментов кода для вашего реального скрипта и примера CSV (укажите размеры файла, типы столбцов и текущую структуру скрипта).