Кратко, с примерами приёмов и критериями выбора.
Основные приёмы снижения памяти
- Потоковая обработка (lazy): читать строку за строкой через итераторы/generators (в Python: `open()` + `csv.reader`, или `pandas.read_csv(..., chunksize=...)` возвращает итератор). Плюс — постоянная память; минус — нет глобальных операций (sort/join/агрегация по всему набору).
- Батчи (chunking): читать и обрабатывать блоки по N строк для компромисса между накладными расходами и векторизацией. Подходит если операции векторизуемы (numpy/pandas). Выигрыш в скорости за счёт пакетов I/O и эффективной работы с векторными библиотеками.
- Выбор типов и упаковка: явно задавать dtype (например, `int8/int16/float32`), использовать категориальные типы для повторяющихся строк, выбирать только нужные колонки (`usecols`), хранить даты как `datetime64`/timestamp. Это часто уменьшает память в десятки раз.
- Избегать больших списков/словaрей Python: store arrays/records в numpy, pandas, pyarrow или бинарных структурах; использовать `array.array`, `struct`, `memoryview`.
- mmap / memory-mapped файлы: чтение больших бинарных файлов без загрузки в RAM (`numpy.memmap`, `mmap`).
- Внешние/дисковые решения: sqlite, LMDB, disk-backed key-value, Parquet/Arrow/Feather для колоннарных операцией.
- Сжатие на диске и стриминг декомпрессии (gzip, zstd) — уменьшает диск и I/O, но добавляет CPU.
- Освобождение памяти: удалять ссылки (`del`), вызывать `gc.collect()` для временных всплесков, профилировать утечки ссылок (`tracemalloc`, `objgraph`).
- Использовать специализированные библиотеки: Dask, Vaex, PyArrow, Polars для out-of-core/columnar обработки.
Как оценить размер батча
- Оцените память на строку (приблизительно): $mem\_per\_row$.
- Выберите доступную память для буфера: $avail\_mem$ (например, 50% RAM).
- Размер строк в батче: $$chunk\_rows=\lfloor \frac{avail\_mem}{mem\_per\_row}\rfloor .$$ Эмпирически настраивайте, уменьшайте при OOM.
Когда выбирать ленивые итераторы vs батчи vs внешнюю сортировку
- Ленивые итераторы (по-строчно)
- Выбирать если: обработка независима построчно (фильтрация, трансформация, подсчёт агрегатов инкрементально), минимальная задержка, очень ограничена память.
- Ограничения: нельзя легко делать глобальные операции (полная сортировка, join по всей таблице).
- Батч/Chunks
- Выбирать если: нужны векторные операции (производительность), агрегирование/агрегации по группам можно делать инкрементально, или нужно уменьшить накладные расходы I/O/управления.
- Баланс: большой батч — быстрее, но больше памяти; малый батч — медленнее, но безопаснее.
- Внешняя сортировка / disk-backed алгоритмы
- Выбирать если: требуется глобальная сортировка, левые/правые джоины, или набор данных существенно больше RAM.
- Подход: разбить на сортированные ранги, записать на диск, затем k-way merge. Сложность I/O-доминирующая; CPU-сложность: $\mathcal{O}(n\log n)$ по сравнению с RAM-sort, но масштабируется.
- Альтернативы: использовать СУБД (sqlite/Postgres), или инструменты типа `dask.dataframe.sort_values`, внешние утилиты `unix sort --parallel --buffer-size=...` для CSV.
Практические шаблоны
- Простая фильтрация/преобразование: итератор по строкам, писать результат сразу в файл/базу.
- Векторные агрегаты/группировка: читать чанки, внутри чанка делать агрегации, затем сводить результаты между чанками (reduce).
- Сортировка большого CSV: external merge sort: читать части, сортировать в памяти, записать отсортированные ранки, затем k-way merge.
- Джоины: если одна сторона мала — загрузить её в память как dict; если обе большие — использовать hash-partitioning на диск или sort-merge join.
Инструменты и профилирование
- Чтение/итераторы: `csv` (std), `pandas.read_csv(chunksize=...)`, `pyarrow.csv`.
- Disk-backed/columnar: Parquet + PyArrow, Polars, Vaex, Dask.
- Профайлеры: `tracemalloc`, `memory_profiler` (`@profile`), `psutil` для процесса, `heapy` (guppy).
- Проверка типов: `pandas.DataFrame.memory_usage(deep=True)`.
Короткие практические советы
- Указывать `dtype` и `usecols` при чтении CSV.
- Предпочесть columnar storage (Parquet) для повторных аналитических проходов.
- Избегать множественного копирования больших объектов (методы pandas часто копируют).
- Параллелизм через процессы — учесть дублирование памяти; использовать shared memory / mmap / zero-copy arrow buffers.
Если нужно, пришлите пример рабочего объёма (строк/колонок, пример типов, доступная RAM) — дам конкретную схему: chunk-size, возможные dtypes, пример external-sort или pipeline.