Почему медленно
- В Python строки неизменяемы — при конкатенации создаётся новый объект и копируются данные. При последовательном добавлении в цикле суммарный объём копирований даёт квадратичную сложность в худшем случае: $O(n^2)$ по времени (где $n$ — суммарная длина/число фрагментов). CPython иногда оптимизирует отдельные случаи (in-place reallocation при единственной ссылке), но полагаться на это нельзя.
Оптимальные альтернативы
1) Собрать куски в список и сделать одно join (обычно самый быстрый и простой):
- Время: $O(n)$ суммарно.
- Код:
parts = []
for s in iterable:
parts.append(s)
result = ''.join(parts)
2) io.StringIO — буфер для последовательной записи текста:
- Удобно при большом количестве write-операций или когда части получаются по очереди.
- Код:
from io import StringIO
buf = StringIO()
for s in iterable:
buf.write(s)
result = buf.getvalue()
3) Для байтов — bytearray или io.BytesIO (аналогично StringIO).
4) Прочие варианты: генератор + join (если части можно генерировать), использование list comprehensions для подготовки частей.
Как профилировать
- Микробенчмарки: модуль timeit (для коротких фрагментов):
python -m timeit -s "parts=['x']*1000" "''.join(parts)"
- CPU-профилирование: cProfile (покажет, горячая ли зона — где тратится время).
python -m cProfile myscript.py
- Линейное профилирование: line_profiler (pip install line_profiler) — для детализации по строкам.
- Память: tracemalloc или memory_profiler для измерения потребления и пиков.
- Совет: профилируйте на реальных данных и объёмах, а не на искусственных мелких тестах.
Когда оптимизация оправдана
- Оптимизируйте, если профайлер показывает, что конкатенация — узкое место.
- Эмпирические пороги (правило-о-руке): если число фрагментов > $10^3$–$10^4$ или итоговый текст > $10^6$ символов, стоит применять join/StringIO.
- Если код читается проще с обычной конкатенацией и данные малы — не оптимизируйте преждевременно.
- Учитывайте память: join требует удержания всех частей в памяти; в потоковых задачах можно писать в файл/буфер по частям.
Короткая резюмe
- Не делайте string += в большом цикле: это часто приводит к $O(n^2)$.
- Используйте list + ''.join(...) или io.StringIO для линейной производительности $O(n)$.
- Сначала профилируйте, затем оптимизируйте, ориентируясь на реальные объёмы данных.