Привет! Для сохранения больших объемов данных при использовании Scrapy рекомендуется использовать базу данных, такую как MySQL, PostgreSQL или SQLite, вместо сохранения данных в CSV файлы. Базы данных обеспечивают более эффективное управление данными и более быстрый доступ к большим объемам информации.

В случае, если вы все же хотите сохранить данные в CSV файлы, то да, при большом количестве строк (более 400 000) могут возникнуть проблемы с производительностью и управлением файлами. В этом случае рекомендуется разбивать файлы на более мелкие, например, по 100 000 строк в каждом файле.

Также, учитывайте, что при работе с большими объемами данных важно оптимизировать процесс скрапинга и сохранения данных, чтобы избежать проблем со скоростью работы и использованием памяти.

Надеюсь, ответ был полезен! Если у вас возникнут дополнительные вопросы, не стесняйтесь задавать их.