Кратко и по существу — для каждой парадигмы: какие структуры данных и приёмы уместны, почему, и какие плюсы/минусы.
Процедурное
- Идея: пошаговый алгоритм с изменяемым состоянием.
- Типичные структуры: массив/список токенов, хеш‑множество (set) или словарь (map) для подсчёта уникальных слов/частот.
- Приёмы: последовательная токенизация → нормализация (lowercase, удаление пунктуации) → один проход по токенам с добавлением в set/увеличением счётчика в map.
- Пример логики: для каждого токена if not in set then add.
- Производительность: время примерно $O(n)$ по числу токенов (при средней $O(1)$ операции хеша), память $O(u)$ по числу уникальных слов.
- Плюсы: простота, предсказуемость и высокая скорость на практике. Минусы: явная мутабельность, сложнее безопасно параллелить без синхронизации.
Объектно‑ориентированное
- Идея: инкапсуляция состояния и поведения в объектах, композиция/наследование для расширяемости.
- Типичные структуры: внутри класса — тот же set/map; дополнительные объекты: Tokenizer, Normalizer, Filter, ResultAggregator.
- Приёмы: выделение responsibility (SRP): класс WordCounter имеет методы addText(), addToken(), getUniqueCount(); стратегия токенизации/нормализации через интерфейсы; можно реализовать потоковую обработку (streaming), сохранять внутреннее состояние между вызовами.
- Особенности: легко добавлять функциональность (статистика, стоп‑слова, языковые правила) через наследование/композицию; реализация потоковой или ленивой обработки через итераторы.
- Производительность: аналогично процедурному, $O(n)$ время и $O(u)$ память, но возможен накладной код и расходы на синхронизацию в многопоточном окружении.
- Плюсы: явная архитектура, тестируемость, расширяемость. Минусы: больше шаблонного кода, потенциальная мутабельность и сложность при конкурентности.
Функциональное
- Идея: композиция чистых функций, иммутабельные структуры, map/filter/reduce (fold).
- Типичные структуры: иммутабельные множества/словари (persistent HashSet/HashMap), ленивые потоки (streams), многопоточность через отсутствие побочных эффектов.
- Приёмы: токенизация → map(normalize) → filter(valid) → fold(в множество или в map частот). Использование группировок (groupBy) или моноидов для параллельного свёртывания. Пример: foldLeft(emptySet, (s, w) => s + w).
- Производительность: асимптотика $O(n)$ для одного прохода; иммутабельные структуры дают амортизированную стоимость обновления (константные копии по ссылкам), но большие константы; легко распараллеливается (например, параллельный fold). Память $O(u)$.
- Плюсы: простота рассуждения, отсутствие побочных эффектов, хорошая параллельная масштабируемость. Минусы: возможные накладные расходы из‑за создания новых структур (снижаются persistent DS), нужно выбирать подходящие immutable коллекции.
Краткие рекомендации
- Если нужна простота и максимальная скорость в одном потоке — процедурный подход с хеш‑множеством/словарём.
- Если нужен расширяемый, поддерживаемый модуль (например, разные стратегии токенизации, отчёты) — OOP с классами Tokenizer/Normalizer/WordCounter.
- Если важна корректность при параллелизме, композиция трансформаций и чистота — функциональный стиль с map/filter/fold и persistent коллекциями; подходит для потоковой и распределённой обработки.
Дополнительно: для очень больших текстов/потоков рассматривают структуры и приёмы: внешняя сортировка, стриминг с ограниченной памятью, Bloom filter для предварительной фильтрации (пожертвовав точностью) — все те же парадигмы применимы, но с соответствующими структурами (буферы, стримы, probabilistic DS).