Краулинг, индексация, ранжирование — кратко и по сути.
Краулинг (fetching)
- Цель: обнаружить и получить HTML/ресурсы для индексации.
- Компоненты: очередь URL (frontier), politeness (robots.txt, rate limits), URL-normalization, дедупликация посещённых, приоритизация (важность, свежесть).
- Трудности: объём (миллиарды страниц), динамический JS, сессии/пагинация/ловушки, частые обновления.
- Практика: распределённые краулеры, приоритетный и инкрементальный краулинг, headless-рендеринг только для нужных доменов, использование sitemap/last-mod, Bloom-фильтры для visited-set.
Индексация
- Цель: превратить страницы в эффективную структуру для быстрого поиска.
- Шаги: парсинг → чистка → токенизация → нормализация (низкие буквы, канонизация) → стемминг/лемматизация → генерация признаков (tf, позиции, структурные теги, schema.org).
- Хранение: инвертированный индекс — для каждого терма список документов (postings), часто с позициями, частотами, полями.
- Оптимизация: сжатие (gap/δ-кодирование, variable-byte, Elias), фронт-кодирование, sharding/репликация, кэширование частых списков.
- Обновления: батч/инкрементальный/реальное-время; конфликт между скоростью индексации и эффективностью хранения.
- Дедупликация: exact/near-duplicate (shingling + MinHash или SimHash).
Ранжирование
- Этапы: генерация кандидатов (по словам/фразам) → первая сортировка (BM25/TF‑IDF) → богатая оценка (сигналы: ссылочная, поведенческая, качество, свежесть, контекст) → точный ранк (learning-to-rank, нейро-ранкеры).
- Примеры формул:
- TF–IDF: $w_{t,d}=t{f}_{t,d}\cdot \log \frac{N}{d{f}_t}$.
- PageRank (итеративно): $\mathbf{p}=\alpha M\mathbf{p}+(1-\alpha )\mathbf{v}$.
- Современное: многоступенчатая система — быстрое извлечение + глубокий нейронный reranker (BERT-подобные модели) для топ‑K.
- Оценка: оффлайн (NDCG, MAP) и онлайн A/B‑тесты, сигналы качества из кликов/поведения.
Основные вызовы
1. Масштабируемость:
- Потрясающий объём контента и частота обновлений.
- Ограничения по сетевому трафику, хранению, задержке обновления индекса.
- Динамический/рендерируемый контент (JS), API/зашифрованный контент.
2. Борьба с манипуляциями (spam, SEO):
- Link farms, cloaking, keyword stuffing, autogenerated low-quality pages, scraping, доменные сети.
- Атакующие адаптируются (adversarial SEO, poisoning).
3. Качество сигналов:
- Шум пользовательских данных, спуфинг кликов, CTR‑перетасовки.
4. Надёжность и безопасность:
- DDoS, вредоносный контент, приватность.
Решения и практики
- Масштаб:
- Распределённая архитектура: шардирование индекса, репликация, распределённые файловые системы (MapReduce/stream‑processing-подходы).
- Эффективное сжатие инвертированных списков и компактные представления признаков.
- Приоритизация/adaptive crawling (частые обновления для важных URL, редкие для низкоприоритетных).
- Частичный рендеринг JS (приоритизация по домену, бюджет рендера).
- Борьба со спамом:
- Сигналы качества контента: языковые/стилистические признаки, уникальность (MinHash), структурность данных.
- Link‑spam детекторы: анализ графа ссылок, ручные и алгоритмические фильтры, понижение значения подозрительных кластеров ссылок.
- Поведенческие и временные признаки для выявления фейковых кликов/манипуляций.
- ML‑модели для классификации спама с регулярным переобучением против новых схем.
- Санкции: алгоритмические фильтры, понижение в ранге, удаление из индекса, инструменты для вебмастеров (disavow).
- Робастность ранжирования:
- Ensemble моделей: сочетают классические сигналs (BM25, PageRank) и нейросети.
- Adversarial training и мониторинг модных векторов атак.
- Дедупликация и качество:
- Shingling + MinHash/SimHash для near-duplicate.
- Канонизация URL, использование canonical/meta-тегов и structured data.
- Оценка и адаптация:
- Автоматические метрики + human review для edge-cases.
- A/B‑тестирование изменений ранжирования и механизмов антиспама.
- Политика и стандарты:
- Соблюдение robots.txt, sitemaps, schema.org; прозрачные рекомендации для вебмастеров.
- Операционная защита:
- Rate‑limiting, honeypots, мониторинг аномалий, защита от DDoS.
Коротко: система состоит из распределённого краулера, эффективного инвертированного индекса и многоступенчатого ранжирования; масштаб решается шардированием, сжатием и приоритизацией, а борьба со спамом — комбинацией графовых/контентных/поведенческих сигналов и ML‑фильтров с постоянным обновлением и ручной модерацией.