Sphinx в примерах и задачах.pptVIP

Sphinx в примерах и задачах Андрей Аксенов Sphinx Technologies Что за… Sphinx? Sphinx – это полнотекстовый поисковик Что за… Sphinx? Sphinx – это полнотекстовый поисковик Может копать Активный, ответственный работник Может не копать Внимателен к инициативам начальства Может лопату спрятать Отличный командный игрок Что за… Sphinx? Может то, чего по слухам не может! «Полуживые» обновления индекса Фасеточный поиск Особенные, уличные SQL запросы Геопоиск Создание сниппетов Мультизапросы И еще 10-20-30 других интересных фичей Где выход и когда обед? О чем вы НЕ узнаете из доклада? Зачем всё это Что написано в документации Что написано в исходниках О чем поговорим Как Sphinx устроен внутри Как оптимизировать разное Как куют highload Общее устройство Нет… никакого… Сфинкса. Общее устройство Есть две программы Indexer – строит индексы Searchd – отвечает на запросы Еще есть API Клиент, который умеет говорить с searchd по сети PHP, PECL, Python, Perl, Java, Ruby, C99, C++, Haskell, C#, MySQL SE… Как работает indexer Есть источники данных Откуда брать (MySQL, PgSQL, xmlpipe) Что брать (sql_query, sql_attr_xxx) Как брать (sql_query_pre, sql_query_post) Есть физические индексы Как индексировать (токенизация, стемминг, словоформы, HTML stripper) Куда класть файлы Что хранится в индексе Индекс для полнотекстовых запросов Словарь Списки документов по ключевым словам Списки позиций по документам Привязанные атрибуты документов Integer (от 1 до 32 или 64 бит) Float MVA (сортированный список 32-битных целых) НЕ хранятся исходные текстовые данные Как работает searchd Получает запрос, вычисляет ответ Умеет агрегировать ответы По нескольким физически индексам С ответами от удаленных searchd Еще умеет строить сниппеты Еще умеет обновлять атрибуты (иногда) Как все перестает работать Нагрузка ударяет в спину Виды проблем Bandwidth – слишком много запросов Latency – слишком долгий отклик Availability – слишком мало (работающих) серверов Как бороться? Локально – как оптимизировать запросы Гло