Задача
Заказчик — AI-платформа с семантическим поиском: система находит нужное по смыслу запроса, а не по совпадению слов. Каждый документ хранится как вектор — числовой «отпечаток» смысла. Таких записей — миллиарды.
Один сервер выдохся: векторы не помещались в память, медленные запросы тянулись всё дольше. А новые данные едут непрерывным потоком.
Подход
Разбили индекс на части по группе серверов: запрос уходит во все сразу, координатор склеивает общий топ. Векторы сжали ради экономии памяти.
Свежие записи встают в индекс без пересборки всей базы, нагруженные части продублированы — скорость держится и под пиком.
Стек
HNSW + IVF-PQ · product quantization · distributed sharding · gRPC · Kubernetes
Результат
Поиск перестал быть узким местом: платформа отвечает за миллисекунды по всей базе и растёт добавлением серверов.