Задача
Инженерная компания накопила тысячи документов: регламенты, спецификации, протоколы испытаний. Нужный пункт искали минутами, коллеги по памяти пересказывали устаревшие редакции. Заказчик хотел получать ответ вместе с документом-основанием.
Условие — строгий on-prem: система работает на серверах компании, документы не передаются во внешние облачные сервисы.
Подход
Развернули языковую модель на оборудовании заказчика. Схема — RAG: поиск сначала находит в базе подходящие фрагменты, ответ строится строго по ним. Если в найденном ответа нет, ассистент прямо говорит об этом — уверенная выдумка в регламентах опаснее отказа.
Поиск двухступенчатый: отбор кандидатов по смыслу и по точным терминам, затем ранжирование лучших. При правке документа база обновляется точечно — ассистент отвечает по свежей редакции.
Стек
vLLM · INT8 quantization · pgvector + BM25 · cross-encoder reranker · FastAPI
Результат
Инженеры перестали пересказывать регламенты по памяти: спорный вопрос закрывается ссылкой на действующую редакцию. Время на поиск нужного фрагмента сократилось на 68%.