Поиск по словам или эмбеддингам: что выбрать для архива документов
Представьте архив из пяти тысяч писем, договоров и инструкций. Сотрудник помнит смысл вопроса, но не помнит формулировку: «когда разрешён перенос срока поставки». Поиск по словам быстро найдёт документы с точной фразой, однако может пропустить пункт «изменение даты отгрузки по соглашению сторон». Поиск по эмбеддингам преобразует текст запроса и документов в числовые представления и ищет близкие по смыслу фрагменты. Он помогает с синонимами, но может вернуть убедительно похожий, юридически неподходящий пункт. Выбор зависит не от моды на ИИ, а от характера ошибок, которые вы готовы проверять.
Где сильнее точное совпадение
Поиск по словам или полнотекстовому индексу особенно хорош, когда запрос содержит номер, артикул, уникальное имя или точный термин. Если в инструкции есть код ошибки E47, похожий по смыслу абзац про «сбой связи» не должен вытеснить строку с этим кодом. Точный поиск легко объяснить: найденный фрагмент содержит искомую последовательность. Он обычно дешевле на малых объёмах и не требует держать в памяти отдельную модель для векторизации.
Но один и тот же процесс часто называют разными словами. Встречи называют созвонами, возвраты — рекламациями, даты — сроками. Добавлять все варианты вручную можно, пока словарь небольшой; затем он становится хрупким. Морфология русского языка и опечатки тоже требуют настройки. Если система не нашла ничего по слову «отгрузка», это не доказательство отсутствия правила в архиве. В разборе проверки ИИ-выгрузки показан родственный принцип: нулевой результат запроса надо понимать в контексте качества исходных данных.
Что даёт семантический поиск
Модель эмбеддингов помещает похожие фразы ближе друг к другу в векторном пространстве. Тогда запрос «что делать, если клиент отказался от доставки» может поднять абзац, где написано «аннулирование заказа после передачи курьеру». Для базы знаний и поддержки это полезно: пользователь не обязан помнить словарь автора. Новая UltraBERT, например, содержит отдельную готовую модель для эмбеддингов, но её опубликованные тесты проводились преимущественно на английских наборах. Нельзя без проверки обещать такую же точность на русских договорах.
Векторная близость не устанавливает истинность документа и не понимает полномочия его автора. Черновик старой инструкции может оказаться ближе к запросу, чем действующая утверждённая версия. Особенно опасно выдавать один найденный фрагмент как окончательный ответ без даты, номера редакции и ссылки на файл. Для ответов с высокой ценой ошибки выводите источник, страницу, дату и статус. Если документ длинный, заранее определите размер фрагментов: слишком короткий теряет условия, слишком большой смешивает разные темы.
Сравнение на одном наборе
Не выбирайте метод по рекламному числу на чужом бенчмарке. Возьмите двадцать типичных вопросов из поисковых журналов сотрудников. Для каждого заранее отметьте один или несколько правильных документов и отдельно — опасные ложные совпадения. Сделайте одинаковый корпус для двух маршрутов. Измерьте, оказался ли правильный фрагмент в первых пяти результатах, сколько времени потребовалось человеку на проверку и сколько было уверенно нерелевантных находок. Вопросы с артикулами и вопрос «своими словами» должны оцениваться отдельно.
Если архив включает сканы, прежде нужно получить надёжный текстовый слой. Ошибка OCR в номере договора испортит точный поиск; плохая расшифровка смысла ухудшит и эмбеддинги. В обзоре локального OCR мы подробно разбираем, почему качество исходного текста проверяется до построения любого индекса. Не скрывайте дефект распознавания за сложным векторным движком.
Когда разумна гибридная схема
Для смешанного архива часто лучше не выбирать один метод навсегда. По точным идентификаторам оставьте приоритет полнотекстовому поиску. По свободным вопросам добавьте семантические кандидаты. Затем объедините списки и покажите человеку короткую выдержку с ссылкой на документ. Ранжирование должно учитывать актуальность версии и права доступа. Внешне это один поиск, но внутри два независимых сигнала; при сбое одного другой не должен молча выдавать неполную картину.
Такая схема требует дисциплины обновления. Новый договор должен попасть и в текстовый, и в векторный индекс; удалённый файл должен исчезнуть из обоих. Иначе поиск способен показать фрагмент документа, которого уже нет в системе, или ссылку, открывающую ошибку. Для закрытых архивов решите, можно ли передавать текст внешнему сервису эмбеддингов. Локальная модель снижает риск сетевой передачи, но не решает вопрос прав сотрудников к индексируемым файлам. Список прав надо применять до выдачи результата, а не после красивого ответа модели.
Цена и результат
Точный поиск проще обслуживать и объяснять. Семантический помогает там, где разные люди описывают одну задачу разными словами. Расходы второго варианта включают вычисление эмбеддингов при добавлении документов, хранение векторов, обновление индекса и проверку модели на языке архива. Итоговый критерий — не количество технологий, а число правильных ответов с проверяемым источником при допустимом времени и стоимости. Если гибрид почти не улучшает результат контрольного набора, сложность может не окупиться.
Можно ли заменить слова эмбеддингами полностью? Обычно не стоит, если в запросах встречаются точные номера и коды; смысловая близость может их смешать.
Нужна ли большая языковая модель для выдачи списка документов? Нет. Эмбеддинги и обычный индекс могут вернуть фрагменты без генерации ответа.
Как проверить качество на русском? Разметьте собственные вопросы и правильные файлы, затем сравните первые результаты обоих маршрутов. Чужой англоязычный тест не заменит этот этап.