Поиск по документам на телефоне или облачный ИИ-чат: как выбрать маршрут
Когда нужно найти номер договора в PDF на телефоне, облачный чат часто выглядит самым коротким путём: загрузить файл и спросить. Но у такого выбора есть невидимая часть — куда уходит документ, сколько хранится и можно ли потом подтвердить найденную строку. Локальный поиск делает обратный компромисс: больше подготовки на устройстве, зато индекс не обязательно покидает телефон. Сравнивать эти маршруты надо на одном и том же наборе файлов, а не по громкости рекламного обещания.
Что происходит с документом
В локальном сценарии приложение извлекает текст, делит его на фрагменты и строит представления для поиска на самом устройстве. Пример такого подхода — NeonLib на Android, где автор заявляет использование EmbeddingGemma и LiteRT для поиска по личной библиотеке. Облачный чат отправляет файл или фрагменты на сервер сервиса; конкретные правила хранения, обучения и удаления нужно читать в условиях выбранного аккаунта. Локальность поиска не означает автоматической безопасности: резервная копия телефона, разрешения приложения и утрата устройства тоже важны.
Проверка качества без красивого демо
Возьмите десять документов: чистый текст, скан, таблицу, старую и новую редакции одного положения. Составьте двадцать вопросов, для каждого заранее запишите страницу и цитату. Сначала оцените извлечение: если OCR потерял цифру в скане, ни локальная, ни облачная модель не исправит это по надежде. Затем отдельно оцените поиск нужного фрагмента и итоговую формулировку. Ответ без указанной страницы не засчитывайте как подтверждённый, даже если он звучит убедительно. Про проверку ссылок и идентификаторов публикаций есть отдельный гайд по DOI.
Локальный индекс может выигрывать на повторяющихся вопросах к небольшому личному архиву, но занимать память, нагревать устройство и медленнее обрабатывать большие сканы. Облачный сервис способен удобнее разбирать сложную разметку и отвечать с генерацией текста, но вводит сетевую зависимость, правила провайдера и стоимость. Не называйте один маршрут «точнее» без собственного набора: релевантность зависит от языка, длины фрагментов, OCR и способа цитирования.
Решение по типу задачи
Для списка рецептов и собственных заметок можно начать с локального индекса и ручной сверки страницы. Для корпоративных договоров сначала проверьте правила передачи данных, разрешения сотрудников и устройство хранения. Для публичной научной статьи допустим облачный инструмент, если он указывает фрагмент и вы читаете оригинал. Если ответа на устройстве нет, сервис должен сказать «не найдено», а не достраивать текст. Такой отказ важнее гладкости ответа.
Можно ли считать локальное приложение полностью офлайн? Только после проверки каждой функции, включая генерацию итогового ответа и синхронизацию. Достаточно ли цитаты? Нет, она должна совпадать с исходной страницей. Что дешевле? Считайте не только цену API, но и время на настройку, хранение и исправление ошибок. Выбор маршрута — это баланс данных, качества и труда, а не соревнование логотипов.