Как сравнить ИИ-модели на своей задаче и не выбрать по одному демо
Удачное демо редко отвечает на рабочий вопрос. Модель может блестяще написать один пост, а в десятом типовом документе перепутать дату; другая отвечает медленнее, зато почти не нарушает формат. Выбрать между ними по одному диалогу — всё равно что купить автомобиль после одного красивого поворота на парковке.
Сравнение имеет смысл, когда нужно принять конкретное решение: какую модель дать редакторам, на чём запускать обработку писем, нужна ли более дорогая версия для документов или достаточно лёгкой модели для черновиков. В этом гайде нет «абсолютного победителя». Есть способ собрать собственные доказательства и выбрать вариант для своего процесса.
Сначала назовите сценарий и запреты
Не тестируйте модель «вообще». Один запуск — один тип работы: извлечение действий из письма, редактирование карточек товаров, ответы по базе знаний, черновик кода или разбор таблицы. У сценария должен быть понятный результат и список того, что недопустимо.
Например: «из входящего письма вернуть тему, срочность, владельца и ответ в нейтральном тоне». Запретами могут быть выдуманный срок, пропуск номера заказа, разглашение данных или нарушение фиксированного JSON-формата. Такие ошибки нельзя компенсировать красивым стилем — они отмечаются отдельно как критические.
До теста зафиксируйте требования к данным. Какие материалы можно отправлять в сервис? Нужен ли русский язык? Допустима ли обработка за пределами корпоративного контура? Подробный чек-лист приватности есть в гайде о защите данных при работе с ИИ. Если модель не подходит по доступу или хранению данных, нет смысла ставить её первой в рейтинге.
1. Соберите маленький, но честный набор
Для первого круга хватит 12–20 обезличенных примеров из реального процесса. Разделите их на четыре группы: типичные, сложные, пограничные и «правильный отказ». Последняя группа особенно важна: в ней данных недостаточно либо запрос выходит за рамки. Хорошая модель должна обозначить ограничение, а не уверенно достроить ответ.
Не подбирайте только любимые примеры, где уже известно, что один инструмент выигрывает. Возьмите прошлые задачи с известными исправлениями, но не давайте модели саму подсказку. Для каждого кейса подготовьте эталон: обязательные факты, допустимые варианты формулировки, проверяемый формат и список критических ошибок.
В таблице набора достаточно колонок: ID, вход, ожидаемый результат, обязательные поля, риск, эталонный ответ. Секреты, личные данные, доступы и закрытые названия замените до отправки. Дата и версия набора обязательны: иначе через месяц нельзя будет понять, что именно сравнивали.
2. Разделите базовый и настроенный раунд
Первый раунд должен быть равным: одна инструкция, одинаковый вход, один формат, одинаковый лимит времени. Он показывает, как модели ведут себя «из коробки». Не подгоняйте запрос под фаворита в середине теста.
Второй раунд — настроенный. Здесь каждой модели разрешается один разумный шаг настройки: пример хорошего ответа, уточнённый промпт или структурированный шаблон. Но эти изменения нужно записать. Иногда модель выглядит лучше лишь потому, что для неё потребовалось двадцать строк инструкций и постоянный контроль. Это не недостаток сам по себе, но это стоимость сопровождения.
Не смешивайте результаты двух раундов. Базовый отвечает на вопрос «как быстро начать», настроенный — «какой потолок качества достижим при нашей дисциплине». При тестах с длинными файлами полезно отдельно проверить потерю деталей в начале и конце контекста; об этом есть разбор работы с большим контекстом.
3. Оценивайте ответ по рубрике, а не по впечатлению
Сделайте шкалу до запуска. Например, по каждому примеру ставятся баллы от 0 до 2:
| Критерий | 0 | 1 | 2 |
|---|---|---|---|
| Факты | ошибка или выдумка | есть неточность | все обязательные факты верны |
| Формат | не пригоден | нужны правки | можно использовать после проверки |
| Полнота | пропущено важное | частично | покрыты обязательные пункты |
| Ясность | непонятно адресату | требуется редактура | ясно для заданной аудитории |
| Отказ | придумывает ответ | осторожно, но размыто | прямо обозначает ограничение |
Считайте не только средний балл. Покажите число критических ошибок, медианное время ответа, среднее время ручных правок и процент случаев, в которых результат принят без перестройки. Среднее способно скрыть опасный провал: модель с девятью отличными ответами и одной выдуманной юридической датой может быть непригодна для соответствующего сценария.
Желательно, чтобы часть ответов оценивал коллега, не знающий, какая модель их создала. Это уменьшает эффект любимого бренда и заставляет смотреть на результат, а не на интерфейс.
4. Посчитайте стоимость полного результата
Цена одного запроса почти ничего не говорит. Учитывайте стоимость всех вызовов, время инженера на настройку, проверку человеком, повторные попытки и цену ошибки. Быстрая дешёвая модель может оказаться дороже, если после неё каждый ответ переписывают вручную. Более дорогая — невыгодна, если её преимущество проявляется только на одном редком кейсе.
Запишите формулу в рабочем виде: стоимость модели + стоимость ручных минут + ожидаемые потери от критических ошибок. Не нужно притворяться, что цифра точна до копейки. Достаточно увидеть порядок величин и сравнить одинаковые условия. Тарифы и лимиты меняются, поэтому зафиксируйте дату проверки в карточке эксперимента.
Описание моделей может подсказать вопросы для проверки, но его нельзя переносить в итоговое решение. Ответ даёт только ваша выборка: реальные примеры, журнал критических ошибок, требования к данным и стоимость проверенного результата.
5. Выберите не одну модель, а правила применения
Часто правильный итог — не «перейти на X», а разделить задачи. Лёгкая модель обрабатывает черновики с обязательной проверкой. Более сильная — сложные документы. Запросы с личными данными остаются в разрешённом контуре. Материалы с высоким риском вообще не уходят в автоматизацию без эксперта.
В отчёте по пилоту сформулируйте выбор как правило: «модель А — для писем до двух страниц; модель Б — для анализа структуры документов; все финансовые сроки проверяет человек». Это полезнее общего рейтинга и легче объясняется команде.
Запланируйте повторный тест. Версия модели, цены, контекст и правила сервиса меняются. Повтор раз в квартал или после существенного обновления покажет, сохранилось ли решение. Сохраняйте исходный набор и рубрику оценки, иначе сравнение после обновления будет лишь новым впечатлением.
Чек-лист перед решением
- Сценарий и неприемлемые ошибки определены до теста.
- В наборе есть обычные, сложные, пограничные случаи и правильный отказ.
- Примеры обезличены и имеют версию.
- Базовый и настроенный раунды разделены.
- Оценка опирается на заранее известную рубрику.
- Критические ошибки считаются отдельно от среднего балла.
- Учтены ручные правки, доступ, приватность и стоимость.
- Итог оформлен как правило применения и дата следующего пересмотра.
Хорошее сравнение не доказывает, что одна модель умнее всех остальных. Оно показывает, какой инструмент даёт проверяемый результат для вашей задачи при приемлемой цене и риске. Этого достаточно, чтобы заменить спор по впечатлениям на рабочее решение.
Проведите слепой разбор ошибок
После подсчёта баллов уберите из таблицы названия моделей и попросите коллегу распределить ответы по качеству. Пусть он отметит критические ошибки, лишние правки и случаи корректного отказа, не видя бренда. Затем верните названия и сравните впечатление с цифрами. Если фаворит потерял преимущество в слепом раунде, это полезный сигнал: выбор был связан с привычным интерфейсом, а не с результатом.
Сделайте отдельный список «не прошедших» кейсов. Для каждого укажите, что произошло, насколько легко обнаружить ошибку и можно ли исправить процессом: шаблоном, дополнительной проверкой или маршрутизацией к человеку. Модель, которая редко ошибается, но скрывает ошибку уверенным тоном, требует более строгого контроля, чем модель, честно возвращающая «не знаю».
В финальном отчёте разделите решение и условия его действия. Запишите дату, версию моделей, набор примеров, допустимое время ручной проверки и порог критических ошибок. Через месяц повторите только спорные кейсы и сравните их с исходными результатами. Так эксперимент превращается в живое правило применения, а не в одноразовый рейтинг.