Как проверить ответ ИИ перед отправкой: рабочий протокол без самообмана

Нейросеть полезна как быстрый черновик, но не становится автором, редактором или ответственным за последствия ответа. Самая частая ошибка — оценить ответ по уверенной формулировке и красивой структуре. Проверять нужно не «насколько убедительно написано», а можно ли проследить путь от задачи к факту, расчёту, источнику и финальному действию.

Этот протокол подходит для письма клиенту, карточки товара, аналитической заметки, инструкции, ответа службы поддержки и кода. Он занимает от пяти минут для короткого текста до отдельного тестового цикла для важного решения. Если задача связана с правом, медициной, финансами, безопасностью или персональными данными, ответ ИИ нельзя использовать как единственное основание для решения.

Сначала определите цену ошибки

Не все ответы нужно проверять одинаково. Начните с простого вопроса: что случится, если фрагмент окажется неверным? Опечатку в черновике поста можно поправить позже. Неверную цену, дату договора, юридическую ссылку, медицинский совет или команду удаления данных — нельзя.

Удобно делить задачи на три уровня. Для низкого риска достаточно вычитать текст и сверить исходное задание. Для среднего риска нужно проверить факты, ссылки и расчёты по первичным данным. Для высокого риска добавьте человека, который вправе принять решение, сохраните источники и выполните действие в тестовой среде. Такой подход лучше, чем пытаться «настроить идеальный промпт»: хороший запрос снижает число ошибок, но не отменяет их.

Перед работой сформулируйте критерий готовности одной фразой. Например: «Письмо должно быть до 1 200 знаков, на русском, с подтверждённой датой запуска и без обещаний, которых нет в договоре». Если критерий не записан, вы не сможете честно проверить, выполнил ли ИИ задачу. Для более предсказуемого результата пригодится шаблон брифа для ИИ: из него можно взять аудиторию, ограничения и формат результата.

Шаг 1. Сверьте ответ с исходной задачей

Откройте исходный запрос и готовый ответ рядом. Отметьте четыре вещи:

1. Результат. Ответ действительно создаёт нужный артефакт: письмо, таблицу, список правок, план или код, а не просто рассуждает о нём.
2. Формат. Соблюдены язык, объём, тон, структура, ограничения по полям и требуемый уровень детализации.
3. Границы. ИИ не добавил незаказанные обещания, выводы, ссылки, персональные данные и не изменил смысл исходных условий.
4. Неопределённость. Неясные места обозначены как вопросы или допущения, а не выданы за факт.

Полезная команда для второго прохода: «Составь список требований из моего задания и укажи напротив каждого, где оно выполнено в черновике. Если требования нет — напиши “не выполнено”». Но такой список всё равно сверяет человек: модель может ошибиться и в самооценке.

Шаг 2. Разделите текст на проверяемые утверждения

Длинный абзац часто скрывает несколько независимых заявлений. Разбейте его на атомарные: имя, должность, дата, сумма, характеристика продукта, причинно-следственный вывод, цитата, ссылка. Затем пометьте каждое как один из трёх типов: факт, интерпретация или предложение.

Факт должен иметь источник. Интерпретация должна быть явно названа оценкой и не подменять факт. Предложение должно содержать условия: кто выполняет, в какие сроки и с какими ограничениями. Например, фраза «сервис экономит время» слишком расплывчата. Гораздо честнее: «сервис может сократить время первого черновика; эффект стоит измерить на 10 типовых задачах команды».

Для новостей сначала ищите публикацию самой компании, документацию, реестр или первичное исследование. Вторичные обзоры помогают понять контекст, но не заменяют первоисточник. На ИИшка Про этот принцип разобран в гайде о проверке ответов перед публикацией и в материале о том, как сравнивать ИИ-сервисы на своей рабочей задаче.

Шаг 3. Проверьте цифры, ссылки и цитаты отдельно

Уверенный текст не делает число верным. Сверяйте каждую дату, процент, тариф, лимит и единицу измерения с источником. Для расчётов не ограничивайтесь итогом: воспроизведите формулу в таблице или калькуляторе, проверьте округление и период. Если ИИ получил данные из нескольких мест, спросите, какие именно значения он использовал, а затем откройте их вручную.

Ссылки проверяйте в браузере, а не по названию. Нужная страница может быть перемещена, относиться к другой версии продукта или вообще не подтверждать утверждение рядом с ней. Цитату сверяйте по оригиналу: особенно опасны сокращения, которые меняют условие, время или объект высказывания.

Мини-чек-лист для чисел:

• совпадают ли валюта, НДС, период и часовой пояс;
• не перепутаны ли проценты и процентные пункты;
• есть ли дата актуальности;
• можно ли повторить расчёт без нейросети;
• не выглядит ли точность искусственной: «17,43 %» без исходной методики — повод уточнить данные.

Шаг 4. Не отправляйте чувствительные данные в публичный чат

Проверка качества начинается ещё до генерации. Не вставляйте в публичный сервис пароли, API-ключи, паспортные данные, медицинские документы, договоры, закрытую финансовую отчётность и сведения, по которым можно определить клиента или сотрудника. Сначала замените имена и идентификаторы заглушками, уберите вложения и лишние колонки.

Если задача требует работы с закрытыми данными, используйте разрешённый в организации режим и проверьте правила хранения, обучения на данных и доступа сотрудников. Само слово «корпоративный» в названии тарифа не отвечает на эти вопросы. Подробнее о подготовке безопасного рабочего процесса — в материале «Как вести журнал работы с ИИ».

Шаг 5. Проведите редакторский и предметный проход

На редакторском проходе уберите канцеляризмы, повторы, чрезмерную уверенность и фразы без действия. Проверьте, что заголовок не обещает больше, чем доказывает текст. Различайте «модель может», «компания заявляет» и «это подтверждено независимым тестом» — это три разных уровня уверенности.

На предметном проходе человек со знанием темы смотрит на смысл. Для договора это юрист, для медицинского текста — квалифицированный специалист, для финансового расчёта — ответственный аналитик. Задача этого человека не в том, чтобы «одобрить ИИ», а в том, чтобы выявить опасные упрощения и принять решение на своей экспертизе.

Для кода добавьте техническую проверку: линтер, тесты, ревью изменения, обработку ошибок, права доступа и тест на копии данных. Никогда не запускайте сгенерированную команду удаления, миграцию или действие с внешними платежами без понимания каждого параметра.

Шаг 6. Зафиксируйте источник, версию и владельца решения

Важный материал должен оставлять след: исходный запрос, дату, использованную модель или сервис, список источников, внесённые человеком правки и имя ответственного. Это не бюрократия ради отчёта. Когда через неделю изменится тариф, факт или решение, вы сможете понять, почему текст выглядел именно так и что нужно обновить.

Для повторяющихся задач заведите короткий журнал: ссылка на задачу, версия шаблона, тип ошибки и способ предотвращения. Через несколько циклов он даст больше пользы, чем бесконечная смена моделей. Храните журнал там, где команда может увидеть причину решения и обновить правило после нового случая.

Готовый промпт для финальной самопроверки

Перед отправкой можно дать модели такой запрос, но использовать его только как дополнительный фильтр:

Проверь черновик ниже по пяти пунктам: соответствие задаче, факты и источники, числа и даты, непроверяемые обещания, риски для данных. Не переписывай текст. Верни таблицу: фрагмент, тип риска, что проверить вручную, приоритет. Если источника нет, так и напиши.

После ответа не подменяйте ручную проверку его таблицей. Она нужна, чтобы быстрее увидеть спорные места, а не чтобы передать модели ответственность.

Финальный список перед публикацией или отправкой

• Задача, формат и ограничения выполнены.
• Каждый важный факт, дата, цена и цитата сверены по первичному источнику.
• Расчёты воспроизводимы вне чата.
• В тексте нет неявных допущений и обещаний.
• Конфиденциальные данные удалены или обработаны в разрешённом контуре.
• Для высокорисковой темы есть предметный владелец решения.
• Сохранены источники, дата проверки и версия финального текста.

Если хотя бы один пункт не выполнен, это не означает, что материал плохой. Это означает, что его пока нельзя отправлять как готовый. Такая пауза обычно дешевле исправления ошибки после публикации.

Сделайте контрольный слепок решения

Перед отправкой сохраните короткую карточку: исходная задача, ключевые утверждения, проверенные источники, нерешённые вопросы и человек, который принимает финальное решение. Не копируйте в неё весь ответ и не включайте секреты. Цель карточки — дать возможность через неделю восстановить логику проверки за несколько минут, даже если модель, тариф или интерфейс уже изменились.

Затем попросите коллегу открыть только карточку и итоговый материал, не показывая ему исходный диалог с моделью. Пусть он отметит, какие выводы можно подтвердить, а где не хватает основания. Если проверяющий не понимает границу между фактом и предположением, улучшайте структуру карточки, а не добавляйте ещё один общий промпт. Такой слепой проход помогает обнаружить уверенный тон, который маскирует пропуск источника.

После публикации или отправки вернитесь к карточке в назначенную дату. Обновите только то, что изменилось: статус ссылки, версию данных, замечание получателя или найденный сбой. Не переписывайте старую запись задним числом — добавьте новую строку с датой. Так история решений остаётся проверяемой и превращается в рабочий материал для следующих проверок.