Как проверить ответ нейросети: редакторский протокол
Гладкий текст создаёт опасную иллюзию точности. Модель может выдержать нужный тон и одновременно придумать дату, перепутать единицы или сослаться на документ, которого не было во входе. Поэтому редактор проверяет не «впечатление от ответа», а отдельные утверждения, расчёты, обязательные пункты и ограничения. Ниже — протокол, который заканчивается конкретным статусом: готово, нужны правки или использовать нельзя.
До чтения сохраните условия
Зафиксируйте исходный запрос, модель и её версию, системную инструкцию, дату, файлы и все уточняющие сообщения. Если ответ получен в несколько этапов, сохраните последовательность. Иначе при ошибке нельзя будет установить, какой фрагмент входа повлиял на вывод.
Для редакторской копии обезличьте имена, контакты, номера и внутренние ссылки, а оригинал оставьте в закрытом каталоге. Укажите, кто принимает финальное решение и какая ошибка считается критической для этой темы.
1. Постройте карту утверждений
Разделите ответ на короткие проверяемые фрагменты и присвойте каждому тип:
- Факт — дата, версия, число, название или цитата;
- Расчёт — процент, сумма, сравнение или формула;
- Интерпретация — объяснение того, что означает факт;
- Рекомендация — действие при определённых условиях;
- Предположение — версия, которую нельзя выдавать за установленное.
Создайте рабочую таблицу:
| Утверждение | Тип | Основание | Проверка | Статус |
|---|---|---|---|---|
| «лимит изменился» | факт | карточка версии | сверить дату и тариф | |
| «это сэкономит час» | вывод | собственный замер | повторить на выборке | |
| «можно включить без ревью» | рекомендация | нет | удалить |
Если у фрагмента нет основания, не пытайтесь «довериться вероятности». Уберите его или честно обозначьте, что это редакционная гипотеза.
2. Отдельно пересчитайте числа
Перепроверьте суммы, проценты, разницы, единицы и округление независимым калькулятором или таблицей. Сверьте миллисекунды и секунды, мегабайты и гигабайты, месячную и годовую цену. Проверьте отрицательные значения и условие «не менее»: модель часто переносит число правильно, но меняет знак или смысл сравнения.
Сохраните промежуточный расчёт рядом с материалом. Если итог совпал случайно, а формула неверна, статус должен быть «нужны правки». Для финансовых и юридических текстов расчёт подтверждает второй человек.
3. Проверьте полноту по обещанному результату
Составьте список пунктов, которые обещает заголовок и вводка. Для гайда это реальные шаги, пример и условие остановки; для новости — событие, хронология, последствия и ограничения; для сравнения — одинаковые критерии и выбор по сценариям. Отметьте каждый пункт в ответе.
Попросите модель отдельно перечислить неизвестные сведения и сравните список с исходными файлами. Если важный документ не передан, но ответ звучит так, будто данных достаточно, материал возвращается на доработку. Неполнота — содержательная ошибка, а не недостаток стиля.
4. Проведите независимую проверку
Не проверяйте все факты тем же способом, которым они были получены. Для даты откройте первичный документ, для расчёта используйте формулу, для кода запустите тест, для цитаты найдите исходный абзац. Второй ответ другой модели может повторить ту же ошибку, если обе получили неверную предпосылку.
Для важного материала попросите коллегу прочитать только финальный текст и назвать обещанный результат и главный риск. Если его понимание отличается от редакторского замысла, вернитесь к структуре и вводке.
5. Добавьте негативные тесты
Измените порядок входных абзацев, замените один термин синонимом и добавьте намеренно неполное поле. Повторите запрос и сравните факты, обязательные поля и отказ. Стабильный ответ сохраняет смысл и признаёт нехватку данных; если вывод меняется из-за несущественной перестановки, это ограничение нужно указать или сократить область применения.
Для агентного процесса добавьте запрещённое действие и ошибку инструмента. Модель должна остановиться, а не скрыть сбой в финальном тексте. Для документов проверьте старую версию и конфликтующее исключение.
6. Уберите обещания и скройте лишнее
Найдите слова «точно», «без ошибок», «лучший», «заменит специалиста» и «подходит всем». Заменяйте их условиями: «в нашей выборке», «при такой версии», «требует ручной проверки». Предупреждение должно объяснять, что сделать читателю.
Перед сохранением отчёта удалите секреты, персональные данные и лишние фрагменты переписки. Ссылки на внутренние файлы оставляйте только в закрытом досье, а публичный текст проверяйте на утечки и случайные токены.
7. Примите статус выпуска
Используйте только три статуса:
- Готово. Все обязательные утверждения подтверждены, повторный прогон не выявил критической ошибки.
- Нужны правки. Есть локальные исправления, после которых проверка повторяется.
- Не использовать. Есть выдуманный факт, опасное действие, утечка или отсутствие необходимого источника.
В карточке выпуска сохраните дату проверки, список исправлений, имя проверяющего и финальный URL. Не отправляйте в IndexNow или Telegram материал со статусом «нужны правки».
SEO и технический слой
После редакторской проверки сверяйте уникальные title, description, slug, один H1, видимую дату и 2–4 естественные внутренние ссылки. Тип JSON-LD должен соответствовать странице: NewsArticle только для новости, HowTo — для видимых шагов, FAQPage — для опубликованных вопросов и ответов. Проверьте canonical и дату в разметке после сборки; локальный порядок описан в гайде по JSON-LD.
Чек-лист
- Сохранены запрос, версия модели и входные данные.
- Каждое утверждение получило тип и основание.
- Числа, даты и единицы перепроверены независимо.
- Все обещанные пункты присутствуют.
- Выполнен повторный и негативный прогон.
- Тон не скрывает ограничений и рисков.
- Удалены секреты и персональные данные.
- Назначен статус и ответственный проверяющий.
- SEO, дата и JSON-LD соответствуют видимому тексту.
Как оформить след проверки для следующего редактора
Сохраните рядом с текстом не только итоговый статус, но и три коротких свидетельства: таблицу утверждений, независимый расчёт и один пример негативного прогона. Для каждого исправления укажите, что изменилось и какую проверку повторили. Такой след позволяет быстро продолжить работу после паузы и не принимать прежний ответ на веру.
Если материал возвращён на правки, не меняйте одновременно факты и тональность. Сначала исправьте основание спорного утверждения, затем снова проверьте полноту и числа, и только потом полируйте стиль. Иначе красивый текст может скрыть, что ошибка осталась в исходной логике.
Проверка не делает ответ нейросети истинным автоматически. Она превращает черновик в материал, за который редакция может отвечать: видно, что подтверждено, где есть оценка и какое действие читатель вправе выполнить без лишнего риска.