Как определяют, что текст написан ИИ — и почему детекторам нельзя верить на слово
Сервис показывает «вероятность AI: 87%» — и цифра выглядит как готовый приговор. На самом деле детектор не видел, кто печатал текст, не знает историю документа и не умеет установить авторство. Он сравнивает признаки текста со своими статистическими моделями и выдаёт оценку сходства. Эта оценка может быть полезным сигналом для редактора, но превращать её в доказательство против студента, автора или сотрудника нельзя.
Проблема не в том, что детекторы «всегда бесполезны». Проблема в неверном ожидании от инструмента. Они могут помочь выбрать материал для дополнительной проверки; они не могут надёжно ответить на вопрос «написал ли это человек». Особенно рискованно использовать один процент там, где от него зависят оценка, оплата, репутация или доступ к работе.
Что именно анализирует детектор
Точные формулы и модели у сервисов различаются, но принцип похож. Система смотрит на последовательности слов, повторы конструкций, распределение длины фраз, пунктуацию, предсказуемость следующих слов и другие стилистические характеристики. Иногда сравнивает текст с ответами известных моделей или ищет следы обработки в собственном классификаторе.
Это не анализ смысла и не цифровой отпечаток генератора. Аккуратная инструкция, формальный отчёт и текст человека, который пишет на неродном языке, могут иметь «машинные» статистические признаки. И наоборот, сгенерированный текст после обычной редакторской правки может их не иметь. Отсутствие срабатывания не доказывает человеческое происхождение, а срабатывание не доказывает использование ИИ.
Важно различать три вопроса, которые часто смешивают:
- текст похож на типичный вывод конкретной модели;
- текст написан с помощью ИИ;
- текст принадлежит определённому человеку.
Детектор пытается работать в первом поле, а решения на практике нередко принимают по второму и третьему. Между ними слишком большая логическая дистанция.
Почему процент не равен вероятности авторства
Цифра в интерфейсе зависит от того, на каких текстах обучали и проверяли инструмент. Если разработчик тестировал его на англоязычных эссе определённой длины, результат на русской инструкции, переводе или коротком посте может означать совсем другое. Пользователь обычно не видит ни исходную выборку, ни порог, ни долю ложных срабатываний для своего жанра.
Представьте два текста с оценкой 70%. Один — пятисотсловное эссе, другой — десять строк технической инструкции. Визуально одинаковый процент не делает случаи равными. В коротком тексте мало материала для статистики. В формальном — сама задача требует однообразия. А в переводе стиль исходника и способ его адаптации могут сильнее влиять на оценку, чем участие модели.
Поэтому слово «вероятность» в интерфейсе стоит читать осторожно: это внутренний балл классификатора, а не установленный шанс, что конкретный человек обманул проверяющего.
Где ложные срабатывания особенно опасны
Первый риск — тексты людей, которым русский или английский не родной. Они нередко используют ограниченный словарь, простые конструкции и осторожные повторения. Формальные правила языка здесь могут выглядеть для модели «слишком ровно», хотя за текстом стоит реальный автор.
Второй риск — жанры с жёстким шаблоном: регламенты, инструкции, справки, научные аннотации, отчёты и юридические формулировки. В них намеренно избегают образности и неожиданностей. Если детектор считает ясность и повторяемость подозрительными, он фактически наказывает текст за соответствие жанру.
Третий риск — короткие фрагменты. По абзацу, описанию товара или ответу на вопрос нельзя делать серьёзные выводы об авторстве. У системы слишком мало сигнала, а у пользователя слишком много желания увидеть в числе ответ.
Наконец, инструменты меняются быстрее, чем эталонные наборы. Новые модели, переводчики и редакторы меняют стиль, на котором учился классификатор. То, что работало в одном месяце и на одной версии сервиса, не становится устойчивым правилом для всех текстов.
Как проверять текст справедливо
Если вы редактор или преподаватель, начинайте не с детектора, а с контекста. Соответствует ли работа заданию? Может ли автор объяснить ход мысли, источники, выбор терминов и сделанные выводы? Есть ли черновики, заметки, история правок, рабочие файлы или промежуточные версии? Это не абсолютные доказательства, но они дают гораздо более прямую картину процесса.
Если автоматическая проверка всё же сработала, относитесь к ней как к вопросу, а не к ответу. Попросите автора рассказать о двух-трёх спорных местах, предложите уточняющее задание в присутствии проверяющего или проверьте первичные источники. Не требуйте от человека «доказать невиновность» числом, которое он не может воспроизвести и оспорить.
Для редакции полезен протокол: сохранять исходный текст, дату проверки, версию инструмента, результат, человеческие основания для сомнения и финальное решение. Тогда процент не живёт отдельно от доказательств. Как проверять сами утверждения в тексте, а не его предполагаемое происхождение, разбирается в гайде о фактчекинге ответов ИИ.
Если вы используете ИИ в своей работе
Не пытайтесь «обмануть» детектор искусственной неровностью. Бессмысленные ошибки, случайные слова и намеренно сломанный ритм ухудшают текст и не создают честного доказательства авторства. Лучше сохраните процесс: исходные заметки, версии, свои правки, комментарии и источники. Это полезно не только в споре с проверкой — такая история помогает редактору восстановить логику решения.
После генерации читайте материал по существу. Удаляйте общие формулы, возвращайте собственные примеры, проверяйте факты и объясняйте спорные переходы. Это не маскировка инструмента, а нормальная редактура. Подход к сохранению своего тона описан в материале о переписывании текста под голос автора.
Если условия учёбы или работы требуют раскрывать использование ИИ, сделайте это прямо. Прозрачность обычно надёжнее, чем игра в статистические признаки. А если правила неясны, уточните их до сдачи, а не после спорного результата.
Что можно измерить без подмены понятий
Инструменты анализа стиля всё же полезны. Они могут показать повтор слов, среднюю длину предложений, слишком плотные канцелярские обороты и места, где текст трудно читать. Но назвать это стоит редакторским анализом, а не «детекцией автора». Внутренний инструмент «Ритм текста» именно так и устроен: он показывает метрики как повод для вычитки, а не выносит вердикт о происхождении.
Если задача — улучшить читаемость, спросите: понятен ли адресат, есть ли конкретные действия, не прячется ли важное ограничение в длинной фразе. Это даёт больше для качества материала, чем погоня за процентом в чужом классификаторе.
Короткий чек-лист для спорного случая
- Не принимайте балл детектора за доказательство авторства.
- Учитывайте язык, жанр, длину и контекст текста.
- Сохраняйте версию инструмента и дату проверки.
- Ищите прямые свидетельства процесса: черновики, источники, историю правок.
- Обсуждайте с автором конкретные фрагменты, а не общий процент.
- Отделяйте проверку фактов и качества текста от вопроса об инструменте.
- Не применяйте автоматический вердикт там, где он в одиночку влияет на оценку или репутацию.
Как оформить апелляцию без спора о процентах
Если результат детектора повлиял на решение, соберите нейтральный пакет проверки. Сохраните исходный файл, дату и версию инструмента, полный отчёт, задание и критерии оценки. Затем попросите автора объяснить несколько конкретных мест: откуда взялся факт, почему выбран такой термин и какие правки он сделал после черновика. Вопросы должны быть одинаковыми для всех спорных случаев, иначе процедура превращается в личное впечатление проверяющего.
Сравнивайте не только подозрительный фрагмент, но и контрольный текст того же жанра и длины. Если детектор одинаково повышает балл у двух инструкций, это сигнал о свойствах жанра, а не об авторстве. Результат оформите в трёх строках: что показал инструмент, какие прямые свидетельства есть и какое решение принято человеком. Процент можно оставить в приложении, но не использовать как единственное основание.
Через месяц пересмотрите несколько завершённых случаев вслепую. Уберите имена и первоначальные ярлыки, дайте их двум редакторам и сравните, совпадают ли выводы. Если решения расходятся, уточните правила и обучение проверяющих. Такой аудит не делает детектор точнее, зато помогает понять, где процедура сама создаёт несправедливость.
Детектор может стать фонариком, который подсвечивает материал для внимательного чтения. Но он не камера наблюдения за авторством. Чем выше цена решения, тем больше нужны прозрачный процесс, человеческая проверка и возможность объяснить, почему вывод сделан именно так.