Как определяют, что текст написан ИИ — и почему детекторам нельзя верить на слово

Вопрос «а не ИИ ли это написал» задают всё чаще: преподаватели студентам, редакторы авторам, заказчики исполнителям. В ответ появились десятки сервисов, выдающих уверенное «87% вероятность ИИ». Разберёмся, откуда берётся это число и насколько ему можно верить.

Короткий ответ: детекторы меряют не то, что вы думаете, и ошибаются предсказуемым образом.

Что детектор считает на самом деле

Детектор не понимает текст. Он оценивает статистические свойства — насколько текст похож на то, что выдала бы языковая модель.

Признак 1: предсказуемость слов

Языковая модель на каждом шаге выбирает следующее слово из распределения вероятностей и чаще всего берёт что-то из верхушки списка. В результате её текст состоит преимущественно из «ожидаемых» продолжений.

Человек так не пишет. Мы вставляем неожиданное слово, обрываем мысль, используем странное сравнение. Детектор прогоняет ваш текст через собственную модель и смотрит: насколько каждое слово было предсказуемо? Ровный, гладкий, ожидаемый текст поднимает оценку «это ИИ».

Признак 2: разброс длин предложений

Второй признак нагляднее и его можно проверить самому. У человека предложения скачут по длине: короткая фраза, потом длинный период на три строки с придаточными, потом снова короткая. У модели предложения выходят более ровными по длине — она держит средний, «удобный» размер.

Формально это считается через разброс: средняя длина предложения и отклонение от неё. Малый разброс — подозрительно ровно.

Признак 3: словарное разнообразие

Сколько уникальных слов на общее число слов. Модель охотно повторяет удачную конструкцию, человек чаще ищет синоним. Признак самый слабый из трёх — сильно зависит от темы и длины текста.

Где детекторы ошибаются систематически

Вот здесь начинается главное.

Ложные срабатывания на неносителях языка. Человек, пишущий на неродном языке, использует более простые конструкции и предсказуемые обороты — ровно то, что детектор считает признаком машины. Это самая известная и самая несправедливая ошибка детекторов.

Ложные срабатывания на формальных жанрах. Инструкция, техническая документация, юридический текст, научная статья — все они пишутся нарочито ровно и предсказуемо. Хороший технический текст статистически похож на машинный, потому что задача у него та же: минимум неожиданностей.

Пропуск отредактированного текста. Достаточно переписать часть предложений, добавить пару длинных и пару коротких — и статистика съезжает. Детектор ловит не ИИ, а неотредактированный вывод ИИ.

Пропуск текста, написанного с промптом на стиль. Если модель попросили писать рвано и разговорно, разброс длин вырастет сам собой.

Полная беспомощность на коротких текстах. Меньше 300 слов — статистики физически недостаточно. Любой вердикт по абзацу — это угадывание.

Что означает «87% вероятность ИИ»

Не то, что кажется. Это не «текст на 87% написан ИИ» и не «мы уверены на 87%». Это выход внутренней модели детектора, откалиброванный производителем на его собственной выборке. На вашем жанре калибровка может не работать вовсе.

Ключевое: у детекторов нет доступа к истине. Они не знают, как текст был создан. Они сравнивают его с представлением о том, как пишет машина, — представлением, устаревающим с каждой новой моделью.

Практический вывод

Если вы проверяете чужой текст. Вердикт детектора — повод задать вопрос, а не основание для обвинения. Обвинять студента или автора на основании процента — значит принять на себя ошибку инструмента, которая систематически бьёт по тем, кто пишет на неродном языке. Спросите про черновики, историю правок, попросите объяснить решения в тексте — это надёжнее любого детектора.

Если проверяют ваш текст. Сохраняйте историю: черновики, версии документа, переписку. Это единственное реальное доказательство авторства. И помните, что детектор может сработать на вашем совершенно человеческом тексте просто потому, что вы пишете ровно.

Если вы редактируете вывод модели. Признаки, по которым вас поймают, — те же, что делают текст скучным: одинаковые предложения, предсказуемые обороты, повторяющиеся слова. Так что правка ради живости и правка ради «прохождения детектора» — это одно и то же действие.

Посмотреть на собственный текст глазами такого анализа можно в нашем инструменте «Ритм текста»: он считает разброс длин предложений и словарное разнообразие прямо в браузере и честно оговаривает, что детектором не является.

Что запомнить

• Детекторы меряют статистику, а не авторство: предсказуемость слов, разброс длин предложений, разнообразие лексики.
• Они систематически ошибаются на неносителях языка и на формальных жанрах.
• Отредактированный текст они не ловят — ловят только сырую генерацию.
• На тексте короче ~300 слов их вердикт не имеет смысла.
• Процент — это выход модели, а не вероятность в бытовом смысле.
• Как доказательство результат детектора не годится. История правок годится.