Как распознать текст, написанный ChatGPT

Люди всё чаще обращаются к чат-ботам, чтобы писать компьютерный код, составлять обзоры статей и книг или получать советы. Но эти же боты активно используются для быстрого создания текстов с нуля, которые некоторые пользователи выдают за свои собственные.

Неудивительно, что это стало проблемой для преподавателей, которым приходится оценивать студенческие работы. Трудности возникают и у тех, кто ищет советы на форумах вроде Reddit или изучает отзывы о товарах перед покупкой.

В последние годы исследователи пытались понять, возможно ли вообще отличить текст, написанный человеком, от текста, созданного искусственным интеллектом. Иногда ответы на этот вопрос могут дать сами чат-боты.

Слишком хорош, чтобы быть человеческим?

Недавние исследования показали: отличить текст человека от текста бота крайне сложно. Участники онлайн-исследования 2021 года не смогли различить истории, новости и рецепты, написанные людьми, и аналогичные тексты, сгенерированные ChatGPT.

Эксперты по языку справлялись не лучше. В исследовании 2023 года члены редакционных советов ведущих лингвистических журналов не смогли определить, какие аннотации к статьям написаны людьми, а какие — ChatGPT. А в 2024 году оказалось, что 94% экзаменационных работ студентов, написанных ботом, остались незамеченными преподавателями в одном из британских университетов. Очевидно, люди в этом деле не слишком сильны.

Считается, что редкие или необычные слова могут выдавать автора, как игрок в покер может случайно выдать, что у него выигрышный расклад. Исследователи действительно заметили рост употребления относительно редких слов в научных статьях за последние годы. Это намекает на то, что такие слова могут служить признаком использования ИИ. Возможно, некоторые учёные активно применяют ботов для написания или редактирования своих статей, хотя этическая оценка такой практики остаётся предметом обсуждения.

В другом исследовании участников спрашивали о признаках, которые они связывают с текстами чат-ботов. Многие отмечали слишком частое использование длинного тире — удлинённого тире для выделения текста или паузы в мысли. Однако точность распознавания ИИ даже в этом исследовании была лишь немного выше случайного уровня.

Интересно, что многие люди считают длинное тире «явным признаком» текста бота, возможно, потому, что его чаще используют опытные писатели. Другими словами, текст «слишком хорош», чтобы быть написанным человеком, и значит, он искусственный.

А что же стилометрия?

Некоторые ответы можно найти в стилистометрии — области, где статистические методы помогают выявлять различия в стилях письма авторов.

Одним из методов стал Burrows’ Delta, предложенный австралийским учёным Джоном Барроузом. Эта компьютерная техника анализирует относительную частоту употребления распространённых слов, а не редких, в разных текстах. Кажется парадоксальным, что авторство можно определить таким образом, но метод оказался впечатляюще точным.

С его помощью, например, удалось установить, что Рут Пламли Томпсон, преемница Л. Фрэнка Баума, была автором спорной книги из серии «Волшебник страны Оз». Метод также показал, что любовные письма, приписываемые генералу Конфедерации Джорджу Пикетту, на самом деле были выдумкой его вдовы ЛаСалл Корбелл Пикетт.

Недостаток Burrows’ Delta и аналогичных методов в том, что для надёжного различения авторов требуется большой объём текста — минимум около 1000 слов от каждого автора. Поэтому короткое студенческое эссе не даст статистике достаточно данных.

Современные исследования используют языковые модели BERT, обученные на больших объёмах текстов людей и ботов. Они распознают закономерности, характерные для каждого типа письма, и могут быть точнее людей: лучшие модели достигают точности 80–98%.

Однако эти модели остаются «чёрными ящиками» — неизвестно, какие особенности текстов обеспечивают их эффективность. Учёные ищут способы понять это, но пока не ясно, улавливают ли модели признаки, которые человек может заметить самостоятельно.

Стрельба по движущейся цели

Определение текста, созданного ботом, усложняет и то, что сами модели постоянно меняются — иногда существенно.

В начале 2025 года пользователи начали жаловаться, что ChatGPT стал чрезмерно льстивым, оценивая обычные запросы как «удивительные» или «фантастические». OpenAI исправила ситуацию, откатив некоторые изменения.

Стиль человеческого письма тоже может меняться со временем, но обычно это происходит не так резко.

На вопрос самому ChatGPT: «Как понять, что текст сгенерирован ChatGPT? Есть ли у него «подсказки», например характерный выбор слов или пунктуация?», бот признал, что отличить человеческую прозу от искусственной «может быть непросто», но предоставил список из 10 пунктов с примерами. Среди них — использование слов-ограничителей вроде «обычно» и «в целом», частое использование списков и «отполированный, нейтральный тон». Он упомянул «предсказуемый словарный запас», в том числе прилагательные вроде «значительный» и «выдающийся», а также академические термины вроде «следовательно» и «комплексность».

Однако бот подчеркнул, что ни одна из этих характеристик сама по себе не является окончательным признаком. Известно, что чат-боты могут «галлюцинировать» или допускать фактические ошибки.

Но когда речь идёт о самих себе, они оказываются удивительно проницательными.

Роджер Дж. Кройц
Профессор психологии,
Заместитель декана,
Университет Мемфиса
Источник – The Conversation

Перевод с английского – АТМА