5 лучших детекторов контента ИИ, которые последовательно идентифицируют текст, сгенерированный AI

В январе 2023 года я погрузился в увлекательный мир плагиата, созданного ИИ, и инструментов для борьбы с ним. Тогда ажиотаж вокруг генеративного ИИ только набирал обороты. Теперь у меня есть свежие обновления, отражающие последние достижения в этой быстро развивающейся области.

Когда я впервые тестировал детекторы GPT, лучший результат составил 66% точности у одного из трех доступных инструментов. К февралю 2025 года я расширил тестирование до 10 различных детекторов. Результаты? Три из них справились идеально. Спустя пару месяцев это число выросло до пяти. Очевидно, что эти инструменты становятся всё точнее с каждым днём.

Что я тестирую и как это делаю

Прежде чем углубиться, уточним, что такое плагиат. Согласно Merriam-Webster, «плагиаризм» означает «украсть и выдать (идеи или слова другого) за свои собственные; использовать (чужое произведение) без указания источника». Это определение применимо к контенту, созданному ИИ. Если кто-то использует инструмент ИИ, такой как Notion AI или ChatGPT, и выдает результат за свой без указания ИИ, это всё равно плагиат, ясно и просто.

Для оценки детекторов ИИ я использую пять текстовых блоков: два написаны мной, три сгенерированы ChatGPT. Каждый блок прогоняется через каждый детектор отдельно, я отмечаю, правильно ли инструмент определяет текст как человеческий или созданный ИИ. Если детектор выдает процент, я считаю всё выше 70% сильным индикатором человеческого или ИИ происхождения. Если хотите попробовать сами, текстовые блоки можно найти в этом документе.

Общие результаты

Я провел серию из пяти тестов на 10 разных детекторах, что составило целых 50 отдельных тестов. Да, это потребовало много кофе! Тестируемые детекторы включают BrandWell, Copyleaks, GPT-2 Output Detector, GPTZero, Grammarly, Monica, Originality.ai, QuillBot, Undetectable.ai, Writer.com и ZeroGPT.

Для этого обновления я добавил Copyleaks и Monica, исключив Writefull, так как он прекратил поддержку своего GPT-детектора. Content Guardian хотел участвовать, но я не успел настроить аккаунты для тестирования.

Вот краткий обзор результатов. Как видно, пять детекторов смогли правильно идентифицировать все пять текстовых блоков как человеческие или созданные ИИ.

David Gewirtz/ZDNET

Я также пытался выявить тенденции улучшения со временем, сравнивая результаты шести разных тестовых прогонов. Хотя я увеличил число детекторов и заменил несколько, четкой картины улучшения нет. Единственный стабильный результат — тест 5 всегда идентифицировался как человеческий во всех детекторах и датах.

David Gewirtz/ZDNET

Я продолжу тестировать и надеюсь увидеть более стабильную надежность в будущем. Однако, несмотря на некоторые идеальные результаты, я бы не доверял этим инструментам полностью для проверки человеческого контента. Как оказалось, тексты от не носителей языка часто ошибочно принимаются за созданные ИИ.

Хотя мои тексты в основном идентифицировались как человеческие, один детектор (GPTZero) был слишком неуверен, чтобы судить, а другой (Copyleaks) ошибочно пометил их как созданные ИИ. Результаты могут быть весьма противоречивыми в разных системах.

Как показал себя каждый детектор контента ИИ

BrandWell AI Content Detection (Точность 40%)

Изначально разработан Content at Scale, этот инструмент теперь работает под BrandWell.ai, компанией маркетинговых услуг, ориентированной на ИИ. К сожалению, его точность была довольно низкой. Он не смог различить человеческий и ИИ контент в тесте 2, как видно на скриншоте:

Скриншот David Gewirtz/ZDNET

Copyleaks (Точность 80%)

Иронично, что Copyleaks заявляет о «самом точном детекторе ИИ с точностью более 99%», когда более половины протестированных мной детекторов показали себя лучше. Но что ж, маркетологи есть маркетологи, верно? Компания в основном обслуживает образовательные учреждения, издателей и предприятия, стремящиеся обеспечить оригинальность контента и академическую честность.

Скриншот David Gewirtz/ZDNET

GPT-2 Output Detector (Точность 60%)

Этот инструмент разработан с использованием центра машинного обучения Hugging Face, компании ИИ из Нью-Йорка. Хотя компания привлекла 40 миллионов долларов для развития своей библиотеки естественного языка, детектор GPT-2, похоже, является пользовательским инструментом, использующим библиотеку Hugging Face Transformers.

Скриншот David Gewirtz/ZDNET

GPTZero (Точность 80%)

GPTZero значительно вырос с момента моего первого теста. Изначально это был минималистичный сайт, и неясно было, компания это или хобби-проект. Теперь это полноценная операция с миссией «защищать человеческое». Они предлагают инструменты валидации ИИ и проверку плагиата. Однако их производительность немного снизилась. Мои тексты были правильно идентифицированы как человеческие в последних двух прогонах, но на этот раз их ошибочно пометили как созданные ИИ.

Скриншот David Gewirtz/ZDNET

Grammarly (Точность 40%)

Grammarly известен тем, что помогает авторам создавать грамматически правильный контент, но это не то, что я здесь тестирую. Он также проверяет на плагиат и контент, созданный ИИ. В проверке грамматики есть кнопка проверки плагиата и ИИ-текста в правом нижнем углу:

Скриншот David Gewirtz/ZDNET

Хотя точность проверки ИИ у Grammarly была низкой, он правильно определил тестовый текст как ранее опубликованный.

Monica (Точность 100%)

Monica — новичок на сцене, предлагающий универсальный помощник ИИ с различными сервисами. Пользователи могут выбирать из разных больших языковых моделей. Компания утверждает, что Monica — «лучший онлайн-детектор ИИ», но, похоже, она прогоняет контент через другие детекторы, такие как ZeroGPT, GPTZero и Copyleaks. Интересно, что GPTZero и Copyleaks показали себя не лучшим образом в моих тестах, но Monica и ZeroGPT справились. Она получила идеальный результат, но я буду следить за ней в будущих тестах.

Скриншот David Gewirtz/ZDNET

Originality.ai (Точность 100%)

Originality.ai — коммерческий сервис, выполняющий функции проверки ИИ и плагиата. Компания продает кредиты использования; я использовал 30 кредитов для этой статьи. Они предлагают 2000 кредитов за 12,95 долларов в месяц. Я прогнал 1400 слов через систему и использовал лишь 1,5% месячного лимита.

Скриншот David Gewirtz/ZDNET

QuillBot (Точность 100%)

В предыдущих тестах результаты QuillBot были крайне нестабильными — несколько прогонов одного и того же текста давали совершенно разные оценки. Однако на этот раз он был стабильно точным и получил идеальные 100%. Я проверю через пару месяцев, сможет ли он сохранить эту производительность.

Скриншот David Gewirtz/ZDNET

Undetectable.ai (Точность 100%)

Undetectable.ai хвастается способностью «очеловечивать» текст, созданный ИИ, чтобы детекторы его не распознали. Как профессиональный автор и преподаватель, я нахожу эту функцию немного тревожной — это похоже на обман. Однако у них есть детектор ИИ, который показал себя исключительно хорошо.

Скриншот David Gewirtz/ZDNET

Детектор ИИ прошел все пять тестов. Интересно видеть индикаторы, показывающие флаги для других детекторов. Компания объяснила: «Мы разработали несколько алгоритмов детекторов, смоделированных по основным детекторам, чтобы обеспечить федеративный и консенсусный подход. Они не напрямую связаны с указанными моделями; каждая модель обучена на основе их результатов. Когда говорится, что эти модели пометили текст, это основано на алгоритме, который мы создали и обновили для этих моделей».

У меня был вопрос о флаге OpenAI, поскольку детектор контента OpenAI был прекращен в 2023 году из-за низкой точности. Тем не менее, Undetectable.ai правильно определил все пять тестов, заработав идеальные 100%.

Writer.com AI Content Detector (Точность 40%)

Writer.com — сервис, генерирующий тексты ИИ для корпоративных команд. Его инструмент AI Content Detector может сканировать на наличие созданного контента, но точность была низкой. Он определил каждый текстовый блок как написанный человеком, хотя три из пяти тестов были сгенерированы ChatGPT.

Скриншот David Gewirtz/ZDNET

ZeroGPT (Точность 100%)

ZeroGPT значительно продвинулся с момента моей последней оценки. Тогда у него не было четкой идентичности компании и он был перегружен рекламой Google. Теперь это отшлифованный SaaS-сервис с прозрачными ценами и контактной информацией. Его точность также улучшилась, поднявшись с 80% в прошлый раз до идеальных 100% на этот раз.

Скриншот David Gewirtz/ZDNET

Человек это или ИИ?

А как насчет вас? Пробовали ли вы детекторы контента ИИ, такие как Copyleaks, Monica или ZeroGPT? Насколько точными они были в вашем опыте? Использовали ли вы эти инструменты для защиты академической или редакционной целостности? Сталкивались ли вы с ситуациями, когда работа, написанная человеком, ошибочно помечалась как ИИ? Есть ли детекторы, которым вы доверяете больше других для оценки оригинальности? Дайте нам знать в комментариях ниже.

Получайте главные утренние новости в свой почтовый ящик каждый день с нашей рассылкой Tech Today.

Вы можете следить за моими ежедневными обновлениями проектов в социальных сетях. Обязательно подпишитесь на мою еженедельную рассылку обновлений и следите за мной на Twitter/X по адресу @DavidGewirtz, на Facebook по адресу Facebook.com/DavidGewirtz, на Instagram по адресу Instagram.com/DavidGewirtz, на Bluesky по адресу @DavidGewirtz.com и на YouTube по адресу YouTube.com/DavidGewirtzTV.