Полное руководство по обнаружению плагиата в чат-ботах с использованием ИИ

Чат-боты с искусственным интеллектом, такие как ChatGPT, не ограничиваются ответами на ваши вопросы. Они могут писать электронные письма, сопроводительные письма, эссе, стихи, посты в блогах и многое другое.

Написание ИИ похоже на хамелеона — оно может так хорошо сочетаться с любым другим типом письма, что вам будет трудно заметить разницу.

К сожалению, нам, людям, невероятно сложно определить, когда ИИ написал что-то вместо человека. Конечно, мы все могли бы последовать совету Шерлока Холмса и «устранить невозможное», но у кого есть на это время?

Что, если я скажу вам, что вышеприведенный абзац был написан ИИ? Да, я попросил YouWrite написать короткое вступление к этому посту, что и получилось. Довольно убедительно, правда? В том-то и проблема, слишком убедительно, что кто-то может выдать это за свою собственную работу, чтобы извлечь из этого пользу.

ИИ не просто переформулирует контент; изучить тему и представить ее на естественном языке, используя RLHF. Это означает, что сгенерированный контент не будет казаться роботизированным для чтения и его нельзя сравнивать с данными, доступными в Интернете, для обнаружения плагиата.

Поймать контент, сгенерированный ИИ, непросто, и я не буду давать вам ложных надежд на то, что вы сможете поймать его со 100% точностью. Тем не менее, немного поработав с детективом и воспользовавшись инструментом обнаружения написания ИИ, вы сможете уловить большую часть ИИ.

Ниже вы найдете ручные способы обнаружения плагиата искусственного интеллекта и некоторые автоматические инструменты.

Ручное обнаружение плагиата ИИ ?

ChatGPT не представляет большой проблемы, когда речь идет о плагиате ИИ. Существует множество альтернативных инструментов, основанных на той же технологии GPT-3 и предназначенных для записи. Они очень продвинуты и специально созданы для создания человеческого контента, который трудно захватить.

Инструменты автообнаружения могут немного ошибаться в зависимости от типа контента, его длины и сложности. Так что, по крайней мере сейчас, лучший способ — вручную соединить точки, чтобы определить, создана ли запись ИИ или нет.

Ниже я перечислил некоторые общие подсказки, которые вы можете искать, чтобы поймать контент, созданный ИИ.

№1. Устаревшая информация

ChatGPT и другие ИИ на основе GPT-3 сократили свои знания в конце 2021 года. Хотя некоторые ИИ-боты имеют встроенную поисковую систему для поиска последней информации, они по-прежнему полагаются на старые данные для написания длинного контента, такого как эссе. или сообщения в блоге.

Если вы заметили, что в письме постоянно говорится об устаревших данных, особенно до 2021 года, то они могут быть сгенерированы искусственным интеллектом.

На скриншоте ниже я попросил YouWrite рассказать мне о недавнем чемпионате мира по футболу, и вот что получилось.

В нем говорится о чемпионате мира по футболу 2018 года, а не о недавнем 2022 году. Хотя инструмент был обновлен, чтобы рассказывать о недавних событиях, таких как чемпионат мира по футболу 2022 года, он по-прежнему использует устаревшие данные, на которых он был основан, для написания длинных сообщений.

№ 2. Используйте ту же структуру предложений для описаний

При написании описаний нескольких продуктов/приложений ИИ обычно использует одну и ту же структуру предложения, которую он редактирует, чтобы она соответствовала описанию продукта. Описания обычно начинаются с одного и того же слова, например The, It, A или названия продукта. Описания также имеют специальный, повторяющийся фокус.

Например, ниже я попросил ChatGPT рассказать мне о «сайтах для работы по вводу данных». Вы можете видеть, что все описания начинаются с «А» и имеют строгую направленность.

Я также задал YouChat тот же вопрос, и он сделал то же самое и повторил название каждого веб-сайта в начале, а сами описания кажутся перефразированными версиями каждого из них.

Если в записи, которую вы анализируете, есть описание чего-либо похожего по своей природе, это отличный способ поймать запись ИИ.

№3. Используйте короткие предложения

В большинстве случаев ИИ будет использовать однострочные предложения с не более чем одной запятой. Они могут попытаться свести к минимуму возможность ошибки, но избегают написания длинных предложений, которые могут потребовать использования двоеточий, точек с запятой или жирных горизонтальных линий.

Я знаю, что это не лучшая подсказка, чтобы уличить ИИ в написании, но это стоит рассмотреть, чтобы еще раз подтвердить ваши подозрения.

№ 4. Он может предоставить неверную информацию

Для сложных вопросов, которые обычно включают в себя какие-то инструкции, ИИ может не понять намерения и предоставить неверную информацию. Я не говорю здесь об устаревшей информации, просто уверенно сообщаю вам неверную информацию, когда они не понимают предмета.

Например, я попросил YouWrite рассказать мне, «как получить root права на телефон Android без компьютера». Он по-прежнему показывал мне методы, которые включали использование компьютера в какой-то момент в классе.

№ 5. Не добавляет личного мнения

Говоря о чем-то, ИИ говорит только об известных фактах. В отличие от людей, она не будет рассказывать о своем личном опыте общения с ним. Хотя ИИ можно поручить создать практическую запись, они, как правило, избегают этого по умолчанию.

Если вы заметили, что в записи говорится только об общеизвестных фактах, есть большая вероятность, что она была написана искусственным интеллектом. Например, говоря о приложении, он будет говорить о его функциях, а не о том, насколько удобна навигация или как на самом деле использовать приложение.

№ 6. Краткие пояснения

Поскольку ИИ ограничены доступными в настоящее время знаниями, они, как правило, пишут краткие объяснения и описания. По моему опыту, если они говорят на конкретную тему, например, о рутировании Android, объяснение ограничивается максимум 2-3 абзацами. А для таких вещей, как приложения или продукты, описание обычно не превышает 1 абзаца.

Люди могут подробно написать о чем-то, в том числе о возможностях, ограничениях, личном опыте, ценах и т.д. С другой стороны, ИИ обычно фокусируется на основных функциях или самых важных вещах, поэтому текст тоже короткий. Если инструктор запрашивает более подробную информацию, вероятность неверной информации значительно возрастает.

№ 7. Проверьте историю писателя

Как учитель или веб-мастер, если у вас есть доступ к предыдущим работам или заданиям писателя, может быть хорошей идеей сравнить их с текстом, который вызывает у вас подозрения. Писатель вряд ли будет иметь стиль письма, аналогичный ИИ. Хотя ИИ может менять тон письма, выбранные им стили довольно общие, и он не может скопировать ваш тон.

Возьмем пример сгенерированного ИИ абзаца во введении к этому посту. Любой, кто читал мои предыдущие сообщения, может легко увидеть, что мой стиль письма полностью отличается от его.

Можно просто прочитать 2-3 предыдущих произведения писателя и посмотреть, соответствует ли оно стилю написания сомнительного текста.

Инструменты обнаружения плагиата ИИ

Существует множество доступных инструментов, которые могут обнаруживать контент, написанный ИИ. Однако их точность отличается друг от друга и может дать сбой в зависимости от типа контента и длины.

Я протестировал эти инструменты, используя различные типы контента, созданного ChatGPT, GPT-3 Playground, WriteSonic, Ritr и YouWrite. Они смогли обнаружить все виды контента, созданного ChatGPT и игровой площадкой GPT-3.

Хотя у них были смешанные результаты для специализированных инструментов для письма, что интересно, все они не смогли обнаружить YouWrite, я подозреваю, что это связано с тем, что YouWrite допускает человеческие ошибки, пытаясь избежать обнаружения.

Я рекомендую вам использовать эти инструменты в дополнение к ручной проверке контента. Сначала проанализируйте содержимое с помощью одного из этих инструментов, а затем вручную проверьте наличие подсказок, чтобы подтвердить свои подозрения.

Ниже я перечисляю те, которые дали наилучшие результаты и являются самыми простыми в использовании:

Примечание. Для демонстрации я буду использовать сгенерированный текст из WriteSonic о «Преимуществах манго».

№1. Контент в масштабе

Я обнаружил, что детектор контента AI Content At Scale оказался наиболее точным для большинства тестов, которые я проводил. Он позволяет сканировать до 2500 символов за сканирование и делает прогноз в процентах, показывающий реальную или поддельную плотность контента.

Можно с уверенностью предположить, что контент, который более чем на 60% фальшивый, является контентом, написанным ИИ, по крайней мере, по большей части. На скриншоте ниже видно, что 96% контента — фейк, который я полностью сгенерировал с помощью искусственного интеллекта.

№ 2. GPZero

Если вы хотите точно увидеть, какой контент генерируется ИИ, то GPTZero — хороший вариант. GPTZero не оценивает контент. Вместо этого он выделяет точный контент, который, вероятно, будет создан ИИ.

Хотя он показывает результаты путаницы и всплеска, чтобы дать представление о случайности в тексте, что более важно, он поддерживает 5000 символов за сканирование, а также может загружать файлы. Сканирование большого контента значительно помогает повысить точность.

№3. Выходной детектор ГПТ-2

Создатели ChatGPT также предлагают бота для обнаружения собственных работ. Поскольку GPT-2 и GPT-3 отличаются только общими данными, используемыми для обучения, этот детектор GPT-2 хорошо работает и для ИИ на основе GPT-3.

Нет ограничений на количество сканируемого контента, поэтому он идеально подходит для обнаружения очень длинного контента, созданного искусственным интеллектом. Я также обнаружил, что точность хорошая, особенно для контента, созданного ChatGPT. Тем не менее, он немного проигрывает в прогнозах, поэтому учитывайте его результаты только тогда, когда он показывает, что более 50% контента является фейковым.

№ 4. Детектор контента Vriter AI

Результаты детектора контента Vriter AI сомнительны при обнаружении контента от авторов AI, но он отлично работает для контента, созданного ChatGPT. Вы можете сканировать 1500 символов за сканирование и даже добавлять URL-адрес контента, если он уже опубликован.

Для моего тестового текста, сгенерированного ИИ, было сказано, что 94% контента было создано людьми, что довольно плохо по сравнению с другими инструментами. Несмотря на это, его все равно стоит использовать для обнаружения контента ChatGPT, особенно если он уже опубликован.

№ 5. Драфт и цель

Простой, но мощный инструмент для обнаружения рукописного ввода с искусственным интеллектом. По моему опыту, Draft & Goal предлагает аналогичные результаты, что и Content At Scale, но у него нет ограничения на количество слов, поэтому вы можете сканировать длинные записи. Однако время сканирования увеличивается в зависимости от объема сканирования содержимого.

В моем текстовом примере сказано, что 94% текста генерируется искусственным интеллектом.

Мои мысли ?

Лично я считаю, что помощь искусственного интеллекта на самом деле отличный способ снять писательский кризис, собрать всю информацию в одном месте и найти вдохновение. Однако он никогда не должен заменять человеческое письмо, потому что ИИ ограничен уже известными знаниями.

Вы также можете изучить некоторые из лучших инструментов проверки на плагиат, чтобы предотвратить плагиат.