Медианные оценки, полученные реальными (оранжевый) и AI (синий) заданиями по каждому отдельному модулю и всем вместе взятым. Границы классов 2:2, 2:1 и 1-й классификации показаны пунктирными линиями. Фото: Скарф и др., 2024 г., PLOS ONE, CC-BY 4.0 (creativecommons.org/licenses/by/4.0/)
При тестировании экзаменационной системы Университета Рединга в Великобритании работы, сгенерированные искусственным интеллектом (ИИ), остались почти незамеченными, и эти фальшивые ответы, как правило, получали более высокие оценки, чем те, которые получали настоящие студенты. Питер Скарф из Университета Рединга и его коллеги представляют эти результаты в журнале открытого доступа. ПЛОС ОДИН 26 июня.
В последние годы инструменты ИИ, такие как ChatGPT, стали более продвинутыми и распространенными, что привело к опасениям по поводу того, что студенты используют их для мошенничества, отправляя сгенерированные ИИ работы как свои собственные. Такие опасения усиливаются тем фактом, что многие университеты и школы перешли от контролируемых очных экзаменов к неконтролируемым экзаменам на дом во время пандемии COVID-19, и многие теперь продолжают такие модели. Инструменты для обнаружения сгенерированного ИИ письменного текста пока не оказались очень успешными.
Чтобы лучше понять эти проблемы, Скарф и его коллеги сгенерировали ответы, которые были на 100% написаны чат-ботом с искусственным интеллектом GPT-4 и отправлены от имени 33 фальшивых студентов в экзаменационную систему Школы психологии и клинических языковых наук Университета Рединга. Оценщики экзаменов не знали об исследовании.
Исследователи обнаружили, что 94% их заявок от ИИ остались незамеченными. В среднем фальшивые ответы получали более высокие оценки, чем ответы реальных студентов. В 83,4% случаев работы ИИ получили более высокие оценки, чем случайно выбранная группа из такого же количества работ от реальных студентов.
Эти результаты предполагают, что учащиеся могут не только избежать наказания за использование ИИ для мошенничества, но и получить более высокие оценки, чем их сверстники, которые не обманывают. Исследователи также предполагают возможность того, что некоторым реальным студентам в ходе этого исследования сошло с рук материалы, сгенерированные ИИ.
Исследователи отмечают, что с точки зрения академической честности эти результаты вызывают крайнюю обеспокоенность. Они отмечают, что возвращение к контролируемым личным экзаменам может помочь решить эту проблему, но поскольку инструменты ИИ продолжают развиваться и проникать на профессиональные рабочие места, университеты могут сосредоточиться на разработке того, как принять «новую норму» ИИ, чтобы улучшить образование.
Авторы добавляют: «Строгий слепой тест реальной системы университетских экзаменов показывает, что экзаменационные работы, сгенерированные искусственным интеллектом, были практически необнаружимы и стабильно получали более высокие оценки, чем реальные студенты».
Результаты «Экзаменационного теста Тьюринга» побуждают глобальный сектор образования принять новую норму, и это именно то, что мы делаем в Университете Рединга. Новая политика и рекомендации для наших сотрудников и студентов признают как риски, так и предоставляемые возможности. с помощью инструментов, использующих искусственный интеллект».
Больше информации:
Реальное испытание проникновения искусственного интеллекта в систему университетских экзаменов: тематическое исследование «Тест Тьюринга», ПЛОС ОДИН (2024). DOI: 10.1371/journal.pone.0305354
Предоставлено Публичной научной библиотекой
Цитирование: Экзаменационные материалы, сгенерированные ИИ, не обнаруживаются в британском университете (26 июня 2024 г.), получены 26 июня 2024 г. с https://phys.org/news/2024-06-ai-generated-exam-submissions-evade.html.
Этот документ защищен авторским правом. За исключением любых добросовестных сделок в целях частного изучения или исследования, никакая часть не может быть воспроизведена без письменного разрешения. Содержимое предоставлено исключительно в информационных целях.
