Что случилось
Исследователи из Университета Вилланова изучили, способны ли читатели отличить художественные тексты ChatGPT от рассказов, написанных людьми, и как информация об авторе влияет на их оценку. В трех экспериментах участвовали 2587 жителей США в возрасте от 18 до 81 года. В первом эксперименте приняли участие 1682 человека. Каждый прочитал один из шести рассказов объемом около 1 тыс. слов. Три текста принадлежали авторам, публиковавшимся в литературных журналах. Еще три рассказа на похожие темы сгенерировала модель ChatGPT 4.0. Перед чтением испытуемым сообщали, кто является автором, однако в части случаев эта информация была ложной. ИИ-рассказы получили более высокие средние оценки вовлеченности и качества. Маркировка происхождения текста также влияла на мнение аудитории. Рассказы, которые, по мнению участников, принадлежали людям, получали более высокие оценки независимо от реального автора. Во втором и третьем экспериментах 905 респондентов читали пары текстов: один человеческий и один сгенерированный. Испытуемым нужно было определить происхождение каждого рассказа. Участники не смогли надежно отличить сгенерированные тексты от человеческих. Точность распознавания статистически не отличалась от случайного выбора — до 52% верных ответов. Лучше с задачей справились участники с более высоким, по собственной оценке, опытом работы с ИИ. Уровень опыта в чтении и анализе художественной литературы особой роли не играл. Исследование проверяло реакцию широкой аудитории на короткую прозу, а не литературную ценность, оригинальность замысла или культурное значение произведений. Авторы подчеркивают ограничение работы: измеренное ими качество совпало с легкостью чтения и вовлеченностью, хотя сложная литературная проза может намеренно требовать от читателя усилий.
Что это значит
Результаты фиксируют разрыв между восприятием текста и отношением к его происхождению. Читатели предпочитают авторство человека, но при непосредственном чтении выше оценивают сгенерированные нейросетью рассказы. Преимущество ИИ-текстов может объясняться более простым, прямым и легким для восприятия стилем. Но это не означает, что писатели-люди утратили ценность. Для издателей, медиа и платформ результаты означают, что маркировка ИИ-контента влияет на оценку читателей не меньше, чем фактические характеристики самого текста.
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.