Ученые на протяжении четырех месяцев наблюдали за 54 студентами, когда те писали сочинения. Каждого из них попросили носить электроэнцефалограф, что помогло отследить электрическую активность их мозга. Студентов разделили на три группы: одни использовали чат-бот ChatGPT, другие — Google, а третьи делали все без посторонней помощи.
По результатам исследования первая группа продемонстрировала худшую память, уменьшенную мозговую активность и меньшую вовлеченность по сравнению с теми, кто использовал другие методы. По словам ученых, результаты были низкими на протяжении всего срока исследования по всем показателям: нейронным, лингвистическим и по результатам тестирования.
«Поскольку образовательное влияние использования больших языковых моделей LLM только начинает становиться очевидным для широкой публики, в этом исследовании мы демонстрируем актуальную проблему вероятного снижения навыков обучения на основе результатов нашего исследования <…> Хотя преимущества были изначально очевидны, как мы продемонстрировали в течение четырех месяцев, участники группы LLM (ChatGPT) показали худшие результаты, чем коллеги, которые использовали только мозг, на всех уровнях: нейронном, лингвистическом и по результатам тестирования», — указано в исследовании.
Исследователи отметили, что продукты, такие как ChatGPT, имеют свой «набор преимуществ и ограничений» и им хотелось выяснить количество «умственных затрат, связанных с использованием большой языковой модели (LLM)», в образовательном контексте.
При этом те, кому помогал Google, продемонстрировали «умеренную вовлеченность» в процесс. У студентов, которые справлялись без посторонней помощи, выявили наибольшую мозговую активность и оригинальные идеи в тексте. Примечательно, что, даже когда последние пытались использовать ChatGPT, их мозговая активность все равно увеличивалась. Ученые предположили: это связано с тем, что студенты пытались сочетать новые возможности технологии с уже имеющимися знаниями.
Студентам, использовавшим нейросети, было легче отвечать на вопросы, чем группе, которой помогал Google. В исследовании объясняется, что это было достигнуто «за счет умственных затрат, уменьшив склонность пользователей к критической оценке результатов LLM или “мнений” (вероятностные ответы на основе наборов данных обучения)».
По словам ученых, сработала «эволюция эффекта эхокамеры», когда произошла адаптация, чтобы «формировать воздействие на пользователей через алгоритмически отборный контент», пишет Daily Mail со ссылкой на arXiv.
«На то, что считается “лучшим”, в конечном итоге влияют приоритеты владельцев LLM», — заявили ученые.
Ранее нейросеть заставила говорить по-русски персонажей из «Титаника», «Матрицы» и «Гарри Поттера».
