ИИ-галлюцинации — это проблема несуществующих или устаревших ссылок, а также искаженных данных. Недавно эта особенностей нейросетей стала причиной скандала. В редакции The Chicago Sun-Times применили чат-бот для создания материала со списком книг на лето — в итоге в публикацию попали несколько несуществующих произведений. Отличить их было крайне сложно: описания выглядели правдоподобно, в некоторых случаях упоминались реально существующие авторы, а названия фейковых книг были чем-то похожие на реальные.
Разработчики не удивлены, что так произошло. Эксперты указывают на проблему алгоритмов работы нейросетей. Представитель «Лаборатории Касперского» Владислав Тушканов отметил, что ИИ работает по принципу воспоминаний контента и более силен в общих темах, а не в конкретной информации.
«Большие языковые модели — своего рода “воспоминание” о том контенте, на котором они учились. Если человека попросить вспомнить какую-нибудь сцену из кино, он вспомнит основные детали, но может не вспомнить, например, цвет глаз актера или номер автомобиля. Так и большие языковые модели — когда обсуждаешь с ними общие темы, все работает хорошо, но, когда нужно получить точные данные (например, даты, ссылки в интернете, адреса
Представитель подразделения компании МТС Web Services Иван Копылов рассказал, что ИИ опирается на данные, по которым обучался. Если у нейросети нет доступа в Интернет, она комбинирует информацию из своей базы. Его слова приводит Telegram-канал Baza.
«Языковые модели иногда создают фейковые или несуществующие ссылки, потому что опираются на данные, на которых обучались. И если у них нет доступа к интернету, то они используют сохраненные веб-страницы из своей базы. Модель не проверяет, существует ли URL на самом деле — она просто комбинирует знакомые шаблоны, создавая правдоподобную, но вымышленную ссылку, — рассказал эксперт.
По словам Копылова, достоверность информации не гарантируется даже если у модели есть онлайн-доступ. Так происходит потому, что нейросеть “не переходит по ссылкам и не анализирует содержимое сайтов”.
Для решения проблемы с ИИ-галлюцинациями используется подход RAG или генерации, дополненной поиском — модель сначала ищет информацию в проверенных источниках, а затем формирует ответ. Копылов отмечает, что специалисты по промт-инжинирингу настраивают работу ИИ с достоверными данными. В планах настройка нейросети, чтобы та маркировала спорную информацию и разработка модели с объяснением хода мысли.
Если вы столкнулись с ИИ-галлюцинациями, эксперты советуют перезапустить диалог и уточнить запрос — в запросе прописывается необходимость проверить ссылки через поиск и основывать ответ только на существующие статьи. Тем не менее, Копылов рекомендует дополнительно проверять информацию.
“Нейросеть — это инструмент, как лопата. Разобрать то, что она выкопала, должен человек”, — подчеркнул разработчик.
Недавно нейросеть помогла дописать оперу Чайковского “Мандрагора”, над которой работал композитор Петр Дранга. Премьера ожидается 19 июня в Мариинском театре.
