Deloitte вернет правительству Австралии часть денег из-за галлюцинаций ИИ

Аудиторская компания Deloitte вернет часть из полученных $440 тысяч от австралийского правительства. Причиной стала проблема галлюцинаций ИИ, которым специалисты воспользовались для подготовки отчета.

Анастасия Якушина
Автор ВФокусе Mail
Источник: Leonardo.Ai

Эксперты подготовили отчет, но позже оказалось, что в нем содержатся серьезные ошибки. В Deloitte подтвердили, что при составлении документа использовали искусственный интеллект. По данным Департамента занятости и трудовых отношений (DEWR), компания вернет последнюю выплату по договору.

Известно, что фирма «большой четверки» в декабре 2024 года проводила проверку процедуры и автоматической системы, используемой для автоматического наложения штрафов на граждан, нарушающих условия участия в программе содействия трудоустройству.

Отчет вскрыл проблемы в самой процедуре и IT-системе. Отмечалось, что последняя «носила карательный характер, исходя из предположений о несоблюдении требований участников».

Документ вышел 4 июня, а в минувшую пятницу DEWR выложили его исправленную версию, после того как в августе местное экономическое СМИ опубликовало информацию об ошибках в отчете, в том числе о несуществующих ссылках и цитатах.

По словам Кристофера Раджа, преподавателя Сиднейского университета, в отчете есть «галлюцинации», когда модели искусственного интеллекта могут дополнять пропущенные фрагменты, неверно трактовать данные или придумывать собственные ответы.

Радж отметил, что первоначальные ошибочные ссылки были заменены на несколько новых ссылок, число которых возросло (до 5−8). Он сделал вывод, что изначальные утверждения не были основаны на конкретном источнике.

Правительство подтвердило, что в обновленном документе есть исправления, но также дало понять, что на итоговые рекомендации это не повлияло.

«Deloitte провела независимый контрольный обзор и подтвердила, что некоторые сноски и ссылки оказались неверными. Однако основное содержание независимой экспертизы сохранено, и никаких изменений в рекомендациях не произошло», — отметили в ведомстве.

В обновленной версии отчета указано, что отдельные его части были созданы с помощью специального программного обеспечения на основе искусственного интеллекта Azure OpenAI GPT-4o, лицензия на которое предоставлена правительством Австралии. Кроме того, сообщается, что обновления «не повлияли на основное содержание, выводы и рекомендации отчета».

Представители Deloitte сообщили, что «вопрос был решен напрямую с клиентом».

По словам Раджа, вопреки критике документ нельзя считать «недостоверным», поскольку его выводы совпадают с другими широко известными доказательствами.

Тем не менее сенатор, участвовавшая в расследовании, выразила свое негодование, отметив, что «искусственному интеллекту доверили сложную работу». В беседе с The Guardian Дебора О'Нил, отметила, что частичное возмещение средств является «извинением наполовину за работу низкого качества».

«Любой заказчик должен выяснить, кто конкретно выполняет оплаченную работу, убедиться в квалификации исполнителей и в том, что не используется искусственный интеллект. Возможно, вместо крупной консалтинговой фирмы заказчикам было бы лучше оформить подписку на ChatGPT», — посетовала она.

Ранее в Техасе начала работать школа, где вместо учителей уроки преподает нейросеть.