Что случилось
Исследователи и инженеры «Яндекса» успешно представили серию научных работ на International Conference on Machine Learning (ICML) — одной из крупнейших международных конференций по машинному обучению. В этом году ICML проходит в Сеуле. Все работы «Яндекса» приняли в основную программу конференции: всего туда вошло 6352 статьи из 23 918 поданных участниками, то есть 26,6% заявок.
Главная тема исследований — как сделать обучение и работу ИИ-моделей быстрее и дешевле без простого наращивания числа видеокарт и серверов. Это один из ключевых вопросов для индустрии: современные генеративные модели требуют все больше вычислительных ресурсов, а значит, растут затраты на инфраструктуру, энергию и поддержку дата-центров.
Одна из работ «Яндекса» посвящена графовым нейросетям. Такие модели анализируют не только отдельные объекты, но и связи между ними — например, между пользователями и товарами в рекомендациях, документами в поиске или участками дорожной сети. Российские исследователи разработали программные модули, которые позволяют эффективнее использовать память видеокарт. В экспериментах вычисления ускорились до 8,5 раза, пиковое потребление памяти сократилось до 76 раз, а отдельные операции стали быстрее в 3,9–10 раз. Код модулей уже опубликован в открытом доступе.
Эта работа получила статус Spotlight — его присваивают статьям с наиболее высокими оценками со стороны программного комитета. В этом году такой статус получили 536 работ, или 2,2% от всех поданных на конференцию.
Федор Великонивцев, исследователь Yandex Research:
«На практике ускорение и снижение потребляемой памяти до названных выше цифр означает, что можно работать с графами куда бо́льшего размера — например, у нас уже была возможность запускать графы размером более 100 млн вершин на одной видеокарте, что ранее было невозможно. Это глобальное повышение эффективности, которое будет полезно всем исследователям. К тому же, уже существующие пайплайны так же ускорятся, что позволит обучать модели лучшего качества для любых задач в графовых данных. Использование нашего решения максимально простое — достаточно установить нашу библиотеку и импортировать нужные модули — они заменяют предыдущие решения простыми модификациями в несколько строк».
Кроме того, «Яндекс» представил исследования об ускорении обучения больших языковых моделей. Инженеры показали, что асинхронные схемы обучения могут работать без потери качества, если правильно выбрать алгоритм оптимизации.
Еще одна работа посвящена новым алгоритмам SoftSignum и SoftMuon, которые помогают эффективнее обновлять параметры модели во время обучения.
Также среди представленных исследований — методы работы с графовыми и табличными данными, подходы к обучению моделей при нехватке размеченных данных и способ снизить вычислительные затраты в поисковых и рекомендательных системах. Все эти направления связаны с одной задачей — сделать современные ИИ-системы менее зависимыми от дорогих вычислительных ресурсов и ручной подготовки данных.
Контекст и предпосылки
Бум генеративного ИИ быстро превратил вычислительные мощности в один из главных ресурсов технологической индустрии. По данным Stanford AI Index, масштаб моделей продолжает расти. Вычисления, необходимые для обучения заметных ИИ-моделей, примерно удваиваются каждые пять месяцев, а размеры датасетов для больших языковых моделей — каждые восемь месяцев.
Из-за этого конкуренция в сфере ИИ все чаще упирается не только в качество алгоритмов, но и в доступ к инфраструктуре: видеокартам, дата-центрам, электроэнергии и сетям. Как прогнозирует McKinsey, к 2030 году дата-центрам по всему миру может потребоваться $6,7 трлн инвестиций, из них $5,2 трлн — на инфраструктуру для ИИ-нагрузок. По оценке этой консалтинговой компании, мировой спрос на мощности дата-центров может почти утроиться к 2030 году, причем около 70% этого спроса будут формировать ИИ-задачи.
Вероятные последствия
Если предложенные методы подтвердят эффективность на практике, компаниям будет проще обучать и запускать сложные модели без постоянного увеличения числа видеокарт. Это особенно важно на фоне роста стоимости инфраструктуры для генеративного ИИ. В перспективе такие разработки могут снизить барьер входа для компаний, которым нужны собственные ИИ-решения, но не хватает больших вычислительных мощностей.
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.
