Что такое разреженность? Секрет искусственного интеллекта DeepSeek, раскрытый исследователями Apple

Модель искусственного интеллекта, которая потрясла мир, является частью широкой тенденции выжимать больше из чипов. Вот как это работает.

Рынок искусственного интеллекта (ИИ) и весь фондовый рынок в прошлом месяце были потрясены внезапной популярностью DeepSeek, большой языковой модели (LLM) с открытым исходным кодом, разработанной китайским хедж-фондом, которая превзошла лучших OpenAI в некоторых задачах, но при этом обошлась гораздо дешевле.

Как рассказывает Радхика Раджкумар из ZDNET, успех R1 подчеркивает кардинальные изменения в искусственном интеллекте, которые могут дать возможность небольшим лабораториям и исследователям создавать конкурентоспособные модели и диверсифицировать доступные варианты.

Почему DeepSeek работает так хорошо?

Его успех обусловлен широким подходом в рамках форм искусственного интеллекта с глубоким обучением, направленным на то, чтобы выжать больше из компьютерных чипов, используя явление, известное как «разреженность».

Разреженность проявляется во многих формах. Иногда это включает в себя удаление части данных, которые использует ИИ, когда эти данные не оказывают существенного влияния на выходные данные модели.

В других случаях разреженность включает в себя вырезание целых частей нейронной сети, если это не влияет на результат.

DeepSeek является примером последнего: экономное использование нейронных сетей.

Основное преимущество, которое большинство людей определили в DeepSeek, заключается в том, что он может включать и выключать большие участки нейронных «весов» или «параметров». Параметры определяют, как нейронная сеть может преобразовывать вводимые вами запросы в сгенерированный текст или изображения. Параметры напрямую влияют на время, необходимое для выполнения вычислений. Чем больше параметров, тем больше вычислительных ресурсов.

Разреженность и ее роль в искусственном интеллекте

Возможность использовать только некоторые из общих параметров LLM и отключить остальные — пример разреженности. Эта разреженность может оказать серьезное влияние на то, насколько велик или мал вычислительный бюджет для модели ИИ.

Исследователи искусственного интеллекта Apple в отчете, опубликованном 21 января, объяснили, как DeepSeek и подобные подходы используют разреженность для получения лучших результатов при заданном объеме вычислительной мощности.

Apple не имеет никакого отношения к DeepSeek, но технологический гигант проводит собственные исследования в области искусственного интеллекта. Таким образом, разработки сторонних компаний, таких как DeepSeek, в значительной степени являются частью продолжающегося участия Apple в исследованиях в области искусственного интеллекта.

В статье под названием «Parameters versus FLOPs: Scaling Laws for Optimal Sparsity for Mix-of-Experts Language Models», размещенной на сервере препринтов arXiv, ведущий автор Самир Абнар и другие исследователи Apple вместе с коллегой Харшаем Шахом из Массачусетского технологического института изучили, как меняется производительность при использовании разреженности, отключая части нейронной сети.

Абнар и его команда провели свои исследования с использованием библиотеки кода, выпущенной в 2023 году исследователями искусственного интеллекта в Microsoft, Google и Стэнфорде, под названием MegaBlocks. Тем не менее, они ясно дают понять, что их работа может быть применена к DeepSeek и другим последним инновациям.

Абнар и его команда задаются вопросом, существует ли «оптимальный» уровень разреженности в DeepSeek и подобных моделях: для заданного объема вычислительной мощности существует оптимальное количество этих нейронных весов, которые можно включить или выключить?

Исследования показывают, что вы можете полностью количественно измерить разреженность как процент всех нейронных весов, которые вы можете отключить, причем этот процент приближается, но никогда не равен 100% нейронной сети, которая является «неактивной».

Графики показывают, что для данной нейронной сети при заданном вычислительном бюджете существует оптимальное количество нейронной сети, которое можно отключить для достижения определенного уровня точности. Одно и то же экономическое эмпирическое правило справедливо для каждого нового поколения персональных компьютеров: либо лучший результат за те же деньги, либо тот же результат за меньшие деньги.

Для нейронной сети заданного размера по общим параметрам и с заданным объемом вычислений вам потребуется все меньше и меньше параметров, чтобы достичь такой же или лучшей точности в заданном тесте ИИ, таком как математика или ответы на вопросы.

Иными словами, независимо от вашей вычислительной мощности, вы можете все чаще отключать части нейронной сети и получать те же или лучшие результаты.

Оптимизация ИИ с меньшим количеством параметров

Как Абнар и его команда заявили в технических терминах: «Увеличение разреженности при пропорциональном расширении общего числа параметров постоянно приводит к снижению потерь перед обучением, даже когда они ограничены фиксированным бюджетом на вычисления для обучения». Меньшие потери на обучение означают более точные результаты.

Это открытие объясняет, почему DeepSeek может иметь меньшую вычислительную мощность, но достигать тех же или лучших результатов, просто отключая больше частей сети.

Разреженность — это как волшебный диск, который находит наилучшее соответствие для вашей модели искусственного интеллекта и доступных вычислений.

Одно и то же экономическое эмпирическое правило справедливо для каждого нового поколения персональных компьютеров: либо лучший результат за те же деньги, либо тот же результат за меньшие деньги.

Есть и другие детали о DeepSeek, которые следует учитывать. Например, еще одно новшество DeepSeek, как объясняет Эге Эрдиль из Epoch AI, — это математический трюк под названием «многоголовое скрытое внимание». Не вдаваясь в подробности, можно сказать, что скрытое внимание с несколькими головами используется для сжатия одного из крупнейших потребителей памяти и пропускной способности — кэша памяти, в котором хранится последний введенный текст приглашения.

Будущее исследований разреженности

Если отбросить детали, то самым важным моментом во всех этих усилиях является то, что разреженность как явление не является чем-то новым в исследованиях ИИ, и это не новый подход в инженерии.

Исследователи ИИ в течение многих лет показывали, что устранение частей нейронной сети может достичь сопоставимой или даже лучшей точности с меньшими усилиями.

Конкурент Nvidia Intel , определил разреженность как ключевое направление исследований, чтобы изменить состояние дел в этой области в течение многих лет. Подходы стартапов, основанные на разреженности, также получили высокие баллы в отраслевых бенчмарках в последние годы.

Волшебный диск разреженности не только снижает затраты на вычисления, как в случае с DeepSeek. Sparsity работает и в обратном направлении: он может создавать все более эффективные компьютеры с искусственным интеллектом.

Волшебный диск разреженности глубок, потому что он не только улучшает экономику при небольшом бюджете, как в случае с DeepSeek, но и работает в обратном направлении: тратьте больше, и вы получите еще больше выгод от разреженности. По мере того, как вы увеличиваете свою вычислительную мощность, точность модели искусственного интеллекта повышается, обнаружили Абнар и его команда.

Они предположили: «По мере увеличения разреженности потери при проверке уменьшаются для всех вычислительных бюджетов, при этом большие бюджеты достигают меньших потерь на каждом уровне разреженности».

Теоретически вы можете создавать все большие и большие модели на все больших и больших компьютерах и получать все большую отдачу от затраченных средств.

Вся эта разрозненная работа означает, что DeepSeek является лишь одним из примеров широкой области исследований, за которой уже следят многие лаборатории, и многие другие теперь попытаются повторить успех DeepSeek.