Квантовый прорыв Google «действительно выдающийся», но еще многое предстоит сделать

На сегодняшнем мероприятии Nvidia GTC генеральный директор Дженсен Хуанг сделал заявление о том, что, по утверждению компании, она обладает потенциалом для трансформации отраслей стоимостью в несколько триллионов долларов. Мы тщательно выбираем анонсы, уделяя особое внимание аппаратной и программной инфраструктуре, на которой работают приложения, попадающие в заголовки газет.

GTC, флагманское мероприятие Nvidia, всегда является источником объявлений обо всем, что связано с искусственным интеллектом. Осенний выпуск 2021 года не стал исключением. В своем выступлении Хуан подчеркнул то, что Nvidia называет Omniverse. Omniverse — это платформа Nvidia для моделирования виртуального мира и совместной работы в 3D-форматах, объединяющая ее технологии.

Основываясь на том, что мы видели, мы бы описали Omniverse как взгляд Nvidia на метавселенную. Вы сможете узнать больше об Omniverse в материалах Стефани Кондон и Ларри Дигнана здесь, на ZDNet. Что мы можем сказать, так это то, что на самом деле для того, чтобы что-то подобное работало, необходимо слияние технологий.

Итак, давайте рассмотрим некоторые обновления в технологическом стеке Nvidia, сосредоточившись на таких компонентах, как большие языковые модели (LLM) и вывод.

Смотрите также: Все анонсировано на Nvidia's Fall GTC 2021.

NeMo Megatron, платформа Nvidia с открытым исходным кодом для больших языковых моделей

Nvidia представила то, что она называет фреймворком Nvidia NeMo Megatron для обучения языковых моделей. Кроме того, Nvidia предоставляет Megatron LLM, модель с 530 миллиардами долларов, которая может быть обучена для новых доменов и языков.

Брайан Катандзаро, вице-президент по прикладным исследованиям в области глубокого обучения в Nvidia, сказал, что «создание больших языковых моделей для новых языков и доменов, вероятно, является крупнейшим суперкомпьютерным приложением, и теперь эти возможности доступны для предприятий по всему миру».

В то время как LLM, безусловно, пользуются большой популярностью и получают все большее количество применений, полезность этого конкретного предложения заслуживает некоторого внимания. Во-первых, обучение LLM не для слабонервных и требует глубоких карманов. Было подсчитано, что обучение такой модели, как GPT-3 от OpenAI, стоит около 12 миллионов долларов.

OpenAI сотрудничает с Microsoft и сделала API вокруг GPT-3 доступным для его коммерциализации. И есть ряд вопросов, которые следует задать по поводу целесообразности обучения собственной магистратуре по магистратуре. Очевидный из них заключается в том, можете ли вы себе это позволить, поэтому давайте просто скажем, что Megatron нацелен не на предприятие в целом, а на конкретное подмножество предприятий на данный момент.

Второй вопрос - зачем? Вам действительно нужна собственная степень магистра права? Катандзаро отмечает, что LLMS «доказали свою гибкость и способности, способные отвечать на глубокие вопросы предметной области, переводить языки, понимать и обобщать документы, писать истории и вычислить программы». 

Создание впечатляющих достижений искусственного интеллекта основано на множестве программных и аппаратных достижений, и Nvidia решает обе эти задачи. 

Например, мы не будем утверждать, что LLM «понимают» документы, но давайте признаем, что LLM достаточно полезны и будут становиться все лучше. Хуанг заявил, что LLM «станет крупнейшим массовым приложением для высокопроизводительных вычислений за всю историю».

Настоящий вопрос заключается в том, зачем создавать свою собственную программу LLM? Почему бы, например, не использовать API GPT-3? Конкурентная дифференциация может быть законным ответом на этот вопрос. Функция соотношения стоимости может быть еще одним, еще одним воплощением извечного вопроса «купить против построить».

Другими словами, если вы убеждены, что вам нужен LLM для работы ваших приложений, и вы планируете использовать GPT-3 или любой другой LLM с аналогичными условиями использования, достаточно часто, возможно, будет более экономичным обучить свой собственный. Nvidia упоминает такие варианты использования, как создание чат-ботов, специфичных для предметной области, персональных помощников и других приложений искусственного интеллекта.

Чтобы сделать это, было бы разумнее начать с предварительно обученного LLM и адаптировать его к вашим потребностям с помощью трансферного обучения, а не обучать его с нуля. Nvidia отмечает, что NeMo Megatron основан на достижениях Megatron, проекта с открытым исходным кодом, возглавляемого исследователями Nvidia, изучающими эффективное обучение больших трансформерных языковых моделей в масштабе.

Компания добавляет, что фреймворк NeMo Megatron позволяет предприятиям преодолевать трудности, связанные с обучением сложных моделей обработки естественного языка. Таким образом, ценностное предложение, похоже, заключается в том, что если вы решили инвестировать в LLM, почему бы не использовать Megatron? Хотя это звучит как разумное предложение, мы должны отметить, что Megatron — не единственная игра в городе.

Недавно EleutherAI, коллектив независимых исследователей ИИ, открыл исходный код своей модели GPT-j с 6 миллиардами параметров. Кроме того, если вас интересуют языки помимо английского, у нас теперь есть большая европейская языковая модель, свободно владеющая английским, немецким, французским, испанским и итальянским языками от Aleph Alpha. Wudao — китайская LLM, которая также является крупнейшей LLM с 1,75 трлн параметров, а HyperCLOVA — корейская LLM с 204 млрд параметров. Кроме того, всегда есть другие, немного более старые/меньшие LLM с открытым исходным кодом, такие как GPT2 или BERT и их многочисленные вариации.

Стремление к выводу моделей ИИ учитывает совокупную стоимость владения и эксплуатации

Одно предостережение заключается в том, что когда дело доходит до LLM, больше (т.е. наличие большего количества параметров) не обязательно означает лучше. Другая причина заключается в том, что даже с такой базой, как Мегатрон, LLM являются дорогими животными для обучения и эксплуатации. Предложение Nvidia призвано решить оба этих аспекта, нацелившись также на вывод.

Megatron, как отмечает Nvidia, оптимизирован для масштабирования в масштабной ускоренной вычислительной инфраструктуре Nvidia DGX SuperPOD™. NeMo Megatron автоматизирует сложное обучение LLM с помощью библиотек обработки данных, которые принимают, курируют, организуют и очищают данные. Используя передовые технологии распараллеливания данных, тензоров и конвейеров, он позволяет эффективно распределять обучение больших языковых моделей между тысячами графических процессоров.

Но как насчет вывода? В конце концов, по крайней мере, теоретически, вы обучаете LLM только один раз, но модель используется много-много раз для вывода — получения результатов. На фазу вывода приходится около 90% общих затрат энергии на эксплуатацию моделей ИИ. Таким образом, наличие быстрого и экономичного вывода имеет первостепенное значение, и это применимо не только к LLM.

Nvidia решает эту проблему, объявляя о крупных обновлениях своего сервера вывода Triton, поскольку 25 000+ компаний по всему миру развертывают вывод Nvidia AI. Обновления включают в себя новые возможности в программном обеспечении Nvidia Triton Inference Server™ с открытым исходным кодом, которое обеспечивает кроссплатформенный вывод на всех моделях и фреймворках ИИ, и Nvidia TensorRT,™ который оптимизирует модели ИИ и обеспечивает время выполнения для высокопроизводительного инференса на графических процессорах Nvidia.

Nvidia представляет ряд улучшений для сервера вывода Triton. Наиболее очевидная связь с LLM заключается в том, что Triton теперь имеет многоузловую функциональность с несколькими графическими процессорами. Это означает, что LLM на основе трансформаторов, которые больше не помещаются в одном графическом процессоре, могут быть выведены на нескольких графических процессорах и серверных узлах, что, по словам Nvidia, обеспечивает производительность вывода в режиме реального времени.

90% всей энергии, необходимой для моделей ИИ, поступает из логического вывода

Triton Model Analyzer — это инструмент, который автоматизирует ключевую задачу оптимизации, помогая выбрать лучшие конфигурации для моделей ИИ из сотен возможностей. По словам Nvidia, он достигает оптимальной производительности, обеспечивая при этом качество обслуживания, необходимое для приложений.

RAPIDS FIL — это новая серверная часть для вывода на GPU или CPU случайного леса и моделей дерева решений с градиентным усилением, которая предоставляет разработчикам унифицированный механизм развертывания как для глубокого, так и для традиционного машинного обучения с помощью Triton.

И последнее, но не менее важное: что касается программного обеспечения, Triton теперь поставляется с интеграцией Amazon SageMaker, что позволяет пользователям легко развертывать мультифреймворковые модели с помощью Triton в SageMaker, полностью управляемом сервисе искусственного интеллекта AWS.

Что касается аппаратного обеспечения, Triton теперь также поддерживает процессоры Arm, графические процессоры Nvidia и процессоры x86. Компания также представила графический процессор Nvidia A2 с тензорными ядрами, маломощный ускоритель для вывода искусственного интеллекта на периферии, который, как утверждает Nvidia, обеспечивает до 20 раз большую производительность вывода, чем процессоры.

Triton обеспечивает вывод искусственного интеллекта на графических процессорах и центральных процессорах в облаке, центре обработки данных, на периферии предприятия и во встроенных системах, интегрирован в AWS, Google Cloud, Microsoft Azure и Alibaba Cloud, а также включен в Nvidia AI Enterprise. Чтобы помочь предоставлять услуги на основе технологий искусственного интеллекта Nvidia на периферии, Хуан анонсировал Nvidia Launchpad.

Nvidia активно движется к сохранению своего лидерства благодаря своей аппаратной и программной экосистеме

И это далеко не все, что Nvidia представила сегодня. Nvidia Modulus создает и обучает модели машинного обучения, основанные на физике, которые могут обучаться и подчиняться законам физики. Графы — ключевая структура данных в современной науке о данных — теперь могут быть спроецированы в фреймворки глубоких нейронных сетей с помощью Deep Graph Library, или DGL, нового пакета Python.

Хуанг также представил три новые библиотеки: ReOpt, для логистической отрасли стоимостью 10 триллионов долларов. cuQuantum, для ускорения исследований в области квантовых вычислений. И cuNumeric, чтобы ускорить NumPy для ученых, специалистов по обработке данных и исследователей машинного обучения и искусственного интеллекта в сообществе Python. А Nvidia представляет 65 новых и обновленных SDK на GTC.

Итак, что же со всем этим делать? Хотя мы тщательно отобрали, каждый из этих пунктов, вероятно, заслуживает отдельного анализа. Общая картина заключается в том, что Nvidia снова активно движется к сохранению своего лидерства в согласованных усилиях по привязке своего аппаратного обеспечения к программному обеспечению.

На данный момент LLM могут показаться экзотическими для большинства организаций. Тем не менее, Nvidia делает ставку на то, что они увидят больше интереса и практических приложений, а также позиционируют себя как платформу LLM, на которую другие могут опираться. Несмотря на то, что альтернативы существуют, курирование, поддержка и интеграция с программной и аппаратной экосистемой и брендом Nvidia, вероятно, покажется привлекательным предложением для многих организаций.

То же самое относится и к фокусу на выводе. В условиях растущей конкуренции со стороны множества поставщиков оборудования, основанных на архитектурах, разработанных специально для рабочих нагрузок искусственного интеллекта, Nvidia удваивает ставку на вывод. Это та часть работы модели ИИ, которая играет наибольшую роль в совокупной стоимости владения и эксплуатации. И Nvidia в очередной раз делает это в своем фирменном стиле - используя аппаратное и программное обеспечение в экосистеме.