Может ли искусственный интеллект сделать вас миллиардером в 2025 году?
NVIDIA только что анонсировала Hopper, новую архитектуру GPU, которая обещает значительное повышение производительности для рабочих нагрузок искусственного интеллекта. Мы заглянем под капот, чтобы понять, приведет ли акцент на моделях искусственного интеллекта Transformer к радикальному редизайну, и посмотрим на обновления в программном стеке.
NVIDIA сделала это снова, но на этот раз с изюминкой - похоже, позаимствовав страницу из сценария конкурентов. На NVIDIA GTC, которая стала одним из самых важных событий в индустрии искусственного интеллекта, компания анонсировала новейшую итерацию своей аппаратной архитектуры и продуктов. Вот разбивка объявлений и их значение для экосистемы в целом.
Hopper: новая архитектура графических процессоров NVIDIA
GTC, который начался в понедельник и продлится до четверга, включает в себя 900+ сессий. На мероприятие зарегистрировались более 200 000 разработчиков, исследователей и специалистов по обработке и анализу данных из 50+ стран. В своем выступлении на GTC 2022 основатель и генеральный директор NVIDIA Дженсен Хуанг объявил о множестве новостей в области дата-центров и высокопроизводительных вычислений, искусственного интеллекта, совместной работы и цифровых двойников, сетей, автомобилестроения, робототехники и здравоохранения.
Хуан сказал, что «компании обрабатывают, уточняют свои данные, делают программное обеспечение ИИ... Если цель состоит в том, чтобы превратить дата-центры в «фабрики искусственного интеллекта», как выразилась NVIDIA, то имеет смысл поставить трансформеры в центр этой цели.
В центре внимания анонсов была новая архитектура Hopper GPU, которую NVIDIA называет "следующим поколением ускоренных вычислений". Названная в честь Грейс Хоппер, американского ученого-новатора в области информатики, новая архитектура пришла на смену архитектуре NVIDIA Ampere, запущенной два года назад. Компания также анонсировала свой первый графический процессор на базе Hopper, NVIDIA H100.
NVIDIA утверждает, что Hopper обеспечивает скачок производительности на порядок по сравнению со своим предшественником, и этот подвиг основан на шести прорывных инновациях. Давайте пройдемся по ним, сделав краткие заметки о том, как они соотносятся с конкурентами.
Во-первых, производство. Построенный на 80 миллиардах транзисторов с использованием передового техпроцесса TSMC 4N, разработанного для ускоренных вычислительных потребностей NVIDIA, H100 обладает значительными улучшениями для ускорения искусственного интеллекта, высокопроизводительных вычислений, пропускной способности памяти, межсоединений и связи, включая почти 5 терабайт в секунду внешнего подключения. На производственном уровне такие стартапы, как Cerebras или Graphcore , также раздвигают границы возможного.
Графический процессор NVIDIA H100, первый, использующий новую архитектуру Hopper
Во-вторых, многооконный графический процессор (MIG). Технология MIG позволяет разделить один графический процессор на семь меньших, полностью изолированных экземпляров для выполнения различных типов задач. Архитектура Hopper расширяет возможности MIG до 7 раз по сравнению с предыдущим поколением, предлагая безопасные многопользовательские конфигурации в облачных средах на каждом экземпляре GPU. Run:AI, партнер NVIDIA, предлагает нечто похожее на программный уровень, известный как дробное совместное использование графических процессоров.
В-третьих, конфиденциальные вычисления. NVIDIA утверждает, что H100 является первым в мире ускорителем с возможностями конфиденциальных вычислений для защиты моделей искусственного интеллекта и данных клиентов во время их обработки. Клиенты также могут применять конфиденциальные вычисления для федеративного обучения в отраслях, чувствительных к конфиденциальности, таких как здравоохранение и финансовые услуги, а также в общих облачных инфраструктурах. Это не та функция, которую мы видели где-либо еще.
Четвертое, 4-е поколение NVIDIA NVLink. Чтобы ускорить работу самых больших моделей с искусственным интеллектом, NVLink в сочетании с новым внешним коммутатором NVLink расширяет возможности NVLink в качестве масштабируемой сети за пределы сервера, подключая до 256 графических процессоров H100 с пропускной способностью в 9 раз выше по сравнению с предыдущим поколением с помощью NVIDIA HDR Quantum InfiniBand. Опять же, это специфично для NVIDIA, хотя конкуренты часто используют свою собственную специализированную инфраструктуру для подключения своего оборудования.
В-пятых, инструкции DPX для ускорения динамического программирования. Динамическое программирование — это одновременно математический метод оптимизации и метод компьютерного программирования, первоначально разработанный в 1950-х годах. С точки зрения математической оптимизации, динамическое программирование обычно относится к упрощению решения путем разбиения его на последовательность шагов принятия решения с течением времени. Динамическое программирование в основном представляет собой оптимизацию на основе простой рекурсии.
NVIDIA отмечает, что динамическое программирование используется в широком спектре алгоритмов, включая оптимизацию маршрутов и геномику, и может ускорить выполнение до 40 раз по сравнению с процессорами и до 7 раз по сравнению с графическими процессорами предыдущего поколения. Мы не знаем о прямом эквиваленте в конкурентной борьбе, хотя многие стартапы в области ИИ-чипов также используют параллелизм.
Шестое новшество, которое мы считаем самым важным: новый трансформаторный двигатель. Как отмечает NVIDIA, трансформеры являются стандартным выбором для обработки естественного языка и одной из самых важных моделей глубокого обучения, когда-либо изобретенных. Трансформаторный движок ускорителя H100 создан для ускорения этих сетей в 6 раз по сравнению с предыдущим поколением без потери точности. Это заслуживает дальнейшего анализа.
Трансформаторный двигатель в основе Hopper
Глядя на заголовок нового трансформаторного движка, лежащего в основе NVIDIA H100, мы вспомнили высказывание архитектора Intel Раджи М. Кодури Тирнану Рэю из ZDNet. Кодури отметил, что ускорение умножения матриц в настоящее время является важным показателем производительности и эффективности чипов, а это означает, что каждый чип будет процессором нейронной сети.
Конечно, Кодури был прав. Помимо собственных усилий Intel, это то, что привело к разработке нового поколения чипов искусственного интеллекта от множества выскочек. Увидев, как NVIDIA ссылается на трансформаторный движок, мы задались вопросом, не сделала ли компания радикальную переработку своих графических процессоров. В конце концов, графические процессоры изначально не предназначались для рабочих нагрузок искусственного интеллекта, они просто оказались хорошими для них, и NVIDIA хватило дальновидности и проницательности, чтобы построить вокруг них экосистему.
Однако, если углубиться в собственный анализ архитектуры Hopper, проведенный NVIDIA, идея радикального редизайна, похоже, развеялась. Несмотря на то, что Hopper представляет новый потоковый мультипроцессор (SM) со многими улучшениями производительности и эффективности, на этом все и заканчивается. Это неудивительно, учитывая огромный вес экосистемы, построенной вокруг графических процессоров NVIDIA, а также масштабные обновления и потенциальные несовместимости, которые повлечет за собой радикальный редизайн.
Если разобрать улучшения в Hopper, то память, кажется, играет большую его часть. Как сказал ZDNet менеджер по продукту Facebook для PyTorch, популярной библиотеки машинного обучения: «Модели становятся все больше и больше, они очень, очень велики и очень дороги для обучения». Hopper поставляется с памятью, которая работает быстрее, больше и совместно используется SM.
Еще один импульс связан с новыми тензорными ядрами NVIDIA четвертого поколения, которые до 6 раз быстрее от чипа к чипу по сравнению с A100. Тензорные ядра — это именно то, что используется для умножения матриц. В H100 используется новый тип данных FP8, что обеспечивает в 4 раза более быстрые вычисления по сравнению с предыдущими поколениями 16-разрядных опций с плавающей запятой. На эквивалентных типах данных все еще наблюдается 2-кратное ускорение.
Сводка по улучшению вычислений H100
Что касается так называемого «нового трансформаторного движка», оказывается, именно этот термин NVIDIA использует для обозначения «комбинации программного обеспечения и специальной технологии NVIDIA Hopper Tensor Core, разработанной специально для ускорения обучения и вывода моделей трансформаторов».
NVIDIA отмечает, что движок Transformer интеллектуально управляет и динамически выбирает между FP8 и 16-битными вычислениями, автоматически обрабатывая повторное преобразование и масштабирование между FP8 и 16-битными в каждом слое, чтобы обеспечить до 9 раз более быстрое обучение ИИ и до 30 раз более быстрое ускорение вывода ИИ на больших языковых моделях по сравнению с предыдущим поколением A100.
Таким образом, хотя это и не радикальный редизайн, сочетание улучшений производительности и эффективности приводит к 6-кратному ускорению по сравнению с Ampere, как подробно говорится в техническом блоге NVIDIA. Акцент NVIDIA на повышении производительности моделей трансформаторов совсем не неуместен.
Модели трансформеров являются основой широко используемых сегодня языковых моделей, таких как BERT и GPT-3. Изначально разработанные для сценариев использования обработки естественного языка, их универсальность все чаще применяется в компьютерном зрении, разработке лекарств и многом другом, о чем мы уже писали в нашем обзоре «Состояние искусственного интеллекта». Согласно метрике, предоставленной NVIDIA, 70% опубликованных исследований в области искусственного интеллекта за последние 2 года основаны на трансформаторах.
Программная сторона дела: хорошие новости для пользователей Apache Spark
Но как насчет программного обеспечения? В предыдущих анонсах GTC обновления программного стека были ключевой частью новостей. В этом случае, в то время как настроенные NVIDIA эвристики, которые динамически выбирают между вычислениями FP8 и FP16, являются ключевой частью нового трансформаторного движка внутри компании, обновления внешнего программного стека кажутся менее важными по сравнению с ними.
Сервер вывода NVIDIA Triton Inference и фреймворк NeMo Megatron для обучения больших языковых моделей получают обновления. То же самое можно сказать и о Riva, Merlin и Maxin — SDK для речевого ИИ, который включает в себя предварительно обученные модели, комплексную рекомендательную среду ИИ и SDK для улучшения качества звука и видео соответственно. Как подчеркнула NVIDIA, их используют такие компании, как AT&T, Microsoft и Snapchat.
Также вышло 60 обновлений SDK для библиотек NVIDIA CUDA-X. NVIDIA решила выделить новые области, такие как ускорение моделирования квантовых схем (общая версия cuQuantum) и исследования физического уровня 6G (общая версия Sionna). Тем не менее, для большинства пользователей хорошая новость, вероятно, заключается в обновлении RAPIDS Accelerator для Apache Spark, который ускоряет обработку более чем в 3 раза без изменения кода.
Хотя это не было заметно в анонсах NVIDIA, мы думаем, что должно быть. Немаловажное новость — это 3-кратное ускорение работы пользователей Apache Spark без изменения кода, при этом 80 процентов компаний из списка Fortune 500 используют Apache Spark в производственной среде. Это не первый раз, когда NVIDIA проявляет любовь к пользователям Apache Spark.
В целом, NVIDIA, похоже, сохраняет свой темп. Несмотря на жесткую конкуренцию, с тем преимуществом, которое удалось создать NVIDIA, радикальные изменения могут и не понадобиться.