Может ли искусственный интеллект сделать вас миллиардером в 2025 году?

Программное обеспечение является ключом к расширению сферы применения ИИ, и во многом это связано с многолетними подходами в технологии компиляторов.

«Для обучения самых больших моделей требуется миллион долларов, они эквивалентны суперкомпьютеру, — говорит генеральный директор Intel по искусственному интеллекту и аналитике Вэй Ли. — Это неустойчиво, это не будет широко применимо, если каждому придется заплатить десять миллионов долларов за обучение модели с триллионом параметров».

В кругах глубокого обучения искусственному интеллекту сложился консенсус по нескольким основным понятиям. 

Одно из мнений заключается в том, что тенденция к тому, чтобы нейронные сети становились все больше и больше, сохранится в обозримом будущем, за некоторыми исключениями. 

Еще одна общепринятая точка зрения заключается в том, что потенциал глубокого обучения основан на инновациях в программном обеспечении, несмотря на распространение нового оборудования.

Что означают эти две вещи?

Они могут означать, что инновации в программном обеспечении — это единственное, что сделает глубокое обучение доступным для всех, кто будет использовать ИИ, а не только для тех, кто владеет самыми большими и дорогими компьютерами. 

«Сегодняшний искусственный интеллект — это действительно суперкомпьютеры, когда мы углубляемся в него», — говорит Вэй Ли, вице-президент и генеральный менеджер по искусственному интеллекту и аналитике гиганта микросхем Intel. 

«На обучение самых больших моделей уходит миллион долларов, они являются эквивалентом суперкомпьютера».

Это делает большую часть ИИ недосягаемой для простых смертных, сказал Ли в интервью ZDNet. 

«Мы добились больших успехов во внедрении искусственного интеллекта в исследовательской лаборатории, где аспиранты Стэнфорда создают алгоритмы, распознающие кошек и собак, а поставщики облачных услуг делают много вещей», — сказал Ли. 

«Это неустойчиво, это не будет широко применимо , если каждому придется заплатить десять миллионов долларов за обучение модели с триллионом параметров», — сказал Ли. «Если вы хотите пойти дальше — и это возможность здесь, иметь ИИ повсюду — мост еще не совсем готов».

Мост, по мнению Ли, — это программное обеспечение. Программное обеспечение — это способность брать достижения лаборатории и распространять их в больших и малых организациях, на различных видах компьютерного оборудования, включая процессоры и графические процессоры, а также все новые виды экзотических ускорителей. 

«Я рассматриваю программное обеспечение как мост к искусственному интеллекту во всем мире», — сказал Ли.

Для Ли нынешний тупик очень знаком. В 1990-х годах он защитил докторскую диссертацию по информатике в Корнельском университете, разрабатывая методы компиляторов — программного обеспечения, которое заставляет программы работать на определенном оборудовании. Его работа была конкретно сосредоточена на том, как выполнять рабочие нагрузки на многих вычислительных ресурсах.

«Удивительно то, что то, что я узнал тогда, было связано с быстрым выполнением задач и обработкой больших объемов данных», — вспоминает Ли.

После Корнелла Ли был принят на работу в Intel двадцать пять лет назад, когда компания совершала свой скачок от производителя чипов для ПК к ведущему поставщику серверных чипов. Его опыт был использован при разработке компиляторов для серверов. «Я всегда был на переднем крае Intel, — вспоминает он, — и это делает мою работу увлекательной».

Как это часто бывает в технике, все старое снова становится новым. Внезапно, говорит Ли, все в глубоком обучении возвращается к инновациям компиляторов того времени.

«Компиляторы стали неактуальными» в последние годы, сказал он, и эта область информатики считается в значительной степени урегулированной. «Но благодаря глубокому обучению компилятор возвращается», — сказал он. «Мы находимся в середине этого перехода». 

В своей докторской диссертации в Корнелльском университете Ли разработал фреймворк компилятора для обработки кода в очень больших системах с так называемым «неравномерным доступом к памяти» или NUMA. Его программа переделала циклы кода для максимально возможной параллельной обработки. Но он также сделал еще кое-что особенно важное: он решил, какой код должен выполняться, в зависимости от того, к каким воспоминаниям код должен получить доступ в любой момент времени. 

Сегодня, по словам Ли, глубокое обучение приближается к точке, где доминируют те же самые проблемы. Потенциал глубокого обучения в основном ограничен не тем, сколько матричных умножений можно вычислить, а тем, насколько эффективно программа может получить доступ к памяти и пропускной способности.  

«На ранних стадиях [глубокого обучения] все сводилось к этим примитивам: можно ли быстро выполнить умножение матриц, можно ли быстро запустить свертки», — сказал Ли. 

«Двигаясь вперед, можно сказать, что примитивы — это только первый шаг», — сказал Ли. Проблема становится проблемой принятия решений, которая является более стратегической. «Как вы запускаете граф [вычислительных операций] на всех гетерогенных машинах, которые у нас есть», — сказал он . «Вы хотите распределить это, вы хотите распараллелить это определенным образом, вы хотите обрабатывать иерархии памяти определенным образом — все это оптимизации компилятора».

Некоторые вещи сложнее других. «Наша работа состоит в том, чтобы выбрать граф и разделить его на эти вычислительные единицы — это самая простая часть», — сказал Ли. Программист может нарисовать схемы вычислительного оборудования, различных узлов, процессоров и подумать о том, как разделить циклы выполнения. 

Гораздо сложнее и не так легко изобразить диаграммы, как память и коммуникации, особенно при все более крупных моделях нейронных сетей.

«Трудная часть — это иерархия памяти, это намного сложнее, чем простое распараллеливание, и это ключ, — говорит Ли. — Трудная часть — это пропускная способность соединения, организация коммуникаций».

«У нас нет хорошего способа моделирования движения данных», — отметил он. «Большая часть работы связана с управлением данными — трудная часть оптимизации компилятора заключается в эффективном управлении данными». В частности, «локальность данных очень важна», — сказал Ли, имея в виду, что одна операция работает с данным фрагментом данных, и, «надеюсь, этот фрагмент данных все еще остается на ближайшем уровне памяти. Или, может быть, где-то в тайнике».

Масштаб проблемы увеличивается с определенными типами глубокого обучения, такими как графовые нейронные сети, используемые в рекомендательных системах, скажем, для коммерческого приложения. 

«Есть сходство на уровне ядра, мы говорим о умножении матриц, свертке, но затем есть разнообразие, когда вы выходите за рамки этого», — сказал Ли. В системах компьютерного зрения могут быть миллионы изображений, которые нужно обрабатывать, но «когда вы переходите к графикам, количество данных огромно».

«Вы думаете о LinkedIn, сколько миллиардов людей — это миллиарды и миллиарды узлов — это действительно большие данные».

То, как работать с памятью и межсоединением для действительно больших данных, «возвращает нас к распараллеливанию компиляторов», — сказал Ли. 

«На самом деле, нам нужно много компиляторов, потому что все сводится к компиляторам».

Корпорация Intel уже предприняла шаги по привлечению большего числа экспертов по компиляторам. В июне компания объявила о приобретении стартапа CodePlay из Эдинбурга, Шотландия, поставщика параллельных компиляторов. 

CodePlay является компонентом усилий Intel по созданию широкого программного стека, доступного для всех оптимизаций, которые обсуждает Ли. В качестве одного из возможных решений Ли является чемпионом программного инструментария и платформы, которую Intel помогла разработать под названием oneAPI, исходный код которой размещен на GitHub. Intel поставляет собственную реализацию спецификации с открытым исходным кодом с декабря 2020 года.

oneAPI предлагает библиотеки, такие как oneDNN, для ускорения матрицы умножения примитивов. Он также включает в себя язык программирования, который Intel намерена сделать кроссплатформенным языком распараллеливания под названием DPC++. Язык является адаптацией языка SYCL, разработанного Khronos Group. У CodePlay уже была своя собственная разработка, аналогичная DPC++, под названием ComputeC++.

Отвечая на вопрос о прогрессе в развитии oneAPI, Ли сказал: «Внедрение идет полным ходом, и это те места, где мы получаем довольно хорошее внедрение со стороны глубокого обучения».

«Впереди еще долгий путь», — добавил он. «Установление стандартов в сообществе и экосистеме — непростая задача».

Спецификация oneAPI предусматривает использование языка программирования DPC++ и различных библиотек для оптимизации приложений глубокого обучения для различного оборудования. 

Intel может указать на некоторые практические успехи. Одна из технологий oneAPI, OneDNN, подход к ускорению работы нейронной сети, стала настройкой по умолчанию в TensorFlow и PyTorch. Библиотека Intel под названием BigDL, которая может автоматически реструктурировать нейронную сеть, разработанную на одном узле, для масштабирования до тысяч узлов, была принята крупными компаниями, такими как MasterCard.

Гигант по лицензированию процессоров ARM внедрил oneAPI в свои процессоры. «ARM на самом деле использует один и тот же OneAPI, и они являются одним из основных участников нашего OneDNN, — сказал Ли. — У них есть реализация oneDNN на ARM, и именно так они быстрее получают свою ценность».

«В конечном счете, мы увидим большой прирост производительности в результате оптимизации, которую мы проводим», — сказал Ли. «Мы наблюдаем 10-кратный прирост производительности, мы наблюдаем 100-кратный прирост производительности» от использования oneAPI, сказал он.

Часть битвы для Ли заключается в том, чтобы постоянно подчеркивать важность программного обеспечения, что может быть скрыто в мире, где новейшие аппаратные ускорители от таких стартапов, как Cerebras Systems и Graphcore и SambaNova, привлекают большую часть внимания. 

«Даже в отрасли существует, можно так выразиться, разрыв, — говорит Ли. — Довольно часто люди говорят о том, что у вас есть данные, у вас есть алгоритмы, у вас есть вычисления — понятие программного обеспечения гораздо, гораздо менее понятно, но на самом деле программное обеспечение играет ключевую роль в развитии искусственного интеллекта».

Каким бы важным ни было программное обеспечение, обсуждение ускорения искусственного интеллекта всегда будет возвращаться к тому, что Intel является крупнейшим независимым производителем процессоров, и к битве между ней и молодыми конкурентами, такими как Cerebras, и действующим гигантом чипов искусственного интеллекта Nvidia. 

Intel напрямую конкурирует со стартапами с Habana, производителем чипов, который был приобретен в 2019 году и продолжает демонстрировать конкурентное повышение производительности с последующими поколениями. Intel несет бремя поддержки устаревшего кода от всех своих пользователей x86, чего нет у стартапов. Но, в некотором смысле, говорит Ли, стартапы также должны поддерживать наследие — наследие фреймворков искусственного интеллекта, таких как TensorFlow и PyTorch, которые доминируют при создании нейронных сетей. 

«Как вы подключаете свою уникальную вещь к тому, что уже есть?» — так формулирует проблему Ли. «Это вызов, с которым они все сталкиваются, и это вызов, с которым сталкиваемся и мы.

«Вот почему у меня есть команда, работающая над Python, у меня есть команда, работающая над TensorFlow», — сказал он. «Вот почему наша стратегия — это экосистема программного обеспечения во многих отношениях».

Intel делит рынок крупносерийных чипов искусственного интеллекта с Nvidia, при этом Nvidia доминирует в обучении, начальная фаза, когда разрабатывается нейронная сеть, и Intel имеет большую часть рынка для вывода, когда обученная нейронная сеть выполняет прогнозы. У Intel также есть конкуренты на периферии со стороны Qualcomm, которая продвигает свой собственный программный стек, который можно рассматривать как альтернативу oneAPI.

Распространение процессоров в дорожной карте чипов Intel — графический процессор для центров обработки данных под кодовым названием Ponte Vecchio, постоянное совершенствование серверного процессора Xeon с возможностью умножения матриц, новые программируемые вентильные матрицы (FPGA) и многое другое — означает, что существует очень большая диаграмма Венна, на которой Intel конкурирует с Nvidia и AMD, Qualcomm и стартапами.  

«Сегодня в CPU у нас большая часть рынка логических выводов, и именно там мы играем, и мы выходим на рынок обучения из-за других ускорителей, которые мы здесь делаем», — сказал Ли. 

Обычно считается, что Nvidia имеет сильный контроль над рынком обучения не только благодаря массовым поставкам графических процессоров, но и потому, что ее инструменты программирования CUDA существуют дольше, чем что-либо еще. 

«Вопрос CUDA интересен, потому что он действительно зависит от того, насколько низкоуровневыми будут люди», — сказал Ли. Только небольшая аудитория действительно заботится о написании в библиотеки CUDA и языке программирования CUDA, утверждает Ли. Подавляющее большинство людей, которых Intel пытается охватить с помощью oneAPI, — это массы: специалисты по обработке и анализу данных, работающие на уровне фреймворков. 

«Когда мы говорим об искусственном интеллекте повсюду, у вас есть миллионы разработчиков, но это в основном разработчики на высшем уровне», — сказал он. «Они не будут на уровне программирования CUDA, они будут на уровне программирования TensorFlow — это люди, которые доведут ИИ до масштаба, верно?»

Есть ли у Intel шанс превзойти лидерство Nvidia среди исследователей глубокого обучения? Ли воздерживается от грандиозных прогнозов. Вместо этого он сказал: «Я думаю, что это хорошо для рынка в целом, потому что это предоставляет альтернативу», имея в виду oneAPI.

«Моя цель состоит в том, чтобы мы хорошо развивали наш продукт и позволяли продукту говорить сам за себя на рынке», — сказал он. «На мой взгляд, Intel имеет хорошие возможности для того, чтобы возглавить этот путь, чтобы добраться до ИИ повсеместно, особенно в области программного обеспечения».

Есть еще одна когорта, с которой Intel конкурирует, но с которой она также сотрудничает, — поставщики облачных услуг Amazon, Alphabet и Microsoft. Все три имеют свои собственные кремниевые программы. В случае с TPU от Alphabet от Google, тензорным процессорным блоком, семейство чипов в настоящее время находится в четвертом поколении и получает значительный подъем в качестве специализированной рабочей лошадки в облаке Google. Чип Amazon «Trainium» на данный момент менее развит как экосистема.

В то время как облачные вендоры покупают тонны процессоров у Intel, их доморощенные компоненты можно рассматривать как препятствие как для Intel, так и для ее конкурентов Nvidia и AMD. Собственные чипы могут снизить нагрузку от предложений продавцов.

С одной стороны, Intel усердно работает над тем, чтобы переориентироваться, сказал Ли, чтобы оставаться в курсе того, что нужно облачным гигантам. «Это интересно: изначально ИИ был связан с компьютерным зрением, кошками и собаками, — говорит Ли. — Но когда мы начали работать с поставщиками облачных услуг, мы обнаружили, что цикл номер один, самый большой объем вычислительных ресурсов, которые они сжигают, — это не компьютерное зрение, а рекомендательные системы». 

Стартапы не могут угнаться за такими темпами, настаивает Ли. «Вы можете себе представить, пять лет назад стартапы были повсюду, и они разрабатывали машину только для AlexNet», нейронной сети, которая проводит широко используемый тест ImageNet. «Сегодня они больше не работают, потому что просто не смогли справиться с тенденцией в CSP».

В то же время «облако является для нас приоритетом, но искусственный интеллект повсюду фактически выходит за рамки облака и распространяется на предприятия». 

Эти корпоративные клиенты «имеют другой набор людей, у них другие требования и другие типы приложений». Эти предприятия могут включать Facebook, заметил Ли, или это может быть розничный продавец.

Приложения IoT и периферийных вычислений могут требовать другой чувствительности, чем облачные операции искусственного интеллекта, утверждает Ли.

«Я поговорю с некоторыми крупными розничными торговцами, и их приложения не совсем облачные, — сказал Ли. — Возможно, в магазине происходит какое-то машинное обучение, которое будет немного отличаться от облачного».

«Эти вещи меняются с точки зрения разнообразия выполняемых задач, — заметил Ли о рабочих нагрузках искусственного интеллекта, — и именно поэтому я думаю, что Intel находится в хорошем положении, потому что у Intel есть масштаб».

«Корпорация Intel — это большая компания, у нас есть портфель высококачественного оборудования, разработанного и созданного сегодня на широком спектре рынков, — сказал он. — И довольно часто они подключены», как в случае с периферийными рабочими нагрузками, которые подключаются к облачным центрам обработки данных.

Что касается очень больших нейронных сетей, Ли утверждает, что такие методы, как дистилляция и трансферное обучение, позволят плодам этих суперкомпьютерных нейронных сетей просочиться к обычным пользователям. 

«Я бы сказал, что это будет пирамида, в которой на вершине пирамиды находятся все модели, в которых только несколько богатых компаний могут продолжать продвигаться к этим вещам, — заметил Ли. — И тогда будет ее широта, большая ее часть, и вы найдете больше экономических моделей — возьмите большую модель и найдите эквивалентную маленькую модель, которая делает то же самое.

«Но наверху люди всегда будут выбирать суперкомпьютеры».