Как план трансформации отрасли IBM использует искусственный интеллект, 5G и совместную работу

Новые инструменты от изобретателей Apache TVM продвигают так называемые «интеллектуальные приложения», программы, которые встраивают машинное обучение в качестве функций.

«Лично я считаю, что если мы сделаем это правильно, нам не понадобится ML Ops», — говорит Луис Сезе, генеральный директор OctoML, о стремлении компании сделать развертывание машинного обучения еще одной функцией программного процесса DevOps.

Сфера MLOps возникла как способ разобраться в сложности промышленного использования искусственного интеллекта.

Эти усилия пока не увенчались успехом, говорит Луис Сезе, соучредитель и генеральный директор стартапа OctoML, который разрабатывает инструменты для автоматизации машинного обучения.

«Еще довольно рано превращать машинное обучение в обычную практику», —  сказал Сезе в интервью ZDNet через Zoom.

«Вот почему я критикую MLOps: мы даем название чему-то, что не очень хорошо определено, и есть то, что очень хорошо определено, называется DevOps, это очень четко определенный процесс переноса программного обеспечения в производство, и я думаю, что мы должны использовать это».

«Лично я считаю, что если мы сделаем это правильно, нам не понадобятся ML Ops», — сказал Сезе.

«Мы можем просто использовать DevOps, но для этого вам нужно иметь возможность относиться к модели машинного обучения, как к любой другой части программного обеспечения: она должна быть портативной, она должна быть производительной, а делать все это очень сложно в машинном обучении из-за тесной зависимости между моделью». и аппаратное обеспечение, и фреймворк, и библиотеки».

Сезе утверждает, что необходимо устранить зависимости, возникающие из-за сильно раздробленного характера стека машинного обучения.

OctoML продвигает понятие «модели как функции», имея в виду модели машинного обучения. В нем утверждается, что этот подход сглаживает кроссплатформенную совместимость и синтезирует разрозненные усилия по разработке моделей машинного обучения и разработки традиционного программного обеспечения. 

OctoML начала свою жизнь, предлагая коммерческую сервисную версию компилятора Apache TVM с открытым исходным кодом, которую изобрели Сезе и его коллеги-соучредители. 

В среду компания объявила о расширении своей технологии, включая, среди прочего, возможности автоматизации для устранения зависимостей, а также «информацию о производительности и совместимости из полного парка из 80+ целей развертывания», который включает в себя множество экземпляров общедоступного облака от AWS, GCP и Azure, а также поддержку различных версий CPU — x86 и ARM — графических процессоров. и NPU от нескольких поставщиков. 

«Мы хотим, чтобы гораздо более широкий круг инженеров-программистов мог развертывать модели на основном оборудовании без каких-либо специальных знаний о системах машинного обучения», — сказал Сезе.

По словам Сезе, код предназначен для решения «большой проблемы в отрасли», а именно: «зрелость создания моделей значительно возросла, поэтому теперь большая часть боли смещается в сторону «Эй, у меня есть модель, что теперь?»

По словам Сезе, среднее время перехода от новой модели машинного обучения составляет двенадцать недель, и половина всех моделей не развертывается.

«Мы хотим сократить это время до нескольких часов», — сказал Сезе. 

По словам Сезе, если все будет сделано правильно, эта технология должна привести к появлению нового класса программ под названием «интеллектуальные приложения», которые OctoML определяет как «приложения, в функциональность которых интегрирована модель машинного обучения».

Инструменты OctoML предназначены для того, чтобы служить конвейером, который абстрагируется от сложности взятия моделей машинного обучения и их оптимизации для заданной целевой аппаратной и программной платформы. 

Этот новый класс приложений «становится большинством приложений», — сказал Сезе, приведя в пример приложение Zoom, позволяющее использовать фоновые эффекты, или текстовый процессор, выполняющий «непрерывное NLP», или обработку естественного языка. 

«Машинное обучение распространяется повсюду, оно становится неотъемлемой частью того, что мы используем, — заметил Сезе, — оно должно быть легко интегрировано — это проблема, которую мы решили решить».

По словам Цезе, суть MLOps заключается в том, чтобы «помочь инженеру-человеку понять аппаратную платформу для работы, выбрать правильные библиотеки, работать с библиотекой Nvidia, скажем, с правильными примитивами компилятора Nvidia, и прийти к чему-то, что он может запустить.

«Мы автоматизируем все это», — сказал он о технологии OctoML. «Возьмите модель, превратите ее в функцию и назовите ее», — сказал он. «Вы получаете модель Hugging Face через URL-адрес и загружаете эту функцию».

В новой версии программного обеспечения особое внимание уделяется интеграции с программным обеспечением сервера инференса Triton от Nvidia. 

Nvidia заявила в подготовленном выступлении, что «портативность, универсальность и гибкость Triton делают его идеальным компаньоном для платформы OctoML».

Отвечая на вопрос о целевом рынке для OctoML как бизнеса, Сезе указал на «пересечение DevOps и инфраструктуры AI и ML». DevOps — это «чуть меньше ста миллиардов долларов», а инфраструктура AI и ML — это несколько сотен миллиардов долларов в годовом бизнесе.