IBM удваивает использование искусственного интеллекта с открытым исходным кодом, предлагая новые модели Granite 3.0
Программы LLM Granite компании Big Blue созданы для бизнеса и теперь доступны под старой доброй лицензией Apache 2.0.
У открытого исходного кода и искусственного интеллекта непростые отношения. ИИ не может существовать без открытого исходного кода, но немногие компании хотят открывать исходный код своих программ ИИ или больших языковых моделей (LLM). За исключением, в частности, IBM, которая ранее открыла исходный код своих моделей Granite. Теперь Big Blue удваивает использование своего искусственного интеллекта с открытым исходным кодом, выпустив новейшие модели Granite AI 3.0 под лицензией Apache 2.0.
IBM сделала это, используя данные предварительного обучения из общедоступных наборов данных, таких как GitHub Code Clean, данные Starcoder, общедоступные репозитории кода и проблемы GitHub. И IBM приложила все усилия, чтобы избежать потенциальных проблем с авторским правом или юридических проблем.
Почему другие крупные компании, занимающиеся искусственным интеллектом, не сделали этого? Одна из главных причин заключается в том, что их наборы данных заполнены данными, защищенными авторским правом или другой интеллектуальной собственностью. Если они откроют свои данные, они также подвергнутся судебным искам. Например, такие издания News Corp, как Wall Street Journal и New York Post, обвиняют Perplexity в краже их контента.
Модели Granite, напротив, представляют собой программы LLM, специально разработанные для использования в бизнесе, с упором на программирование и разработку программного обеспечения. IBM утверждает, что эти новые модели были обучены на в три раза больше данных, чем те, которые были опубликованы ранее в этом году. Они также обладают большей гибкостью моделирования и поддержкой внешних переменных и скользящих прогнозов.
В частности, новые языковые модели Granite 3.0 8B и 2B разработаны как «рабочие» модели для корпоративного искусственного интеллекта, обеспечивая надежную производительность для таких задач, как поисковая дополненная генерация (RAG), классификация, обобщение, извлечение сущностей и использование инструментов.
Эти модели также выпускаются в вариантах Instruct и Guardian. Первый, как следует из названия, помогает людям выучить тот или иной язык. Guardian предназначен для обнаружения рисков в подсказках пользователей и ответах ИИ. Это жизненно важно, поскольку, как отметил эксперт по безопасности Брюс Шиндлер на конференции Secure Open-Source Software (SOSS) Fusion, «мгновенное внедрение [атаки] работает, потому что я отправляю данные ИИ, которые он интерпретирует как команды», что может привести к на катастрофические ответы.
Модели кода Granite содержат от 3 до 34 миллиардов параметров и были обучены на 116 языках программирования и от 3 до 4 терабайт токенов, сочетая обширные данные кода и наборы данных естественного языка. Эти модели доступны через несколько платформ, включая Hugging Face, GitHub, собственный Watsonx.ai от IBM и Red Hat Enterprise Linux (RHEL) AI. Кураторский набор моделей Granite 3.0 также доступен на Ollama и Replication.
Кроме того, IBM выпустила новую версию своего Watsonx Code Assistant для разработки приложений. Там Granite предоставляет универсальную помощь в кодировании на таких языках, как C, C++, Go, Java и Python, а также расширенные возможности модернизации приложений для корпоративных Java-приложений. Возможности кода Granite теперь доступны через расширение кода Visual Studio, IBM Granite.Code.
Лицензия Apache 2.0 допускает как исследовательское, так и коммерческое использование, что является значительным преимуществом по сравнению с другими крупными LLM, которые могут претендовать на открытый исходный код, но связывают свои LLM коммерческими ограничениями. Наиболее ярким примером этого является Лама Меты.
Предоставляя эти модели в свободный доступ, IBM снижает барьеры для разработки и использования ИИ. IBM также небезосновательно полагает, что, поскольку они действительно имеют открытый исходный код, разработчики и исследователи могут быстро развивать и улучшать эти модели.
IBM также утверждает, что эти модели могут обеспечить производительность, сравнимую с гораздо более крупными и гораздо более дорогими моделями.
Сложите все это вместе, и я, например, впечатлен. Да, Granite не поможет детям с домашними заданиями и не напишет великий американский роман об искусственном интеллекте, но он поможет вам разрабатывать полезные программы и экспертные системы на основе искусственного интеллекта.