Вышла Stable Diffusion 3.5 с лучшей производительностью и правильным количеством конечностей
Stability, AI-стартап, стоящий за популярным генератором изображений Stable Diffusion, анонсировал новое поколение моделей, которые будут более настраиваемыми и универсальными, обеспечивая при этом более «разнообразный» и репрезентативный контент.
Новый Stable Diffusion 3.5 доступен в трёх вариантах: Large, Large Turbo и Medium. Stable Diffusion 3.5 Large работает с 8 миллиардами параметров и способен генерировать изображения с разрешением до мегапикселя. Stable Diffusion 3.5 Large Turbo имеет те же возможности, что и Large, однако генерирует изображения быстрее за счет некоторого качества.
С другой стороны, Stable Diffusion 3.5 Medium предназначен для работы на периферийных устройствах, таких как ноутбуки, планшеты и смартфоны. Он может генерировать изображения различных размеров от четверти МП до 2 МП. Версии Large и Large Turbo доступны сегодня, а Medium появится в конце месяца, 29 октября.
SD 3.5 обещает значительно улучшить производительность по сравнению со своим предшественником Stable Diffusion 3.0, который дебютировал в июне. Выпуск SD3 был встречен возмущением и разочарованием пользователей из-за неспособности модели точно отображать конечности и пальцы, особенно для объектов, изображенных лежащими на траве, а также из-за большого количества артефактов и сложности выполнения заданной подсказки.
Компания признает, что SD3 «не полностью соответствует нашим стандартам или ожиданиям нашего сообщества», но настаивает на том, что «Stable Diffusion 3.5 отражает наше стремление предоставить разработчикам и создателям инструменты, которые широко доступны, передовые и бесплатные для большинства случаев использования». ."
Новая модель 3.5 также обучена генерировать более разнообразные изображения людей, создавая «изображения, представляющие мир, а не только один тип людей, с разными оттенками кожи и особенностями» и без необходимости использования обширных подсказок.
«Во время обучения каждое изображение сопровождается несколькими версиями подсказок, причем приоритет отдается более коротким подсказкам», — рассказал TechCrunch Ханно Бассе, технический директор Stability. «Это обеспечивает более широкое и разнообразное распространение концепций изображений для любого текстового описания. Как и большинство компаний, занимающихся генеративным искусственным интеллектом, мы обучаемся на широком спектре данных, включая отфильтрованные общедоступные наборы данных и синтетические данные. »
Приведет ли это к тем же проблемам, с которыми Google столкнулся в феврале, когда генератор изображений Gemini начал выдавать «исторически неточные» данные (читай: черные нацистские солдаты), еще неизвестно. «Создание изображений с помощью ИИ Gemini действительно привлекает широкий круг людей», — говорится в заявлении Google, опубликованном в Twitter в феврале. «В целом это хорошо, потому что люди во всем мире используют это. Но здесь не хватает цели. »
Если вы хотите сами опробовать Stable Diffusion 3.5, то Large и Large Turbo в настоящее время доступны для загрузки с Hugging Face. Вы можете найти код вывода на GitHub.
Источник: Stability AI, TechCrunch.