Может ли DALL-E 3 в ChatGPT читать и изменять изображения? Приходите посмотреть сами

Раскрытие особенностей DALL-E 3 в ChatGPT Plus: посмотрите, как этот инструмент искусственного интеллекта меняет реальность, превращая обычные изображения в необычные творения.

Я изучал использование DALL-E 3 внутри ChatGPT Plus. Я делаю это, потому что это моя работа, а не потому, что у меня есть какая-то нездоровая склонность описывать что-то в уме и видеть, как это проявляется за считанные минуты на экране. Я могу остановиться в любой момент. Конечно, это билет, я могу остановиться в любой момент.

Но не сегодня. Сегодня я нашел новую игрушку. DALL-E 3 внутри ChatGPT может читать и изменять изображения. Вроде, как бы, что-то вроде. Понимаете, это немного суетливо. Но я забегаю вперед. Начнем эту историю с самого начала...

Я уже некоторое время использую Midjourney для настройки загруженных изображений. Проблема в том, что это очень запутанно. Вам нужно запустить Midjourney в Discord, а затем вам нужно выполнить ряд шагов, чтобы загрузить изображение в Discord, получить URL-адрес, да, да, да…

В ChatGPT Plus вам просто нужно щелкнуть значок скрепки и загрузить свое изображение. Один и готово.

Это делает его намного проще в использовании, а также намного веселее. Но насколько хорошо это работает? Чтобы проверить это, я попробовал три изображения: фотографию моей машины, мою фотографию и логотип ZDNET. Давайте посмотрим на результаты.

Моя машина

Вот фотография моей машины — Dodge Challenger 2013 года выпуска.

Как только изображение было загружено, я проинструктировал DALL-E 3:

Поставить машину в город

Результаты были многообещающими. DALL-E 3 успешно воспроизвел изображение автомобиля в городской сцене:

Затем, поскольку я определенно увлекаюсь стимпанком, я попросил DALL-E:

Сделайте это в стиле стимпанк

Вот что мы получили. Он по-прежнему сохранил общий стиль кузова Dodge Challenger:

DALL-E продолжает ломаться

Следует отметить, что мне не удалось заставить DALL-E выполнить слишком много итераций без сбоев. Каждые два-три запроса (и не более четырех) я получал такое сообщение:

Мой обходной путь заключался в том, чтобы взять последнее успешно созданное изображение, загрузить его в новый сеанс ChatGPT Plus и работать с ним.

Летающая машина

Итак, я загрузил последнее изображение, версию моей машины в стиле стимпанк, и сказал DALL-E:

Заставь машину летать

Вот что я получил обратно. Изображение моей оригинальной машины исчезло, и мы получили в воздухе очень крутую машину в стиле Chitty Chitty Bang Bang:

Это было круто, но это была уже не моя машина. Но это нормально, посмотрим, куда мы можем пойти.

Санта-Клаус

Следующей моей попыткой, учитывая сезон, была попытка посадить Санту на место водителя. Здесь я столкнулся с довольно рьяным ограждением, когда ChatGPT сказал мне: «Извините, но я не могу помочь с этим запросом».

Да, мы подошли к тому моменту в будущем, когда ИИ скажет точный эквивалент: «Мне очень жаль, Дэйв. Боюсь, я не смогу этого сделать». Жизнь имитирует искусство.

Как видите, рассуждения были немного странными. Но, похоже, это зависело от того факта, что я просил изменить загруженное изображение. Поэтому я дал ему приведенные выше подсказки в виде одного запроса:

Поставьте машину в город. Сделайте это в стиле стимпанк. Заставьте машину летать. Посадите Санту на место водителя.

Я получил это:

Это была хорошая фотография, но ей не хватало всей викторианской эстетики предыдущих изображений. Однако это можно исправить.

DALL-E с ChatGPT по сути переписывает каждое приглашение в более подробную инструкцию. Так, например, «Сделай это в стиле стимпанк» переписали на:

Изображение уличной сцены в стиле стимпанк со старинной архитектурой, на которой изображен классический маслкар, модифицированный элементами стимпанка, такими как медные трубы, шестерни и паровые выхлопы. Автомобиль припаркован на мощеной улице, окруженной фонарями и старинными зданиями, сочетающими в себе влияние викторианской эпохи и промышленной революции. По тротуарам ходят люди, одетые в одежду в стиле стимпанк, в очках и в викторианской одежде. Общая атмосфера напоминает ретрофутуристический город из альтернативной истории, где паровая энергия является основной технологией.

Поэтому я взял фрагменты описательного материала из «сделай это в стиле стимпанк» и «заставь машину летать» и объединил их для этой подсказки:

Поставьте машину в город. Сделайте это в стиле стимпанк. Заставьте машину летать. Посадите Санту на место водителя. Внизу мощеные улицы украшены газовыми фонарями, и люди в викторианских одеждах с изумлением смотрят вверх. Небо темно-оранжевого цвета с намеком на смог и гулом небольших стимпанк-дронов и дирижаблей вдалеке. Общая атмосфера напоминает ретрофутуристический город из альтернативной истории, где паровая энергия является основной технологией.

Вот что я получил обратно:

Строго говоря, это не летающая машина, но это круто. К сожалению, здесь нет никакой связи с оригинальным изображением автомобиля, с которого я начал.

Стоп, Дэйв. Ты остановишься, Дэйв? Стоп, Дэйв.

У меня был еще один момент HAL, когда я попросил ChatGPT разместить мою фотографию в офисе:

Он сказал мне: «Извините, но я не могу помочь с этой просьбой». По крайней мере, ChatGPT не сказал: «Послушай, Дэйв, я вижу, что ты очень расстроен этим. Честно говоря, я думаю, что тебе следует сесть спокойно, принять таблетку от стресса и все обдумать».

Отлично. А сейчас нечто соверешнно другое.

Уезжаю на реактивном поезде

Вот логотип ZDNET, который я загрузил в DALL-E:

Сначала я попробовал заставить его посадить на самолет:

Разместите этот логотип на борту авиалайнера.

По крайней мере, цвет получился правильный:

Потом я попытался заставить его разместить логотип на здании.

Разместите этот логотип на стене кирпичного здания.

Он помнил зеленый, но не тот зеленый:

Поэтому я попытался заставить DALL-E перенести здание на модель железной дороги.

Поместите здание на модель железной дороги.

В результате получается нечто, напоминающее модель железной дороги (хотя путь на переднем плане, скорее всего, приведет к сходу с рельсов).

Есть кирпичное здание, но это уже не то же самое кирпичное здание, и никаких намеков на логотип ZDNET больше нет. Не осталось даже зеленого цвета ZDNET.

Поэтому, конечно, я попросил его сделать следующее:

Также поместите гигантский самолет на модель железной дороги.

Я понял это. Я просто хочу знать, это самолеты или ракеты в воде.

Чему мы научились?

Поработав над этой функцией DALL-E, я думаю, мы можем сделать следующий вывод:

Вы можете загружать изображения в DALL-E.
Вы можете попросить его изменить их, но результат будет неоднозначным.
DALL-E часто терпит неудачу.
ChatGPT, возможно, не демонстрирует общий искусственный интеллект, но в нем отсутствует абстрактный экспрессионизм.
Его отклики неприятно близки к откликам HAL-9000.

И вот. Вы загрузили изображения в DALL-E? Как это повлияло на вас? Дайте нам знать в комментариях ниже.

Вы можете следить за ежедневными обновлениями моего проекта в социальных сетях. Обязательно подпишитесь на мою еженедельную рассылку обновлений на Substack и следите за мной в Твиттере @DavidGewirtz, в Facebook по адресу Facebook.com/DavidGewirtz, в Instagram по адресу Instagram.com/DavidGewirtz и на YouTube по адресу YouTube.com/DavidGewirtzTV.