Поиск по сайту:

Ждете, когда ChatGPT улучшится? Возможно, вы ждете некоторое время, и вот почему


Сводка

  • Темп выпуска ChatGPT замедляется, переходя к ежегодным обновлениям.
  • Трансформаторная технология и снижение отдачи приводят к замедлению развития LLM.
  • Нехватка обучающих данных и неопределенные модели прибыли ставят под угрозу будущее проектов ИИ, таких как ChatGPT.

ChatGPT изменил образ жизни и работы многих людей по всему миру, но те, кто внимательно следит за модельным ритмом, заметили, что в последнее время он замедлился. Что происходит с развитием LLM, и не движемся ли мы к темным векам ИИ в 2025 году и далее?

ChatGPT: временная шкала

Когда в ноябре 2022 года OpenAI запустила свою первую общедоступную модель ChatGPT 3.5, она покорила индустрию поиска и искусственного интеллекта. До запуска Meta Threads в 2023 году ChatGPT был самым быстрорастущим приложением всех времен, добавив в свой список 100 миллионов пользователей менее чем за три месяца.

С тех пор компания перешла от примерно шестимесячного интервала между новыми моделями к ежегодным обновлениям. Хотя между запуском ChatGPT 3.5 и ChatGPT 4.0 прошло всего пять месяцев, после этого ChatGPT o1 был выпущен с марта 2023 года по декабрь 2024 года.

Поскольку у o3 нет точной даты запуска, невозможно точно сказать, когда мы можем увидеть следующую большую модель OpenAI. Некоторые ранние тестеры уже получили в свои руки бета-версию, но это не дает большого сигнала о том, когда мы можем ожидать, что следующая эволюция LLM достигнет общедоступных ПК. Итак, каковы некоторые из причин, по которым развитие LLM начало замедляться, и принесут ли инвестиции в мир технологий дивиденды в конечном итоге?

Автоботы, развертывание

Трансформаторы — это фундаментальная технология, которая впервые трансформировала (за неимением лучшего термина) индустрию искусственного интеллекта, начиная примерно с 2017 года. Используя архитектуру CUDA в графических процессорах в качестве комплексной вычислительной платформы, а не только для рендеринга изображений, трансформеры могут превратить даже самые простые видеокарты в процессоры, дружественные к искусственному интеллекту.

Но в то время как многие из самых ранних моделей больших языковых моделей (LLM) и их меньшие входные токены могли использовать больше преимуществ архитектуры CUDA, в последнее время мы наблюдаем снижение отдачи. Подобно ускоренной версии закона Мура, которая, по общему признанию, представляет собой радикальное упрощение технологии ради краткости, графические процессоры начали достигать пика производительности искусственного интеллекта, несмотря на увеличение инвестиций в плотность транзисторов и спецификации VRAM из года в год.

Даже основной доклад Nvidia на CES в этом году был встречен прохладной реакцией, поскольку стало ясно, что мы уже достигли «эволюционной» фазы аппаратного обеспечения искусственного интеллекта, а не «революционных» скачков, которых некоторые ожидали, учитывая траекторию последних нескольких лет.

Мы еще не так близки к тому, чтобы довести аппаратное обеспечение искусственного интеллекта на основе GPU до его теоретического физического предела, как мы это делаем с некоторыми классическими CPU. (Примечание; сюда не входят новые подходы, основанные на 3D.) Тем не менее, основные достижения, которые мы наблюдали за последние пять лет в области графических процессоров и поддержки архитектур трансформеров, начинают замедляться, а не спринт, на который надеялись некоторые представители отрасли в период с 1980-х до начала 2000-х годов.

Соскабливание дна бочки

Еще одним существенным препятствием, с которым сейчас сталкиваются многие LLM-компании, в том числе OpenAI с ChatGPT, является нехватка обучающих данных. В то время как каждая LLM, поддерживаемая FAANG (Gemini, Claude и ChatGPT), уже освоила и обучила тому, что можно считать всей общедоступной информацией, доступной в открытом интернете, компании сталкиваются с кирпичной стеной доходности от ввода к выходу.

Не имея много новых данных для обучения моделей следующего поколения, некоторые разработчики обратились к так называемой «рекурсивной» модели обучения. В этих случаях ИИ используется для обучения ИИ, но результаты в лучшем случае неоднозначны. В то время как более простые концепции и задачи могут быть обучены рекурсивно, достижение результатов, превосходящих те, которые наблюдаются с помощью искусственного интеллекта, обученного на человеческих выходах, является проблемой галлюцинаций. Если раньше вы думали, что у ИИ могут быть галлюцинации, попробуйте скормить ИИ ИИ и посмотрите, какие результаты выйдут. Одним словом, немалая его часть восполняется на месте.

Кто оплачивает счета?

Гонка за превосходство в области искусственного интеллекта и LLM вызвала пожар из мусорного контейнера, вливаемого в отрасль, которая в ближайшие несколько лет составит более 1 триллиона долларов, как и прогнозируется в недавнем анализе Goldman Sachs. Тем не менее, даже со всеми этими деньгами по вызову, невозвратные затраты на обучение и поддержание LLM, такой как ChatGPT, все еще находятся в поиске канала прибыли, чтобы поддерживать свет.

Обучение, эксплуатация и запросы на вытягивание LLM стоят значительно дороже, чем стандартный поиск в Google. По некоторым оценкам, один запрос ChatGPT может использовать в десять раз больше вычислительных ресурсов и мощности, чем запрос Google, хотя реальные цифры держатся в секрете OpenAI. До недавнего времени все крупные игроки в FAANG подходили к ИИ по стандартному сценарию: «1. Сбрасывайте больше денег венчурного капитала, чем ваши конкуренты 2. Захватите максимально возможную долю рынка 3. ??? 4. Прибыль».

Но мир искусственного интеллекта — это что угодно, только не стандарт. Поскольку затраты на вычисления, не случайно, взлетели вместе с ценой акций Nvidia, фактическая модель прибыли для возмещения этих затрат все еще кажется в лучшем случае туманной.

ChatGPT взимает 20 долларов в месяц за доступ к своим самым передовым и последним моделям. Но даже с 11 миллионами платных подписчиков, согласно отчету The Information со ссылкой на главного операционного директора OpenAI, OpenAI все еще рассматривает новые уровни подписки для более продвинутых LLM, которые могут варьироваться до 2000 долларов в месяц, в зависимости от возможностей.

Эта проблема усугубляется уменьшением отдачи от результатов. Поскольку многие люди считают, что бесплатные модели, такие как ChatGPT 4o, «достаточно хороши» для того, что им нужно — «достаточно» — это субъективный опыт для каждого пользователя и его варианта использования, конечно, — преимущество ежемесячной подписки теряет свою ценность. Этот страх перед потенциально потерянным капиталом привел к замедлению инвестиций в ИИ по сравнению с предыдущими годами, что означает замедление темпов разработки в натуральном выражении.

Когда ChatGPT совершит свой следующий скачок?

Поскольку ChatGPT готовится к запуску своей модели o3, отраслевые аналитики ожидают, что это может быть единственный новый публичный релиз, который мы увидим от OpenAI за весь 2025 год. Многие рады, что ошибаются, но, учитывая упомянутые выше проблемы, с каждым днем это выглядит все более вероятным.

Но, в конечном счете, так ли это плохо? Как показывает таблица лидеров на Chatbot Arena, итерации моделей, на которые раньше уходили всего месяцы, чтобы набрать сотни пунктов между релизами, едва ли продвинулись более чем на несколько десятков более чем за год. Мы приближаемся к вершине того, на что способны LLM даже в своих самых производительных средах, и в то время как масштабируемые корпоративные приложения все еще готовы к выбору, то, что LLM может сделать для обычного пользователя, похоже, приближается к своему теоретическому пределу.

Итак, когда вы получите в свои руки следующую версию ChatGPT? Только время покажет. Но, пока мы ждем, такие модели, как ChatGPT o1 и 4o, по-прежнему достаточно мощны, чтобы справиться с составлением списка продуктов, отсортированного по проходам, помогая вам вспомнить, в какой книге вы читали конкретную цитату или для чего бы вы чаще всего использовали своего любимого чат-бота.

Статьи по данной тематике