ИИ не упирается в стену, он просто становится слишком умным для тестов, говорит Антропик

По мере того, как их самокоррекция и самоанализ улучшаются, новейшие студенты LLM открывают новые возможности со скоростью, из-за которой становится сложнее измерить все, на что они способны.

Анураг Рана из Bloomberg (слева) беседует с Майклом Герстенхабером из Anthropic (в центре) и Виджаем Карунамурти из Scale AI во время конференции Bloomberg Intelligence на тему «Поколение искусственного интеллекта: может ли он выполнить обещание по производительности?»

По словам вице-президента Anthropic, ведущего поставщика, большие языковые модели и другие формы генеративного искусственного интеллекта неуклонно совершенствуются благодаря «самокоррекции», открывая возможности для новых видов работы, которые они могут выполнять, включая «агентный искусственный интеллект». моделей ИИ.

«Он становится очень хорош в самокоррекции и самоанализе», — сказал Майкл Герстенхабер, руководитель отдела API-технологий в Anthropic, которая создает семейство LLM Claude, конкурирующее с GPT OpenAI.

«Каждые пару месяцев мы выпускаем новую модель, которая расширяет возможности LLM», — сказал Герстенхабер во время интервью в среду в Нью-Йорке с Анурагом Рана из Bloomberg Intelligence. «Самое интересное в этой отрасли то, что с каждой ревизией модели открываются новые варианты использования».

Самые последние модели включают планирование задач, например, как выполнять задачи на компьютере так, как это делает человек; например, заказ пиццы онлайн.

«Планирование промежуточных шагов — это то, что было невозможно вчера, но возможно сегодня», — сказал Герстенхабер о таком поэтапном выполнении задач.

Дискуссия, в которой также участвовал Виджай Карунамурти, главный технолог стартапа Scale AI, занимающегося искусственным интеллектом, была частью однодневной конференции, организованной Bloomberg Intelligence, на тему «Поколение ИИ: может ли он выполнить обещания по производительности?»

Замечания Герстенхабера противоречат аргументам скептиков ИИ о том, что поколение ИИ и остальная часть ИИ в более широком смысле «упираются в стену», а это означает, что отдача от каждого нового поколения моделей становится все меньше и меньше.

Исследователь искусственного интеллекта Гэри Маркус предупредил в 2022 году, что простое создание моделей искусственного интеллекта со все большим и большим количеством параметров не приведет к улучшениям, равным увеличению размера. Маркус продолжает повторять это предупреждение.

Anthropic, по словам Герстенхабера, стремится к тому, что можно измерить с помощью текущих тестов искусственного интеллекта.

«Даже если кажется, что в каком-то смысле оно сокращается, это потому, что мы включаем совершенно новые классы [функциональности], но мы насыщаем тесты и возможности выполнять старые задачи», — сказал Герстенхабер. Другими словами, становится все труднее измерить, на что способны нынешние модели искусственного интеллекта нынешнего поколения.

И Герстенхабер, и Карунамурти из Scale AI доказали, что «масштабирование» Gen AI — увеличение моделей ИИ — помогает продвигать такие самокорректирующиеся нейронные сети.

«Мы определенно наблюдаем все большее и большее масштабирование разведки», — сказал Герстенхабер. «Одна из причин, по которой мы не обязательно думаем, что упираемся в стену с планированием и рассуждением, заключается в том, что мы только сейчас изучаем, каким образом необходимо структурировать задачи планирования и рассуждения, чтобы модели могли быть адаптироваться к широкому спектру новых сред, через которые они еще не пытались пройти».

«Мы находимся в самом начале пути», — сказал Герстенхабер. «Мы узнаем от разработчиков приложений, что они пытаются сделать, и что она [языковая модель] делает плохо, и мы можем интегрировать это в LM».

Отчасти это открытие, по словам Герстенхабера, связано со скоростью фундаментальных исследований в Anthropic. Однако отчасти это связано с обучением, слушая «то, что индустрия говорит нам, что им нужно от нас, и нашей способностью адаптироваться к этому - мы очень многому учимся в режиме реального времени».

По словам Карунамурти из Scale AI, клиенты обычно начинают с больших моделей, а затем иногда сокращают их до более простых моделей искусственного интеллекта, чтобы они соответствовали определенной цели. «Совершенно очевидно, что сначала они думают о том, достаточно ли умен ИИ, чтобы вообще хорошо провести тест, затем — достаточно ли он быстр, чтобы удовлетворить их потребности в приложении, и затем настолько дешев, насколько это возможно».