Один из ученых Google по искусственному интеллекту занимается «масштабированием во время тестирования» на стероидах. Что это значит для исследований
Адаптация модели искусственного интеллекта Gemini — это новейшее использование действительно интенсивной вычислительной активности во время вывода, а не во время обучения, для улучшения так называемого мышления модели искусственного интеллекта. Вот как это работает.
В среду компания Google заявила, что адаптировала свою большую языковую модель искусственного интеллекта Gemini 2.0, чтобы заставить ее генерировать новые научные гипотезы за долю времени, затрачиваемого командами лабораторных исследователей.
Компания позиционирует «ИИ-соученого», построенного на Gemini, как «многообещающий шаг вперед к технологиям с помощью ИИ для ученых, чтобы помочь ускорить открытия», и программу, предназначенную для запуска с человеком «в курсе», чтобы «действовать в качестве полезного помощника и партнера для ученых и помочь ускорить процесс научных открытий».
Это также демонстрация того, как так называемые логические модели ИИ теперь стимулируют использование вычислительных ресурсов все выше и выше, для перекрестных ссылок, оценки, ранжирования, сортировки, просеивания и выполнения множества других вещей — и все это после того, как запрос был введен пользователем.
Предполагается, что один из специалистов Google по искусственному интеллекту должен иметь «человека в контуре», управляющего различными операциями машины, такими как обзор литературы и формирование гипотез.
В смелой смеси научных публикаций и маркетинга исследователи Google опубликовали техническую статью, описывающую гипотезу, созданную соученым, одновременно с статьей, опубликованной группой ученых из Имперского колледжа Лондона, с той же гипотезой.
Гипотеза соученых о специфическом способе, которым бактерии эволюционируют, чтобы сформировать новые патогены, заняла два дня, в то время как человеческая работа стала результатом десятилетних исследований и лабораторных работ, утверждает Google.
Машина для формулирования гипотез
Google описывает машину как машину для формулирования гипотез, которая использует несколько агентов.
Как говорится в сообщении в блоге Google: «Учитывая исследовательскую цель ученого, которая была определена на естественном языке, соученый с искусственным интеллектом предназначен для создания новых исследовательских гипотез, подробного обзора исследований и экспериментальных протоколов. Для этого он использует коалицию специализированных агентов: Генерация, Отражение, Ранжирование, Эволюция, Близость и Мета-обзор».
В дизайне Google для соученого с искусственным интеллектом человек вводит цель исследования в ответ на запрос, после чего ряд агентов работает параллельно, чтобы просмотреть литературу, сформулировать и оценить гипотезы.
Структура AI co-scientist предназначена для параллельного выполнения задач нескольких агентов, подкрепленных функцией управления памятью для хранения промежуточных результатов.
Соученый начинает работать после того, как ученый вводит в подсказок цель своего исследования «вместе с предпочтениями, ограничениями эксперимента и другими атрибутами».
Google настаивает на том, что программа выходит за рамки простого обзора литературы, чтобы вместо этого «раскрыть новые, оригинальные знания и сформулировать явно новые исследовательские гипотезы и предложения, основанные на предыдущих доказательствах и адаптированные к конкретным исследовательским целям».
Тестовое измерение времени на стероидах
В адаптации Gemini 2.0 особое внимание уделяется использованию «масштабирования во время тестирования», когда агенты ИИ используют все большее количество вычислительной мощности для итеративного анализа и переформулирования своих результатов.
Масштабирование во время тестирования наиболее ярко проявилось не только в Gemini, но и в модели o1 от OpenAI и DeepSeek AI — всех примерах так называемых моделей рассуждений, которые тратят гораздо больше времени на реакцию на подсказку, генерируя промежуточные результаты.
Соученый по искусственному интеллекту — это своего рода масштабирование времени тестирования на стероидах.
В официальном документе, автором которого является Юрай Готтвайс из Google и который размещен на сервере препринтов arXiv, авторы конкретно описывают свою работу как своего рода усовершенствование того, что было впервые использовано в модели R1 от DeepSeek:
Недавние достижения, такие как модель DeepSeek-R1, еще раз демонстрируют потенциал вычислений во время тестирования, используя обучение с подкреплением для уточнения «цепочки мыслей» модели и улучшения способностей к сложным рассуждениям на более длительных горизонтах. В данной работе мы предлагаем значительное масштабирование парадигмы вычислений во время тестирования с использованием индуктивных смещений, полученных из научного метода, для разработки многоагентной структуры для научного обоснования и генерации гипотез без каких-либо дополнительных методов обучения.
Со-ученый состоит из набора агентов ИИ, которые могут получать доступ к внешним ресурсам, связывать Готтвайса и команду. «Они также оснащены для взаимодействия с внешними инструментами, такими как поисковые системы в Интернете и специализированные модели искусственного интеллекта, через интерфейсы прикладного программирования», — пишут они.
В той области, где масштабирование тестового времени играет наибольшую роль, так это в понятии «турнира», где соученый сравнивает и ранжирует многочисленные гипотезы, которые он сгенерировал. Он делает это с помощью очков «Эло», общей системы измерения, используемой для ранжирования шахматистов и спортсменов.
Как описывают это Готтвайс и его команда, один из агентов, «агент по ранжированию», несет основную ответственность за оценку различных гипотез в своего рода соревновательной манере:
Важной абстракцией в системе соученых является понятие турнира, в котором различные исследовательские предложения оцениваются и ранжируются, что позволяет осуществлять итеративные улучшения. Рейтинговый агент использует и организует турнир на основе Эло для оценки и приоритизации сгенерированных гипотез в любой момент времени. Это включает в себя попарные сравнения, чему способствуют смоделированные научные дебаты, которые позволяют детально оценить относительные достоинства каждого предложения.
Google утверждает, что данные показывают, что все больше и больше вычислений, а также ранжирование и переранжирование, делают гипотезы все более и более эффективными с точки зрения людей-наблюдателей.
Превосходит модели и экспертов без посторонней помощи
По словам пятнадцати экспертов, которые рассмотрели результаты работы соученого, программа становится лучше, поскольку она тратит больше вычислительного времени на формулировку гипотез и их оценку.
Google говорит, что соученый в области искусственного интеллекта превосходит относительное качество неадаптированного Gemini 2.0 по мере увеличения вычислительного бюджета, что приводит к более высоким показателям Эло, как в шахматах и спорте.
«По мере того, как система тратит больше времени на рассуждения и совершенствование, самооценка качества результатов улучшается и превосходит модели и экспертов, не посторонняющих экспертов», — отмечается в документе.
Люди-наблюдатели в целом давали соученому «более высокий потенциал для новизны и влияния и отдавали предпочтение его результатам по сравнению с другими моделями», такими как неадаптированный Gemini 2.0 и модель рассуждений o1 от OpenAI.
Учитывая акцент на масштабировании вычислительных усилий, очень жаль, что Готтвайс и его команда нигде в своем 70-страничном техническом отчете не упоминают, сколько вычислений было использовано для соученного в области искусственного интеллекта.
Тем не менее, гипотеза, которую они разделяют, заключается в том, что быстрое снижение стоимости вычислений, которое демонстрирует DeepSeek R1, должно сделать что-то вроде со-ученого пригодным для использования в исследовательских лабораториях в широком смысле.
«Тенденции с затратами на вычисления времени дистилляции и вывода указывают на то, что такие интеллектуальные и общие системы искусственного интеллекта быстро становятся все более доступными и доступными», — отмечают они.