ChatGPT лжет о научных результатах и нуждается в альтернативах с открытым исходным кодом, говорят исследователи

Прозрачность кода необходима для борьбы со многими опасностями, связанными с вводящей в заблуждение информацией.

Согласно исследованию, опубликованному на этой неделе в престижном журнале Nature , чрезвычайно популярная программа генерации текста ChatGPT от OpenAI способна распространять многочисленные ошибки в научных исследованиях, вызывая необходимость в альтернативах с открытым исходным кодом, функционирование которых можно тщательно изучить. .

«В настоящее время почти все современные технологии диалогового искусственного интеллекта являются запатентованными продуктами небольшого числа крупных технологических компаний, у которых есть ресурсы для технологий искусственного интеллекта», — пишет ведущий автор Ева А.М. ван Дис, постдокторант-исследователь и психолог из Амстердама. UMC, факультет психиатрии Амстердамского университета, Нидерланды, и несколько соавторов.

В результате ложности программ, продолжают они, «одной из самых актуальных проблем для исследовательского сообщества является отсутствие прозрачности».

«Чтобы противостоять этой непрозрачности, сейчас приоритетом должно стать развитие ИИ с открытым исходным кодом».

OpenAI, стартап из Сан-Франциско, разработавший ChatGPT и финансируемый Microsoft, не опубликовал исходный код ChatGPT. Большие языковые модели, класс генеративного ИИ, который предшествовал ChatGPT, в частности GPT-3 от OpenAI, представленный в 2020 году, также не имеют исходного кода.

Многочисленные большие языковые модели, выпущенные различными корпорациями, не предлагают для скачивания исходный код.

В статье Nature под названием «ChatGPT: пять приоритетов исследований» авторы пишут, что существует очень большая опасность того, что «использование диалогового ИИ для специализированных исследований может привести к неточностям, предвзятости и плагиату». », добавив, что «Исследователи, использующие ChatGPT, рискуют быть введенными в заблуждение ложной или предвзятой информацией и включать ее в свои мысли и статьи».

Авторы приводят собственный опыт использования ChatGPT с «серией вопросов и заданий, требующих глубокого понимания литературы» по психиатрии.

Они обнаружили, что ChatGPT «часто генерирует ложный и вводящий в заблуждение текст».

«Например, когда мы спросили: «У скольких пациентов с депрессией возникает рецидив после лечения?», это привело к слишком общему тексту, в котором утверждалось, что эффект лечения обычно длится долго. Однако многочисленные высококачественные исследования показывают, что эффект лечения ослабевает и что риск рецидива колеблется от 29% до 51% в первый год после завершения лечения».

Авторы не выступают за отказ от больших языковых моделей. Скорее, они предлагают «сосредоточиться на использовании возможностей и управлении рисками».

Они предлагают ряд мер по управлению этими рисками, в том числе множество способов держать «людей в курсе», выражаясь языком исследований ИИ. Это включает в себя издателей, которые должны «принять четкую политику, которая повышает осведомленность и требует прозрачности использования диалогового искусственного интеллекта при подготовке всех материалов, которые могут стать частью публикуемой записи».

Но людей, участвующих в этом процессе, недостаточно, предполагают ван Дис и его коллеги. Они пишут, что распространение больших языковых моделей с закрытым исходным кодом представляет собой опасность. «Базовые обучающие наборы и LLM для ChatGPT и его предшественников не являются общедоступными, и технологические компании могут скрывать внутреннюю работу своих диалоговых ИИ».

Субъектам за пределами частного сектора необходимы серьезные усилия, чтобы продвигать открытый исходный код в качестве альтернативы:

Чтобы противостоять этой непрозрачности, приоритетом должна стать разработка и внедрение технологии искусственного интеллекта с открытым исходным кодом. Некоммерческим организациям, таким как университеты, обычно не хватает вычислительных и финансовых ресурсов, необходимых для того, чтобы идти в ногу с быстрыми темпами развития LLM. Поэтому мы выступаем за то, чтобы организации, финансирующие науку, университеты, неправительственные организации (НПО), правительственные исследовательские центры и такие организации, как Организация Объединенных Наций, а также технологические гиганты, делали значительные инвестиции в независимые некоммерческие проекты. Это поможет разработать передовые, прозрачные и демократически контролируемые технологии искусственного интеллекта с открытым исходным кодом.

В статье не задается вопрос: сможет ли модель с открытым исходным кодом решить пресловутую проблему «черного ящика» искусственного интеллекта. Точный способ функционирования глубоких нейронных сетей с многочисленными уровнями настраиваемых параметров или весов остается загадкой даже для практиков глубокого обучения. Таким образом, любые цели прозрачности должны будут указывать, что можно будет узнать, открыв исходный код модели и ее источников данных.