Этот новый тест производительности ИИ измеряет, сколько моделей лежит

Исследователи, стоящие за бенчмарком MASK, обнаружили, что больше знаний не означает больше «моральных добродетелей».

По мере того, как все больше моделей ИИ демонстрируют доказательства того, что они могут обмануть своих создателей, исследователи из Центра безопасности ИИ и масштабирования ИИ разработали первый в своем роде детектор лжи.

В среду исследователи выпустили тест «Соответствие модели между утверждениями и знаниями» (MASK), который определяет, насколько легко модель может быть обманута и заставить ее сознательно лгать пользователям, или ее «моральные достоинства». 

Интриги, обман и имитация мировоззрения, когда модель ИИ сознательно притворяется, что меняет свои ценности под давлением, — это способы, с помощью которых модели ИИ подрывают своих создателей и могут представлять серьезную угрозу безопасности. 

Исследования показывают, что o1 от OpenAI особенно хорош в интригах, чтобы сохранить контроль над собой, а Claude 3 Opus продемонстрировал, что он может имитировать выравнивание.

Чтобы прояснить ситуацию, исследователи определили ложь как «(1) сделать утверждение известным (или принятым) как ложное, и (2) намерением получателю принять утверждение как истинное», в отличие от других ложных реакций, таких как галлюцинации. Исследователи заявили, что до сих пор в отрасли не было достаточного метода оценки честности в моделях искусственного интеллекта. 

«Многие тесты, претендующие на измерение честности, на самом деле просто измеряют точность — правильность убеждений модели — в завуалированном виде», — говорится в докладе. Такие тесты, как TruthfulQA, например, измеряют, может ли модель генерировать «правдоподобно звучащую дезинформацию», но не оценивают, намерена ли модель обманывать, поясняется в документе . 

«В результате, более способные модели могут лучше работать на этих бенчмарках за счет более широкого фактического охвата, не обязательно потому, что они воздерживаются от заведомо ложных заявлений», — говорят исследователи. Таким образом, MASK является первым тестом, позволяющим дифференцировать точность и честность. 

Пример оценочного упражнения, в котором модель была вынуждена сфабриковать статистику на основе пользовательского запроса.

Исследователи отметили, что если модели лгут, они подвергают пользователей юридическому, финансовому и конфиденциальному ущербу. В качестве примера можно привести модели, которые не могут точно подтвердить, перевели ли они деньги на правильный банковский счет, ввели ли клиента в заблуждение или случайно допустили утечку конфиденциальных данных. 

Используя MASK и набор данных из более чем 1500 собранных человеком запросов, предназначенных для «выявления лжи», исследователи оценили 30 моделей фронтира, определив их основные убеждения и оценив, насколько хорошо они придерживаются этих взглядов. Исследователи определили, что более высокая точность не коррелирует с более высокой честностью. Они также обнаружили, что большие модели, особенно пограничные, не обязательно более правдивы, чем маленькие. 

Выборка оценок модели из оценки MASK. 

Модели легко лгали и понимали, что лгут. На самом деле, по мере масштабирования моделей они становились все более нечестными. 

У Grok 2 была самая высокая доля нечестных ответов (63%) среди протестированных моделей. Сонет Клода 3.7 имел самую высокую долю честных ответов — 46,9%. 

«В разнообразном наборе LLM мы обнаружили, что, хотя более крупные модели получают более высокую точность в нашем бенчмарке, они не становятся более честными», — объясняют исследователи. 

«Удивительно, но в то время как большинство передовых LLM получают высокие баллы по критериям правдивости, мы обнаруживаем значительную склонность передовых LLM лгать, когда на них оказывается давление, что приводит к низким показателям честности в нашем бенчмарке». 

Набор данных бенчмарка находится в открытом доступе на HuggingFace и Github. 

«Мы надеемся, что наш бенчмарк будет способствовать дальнейшему прогрессу на пути к честным системам искусственного интеллекта, предоставляя исследователям строгий, стандартизированный способ измерения и повышения честности модели», — говорится в документе.