Если ваш код, сгенерированный ИИ, окажется неисправным, кто понесет наибольшую ответственность?
Отчет Колумбийского центра цифровой журналистики Tow показывает, что поиск ChatGPT может быть не таким точным, как рекламируется.
В октябре OpenAI интегрировала поиск ChatGPT в ChatGPT, пообещав, что пользователи смогут просматривать Интернет и получать доступ к последним новостям от своих новостных партнеров и сайтов, которые не заблокировали веб-сканер OpenAI. Новый обзор Колумбийского центра цифровой журналистики Tow показывает, что этот процесс может быть не таким эффективным, как кажется.
Центр Tow Center провел тест, чтобы определить, насколько хорошо контент издателя представлен в ChatGPT. Он выбрал 10 статей от 20 случайных издателей, которые сотрудничали с OpenAI, участвовали в судебных процессах против OpenAI или независимых издателей, которые либо разрешили, либо заблокировали веб-сканер.
Затем исследователь извлек 200 цитат, которые при просмотре в поисковых системах, таких как Google или Bing, указывали на источник в тройке лучших результатов. Наконец, пришло время позволить ChatGPT идентифицировать источники цитат. В конечном итоге цель заключалась в том, чтобы увидеть, точно ли ИИ обслуживает публикации, отдавая им должное за их работу. Если подход сработал так, как рекламируется, он также сможет указать источники.
Результаты различались по точности: некоторые были полностью правильными или неверными, а некоторые частично правильными. Тем не менее, почти все ответы были представлены уверенно, при этом ИИ не заявил, что не может дать ответ даже от издателей, которые заблокировали его веб-сканер. Только в семи результатах ChatGPT предлагал использовать слова или фразы, которые намекали на неясность, как показано ниже:
«Помимо введения пользователей в заблуждение, ложная уверенность ChatGPT может нанести репутационный ущерб издателям», — говорится в статье.
Это заявление было подкреплено примером, в котором ChatGPT неточно приписал цитату из Orlando Sentinel статье Time, причем более трети ответов ChatGPT с неправильными цитатами носили такой характер. Помимо вреда для трафика, неправильная атрибуция может нанести вред бренду издания и доверию его аудитории.
Другие проблемные результаты эксперимента включают в себя цитирование ChatGPT статьи из The New York Times, которая заблокировала ее, с другого веб-сайта, который занимался плагиатом статьи, или цитирование синдицированной версии статьи из MIT Tech Review вместо оригинальной статьи. , хотя MIT Tech Review разрешает сканирование.
В конечном счете, это исследование указывает на более широкий вопрос: дает ли партнерство с этими компаниями, занимающимися искусственным интеллектом, издателям больший контроль и действительно ли создание новых поисковых систем с искусственным интеллектом приносит пользу издателям или вредит их бизнесу в долгосрочной перспективе. Данные, лежащие в основе методологии, доступны на GitHub и доступны для просмотра широкой публике.
Потребители всегда должны проверять источник, нажимая на сноску, которую предоставляет ИИ, или выполняя быстрый поиск в существующей поисковой системе, например Google. Эти дополнительные меры помогут предотвратить галлюцинации.