OpenAI собирает команду экспертов для борьбы с «катастрофическими» рисками ИИ, включая ядерную войну

Команда, получившая название «Подготовленность», надеется предотвратить серьезные сбои в нынешних и будущих моделях ИИ.

Поскольку ИИ продолжает производить революцию в том, как мы взаимодействуем с технологиями, нельзя отрицать, что он окажет невероятное влияние на наше будущее. Также нельзя отрицать, что ИИ несет в себе довольно серьезные риски, если его не остановить.

Войдите в новую команду экспертов, собранную OpenAI.

Созданная для борьбы с так называемыми «катастрофическими» рисками, команда экспертов OpenAI, называемая «Подготовленностью», планирует оценить текущие и будущие прогнозируемые модели ИИ на предмет нескольких факторов риска. К ним относятся индивидуальное убеждение (или сопоставление содержания сообщения с тем, что хочет услышать получатель), общая кибербезопасность, автономное репликация и адаптация (или ИИ, изменяющий себя самостоятельно) и даже угрозы уровня исчезновения, такие как химическая, биологическая , радиологические и ядерные атаки.

Если ИИ, начинающий ядерную войну, кажется немного надуманным, вспомните, что только в начале этого года группа ведущих исследователей ИИ, инженеров и руководителей, в том числе генеральный директор Google DeepMind Демис Хассабис, зловеще предупредила: «Снижение риска исчезновения ИИ должно быть глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерная война».

Как ИИ мог вызвать ядерную войну? В наши дни компьютеры постоянно определяют, когда, где и как происходят военные удары, и ИИ, скорее всего, будет в этом участвовать. Но ИИ склонен к галлюцинациям и не обязательно придерживается той же философии, что и человек. Короче говоря, ИИ может решить, что пришло время для ядерного удара, хотя это не так.

«Мы считаем, что передовые модели ИИ, которые превзойдут возможности, имеющиеся в настоящее время в самых передовых существующих моделях», — говорится в заявлении OpenAI, — «имеют потенциал принести пользу всему человечеству. Но они также создают все более серьезные риски».

По словам OpenAI, чтобы помочь держать ИИ под контролем, команда сосредоточится на трех основных вопросах:

• Насколько опасны передовые системы искусственного интеллекта, которые есть у нас сегодня и которые появятся в будущем, если их целенаправленно неправильно использовать?
• Если веса передовых моделей ИИ были украдены, что именно мог сделать злоумышленник?
• Как можно создать систему мониторинга, оценки, прогнозирования и защиты от опасных возможностей передовых систем искусственного интеллекта?

Эту команду возглавляет Александр Мадри, директор Центра развертываемого машинного обучения Массачусетского технологического института и соруководитель Форума по политике в области искусственного интеллекта Массачусетского технологического института.

Чтобы расширить свои исследования, OpenAI также запустила так называемый «Вызов готовности к искусственному интеллекту» для предотвращения катастрофических злоупотреблений. Компания предлагает до 25 000 долларов США в виде кредитов API для 10 лучших работ, в которых публикуются вероятные, но потенциально катастрофические злоупотребления OpenAI.