Сингапур заявляет о необходимости прозрачности ИИ при запуске тестового инструментария
Новая пилотная структура и инструментарий позволят предприятиям продемонстрировать свое «объективное и поддающееся проверке» использование искусственного интеллекта, заявляет правительство Сингапура, которое надеется повысить прозрачность развертывания ИИ с помощью технических и технологических проверок.
Предприятия в Сингапуре теперь смогут использовать систему тестирования и набор инструментов для государственного управления, чтобы продемонстрировать свое «объективное и поддающееся проверке» использование искусственного интеллекта (ИИ). Этот шаг является частью усилий правительства по повышению прозрачности развертывания ИИ с помощью технических и технологических проверок.
Новый инструментарий, получивший название A.I. Verify, был разработан Управлением по развитию инфокоммуникационных средств массовой информации (IMDA) и Комиссией по защите персональных данных (PDPC), которая управляет Законом страны о защите персональных данных.
Правительственные учреждения подчеркнули необходимость того, чтобы потребители знали, что системы ИИ являются «справедливыми, объяснимыми и безопасными», поскольку все больше продуктов и услуг встраиваются в ИИ для обеспечения более персонализированного пользовательского опыта или принятия решений без вмешательства человека. Они также должны быть уверены в том, что организации, которые внедряют такие предложения, подотчетны и прозрачны.
Сингапур уже опубликовал добровольные рамки и рекомендации по управлению ИИ, а его Модель управления ИИ в настоящее время находится на второй итерации.
A.I Verify теперь позволит участникам рынка продемонстрировать заинтересованным сторонам свое внедрение ответственного ИИ с помощью стандартизированных тестов. Новый инструментарий в настоящее время доступен в виде минимально жизнеспособного продукта, который предлагает «ровно столько» функций, чтобы ранние последователи могли протестировать их и предоставить отзывы для дальнейшей разработки продукта.
В частности, он обеспечивает техническое тестирование по трем принципам «справедливости, объяснимости и надежности», упаковывая часто используемые библиотеки с открытым исходным кодом в один набор инструментов для самостоятельной оценки. К ним относятся SHAP (SHapley Additive exPlanations) для объяснимости, Adversarial Robustness Toolkit для состязательной надежности, а также AIF360 и Fairlearn для тестирования на справедливость.
Пилотный инструментарий также генерирует отчеты для разработчиков, руководства и бизнес-партнеров, охватывающие ключевые области, влияющие на производительность ИИ, проверяя модель ИИ на соответствие заявленным характеристикам.
Например, продукт на основе искусственного интеллекта будет протестирован на предмет того, как модель пришла к решению и несет ли прогнозируемое решение непреднамеренную предвзятость. Система ИИ также может быть оценена с точки зрения ее безопасности и устойчивости.
В настоящее время набор инструментов работает с некоторыми распространенными моделями искусственного интеллекта, такими как алгоритмы двоичной классификации и регрессии из общих фреймворков, включая scikit-learn, Tensorflow и XGBoost.
IMDA добавила, что тестовая среда и инструментарий позволят разработчикам систем искусственного интеллекта проводить самотестирование не только для поддержания коммерческих требований продукта, но и предложат общую платформу для демонстрации результатов этих тестов.
Вместо того, чтобы определять этические стандарты, A.I. Verify был направлен на проверку утверждений, сделанных разработчиками систем ИИ об использовании ими ИИ, а также о производительности их продуктов ИИ
Тем не менее, набор инструментов не обеспечит гарантии того, что тестируемая система ИИ свободна от предвзятости или рисков безопасности, подчеркнули в IMDA.
Тем не менее, это может способствовать совместимости структур управления ИИ и может помочь организациям заполнить пробелы между такими структурами и правилами, говорится в сообщении правительственного агентства Сингапура.
Компания добавила, что работает с организациями по регулированию и стандартизации, чтобы сопоставить A.I. Verify с установленными фреймворками искусственного интеллекта, чтобы предприятия могли предлагать продукты и услуги на основе искусственного интеллекта на различных мировых рынках. Министерство торговли США входит в число агентств, с которыми Сингапур работает над обеспечением совместимости между их системами управления ИИ.
По данным IMDA, 10 организаций уже протестировали и предложили свои отзывы о новом наборе инструментов, в том числе Google, Meta, Microsoft, Singapore Airlines и Standard Chartered Bank.
IMDA добавила, что A.I. Verify соответствует глобально признанным принципам и рекомендациям по этике ИИ, в том числе в Европе и ОЭСР, которые охватывают такие ключевые области, как повторяемость, надежность, справедливость, а также социальное и экологическое благополучие. Структура также использовала режимы тестирования и сертификации, которые включали такие компоненты, как кибербезопасность и управление данными.
Сингапур будет стремиться продолжить разработку A.I. Verify для включения в него международных стандартов управления искусственным интеллектом и отраслевых ориентиров, говорится в сообщении IMDA. Кроме того, постепенно будут добавляться новые функциональные возможности с учетом вклада отрасли и обратной связи.
В феврале азиатская страна также выпустила набор программных инструментов, чтобы помочь финансовым учреждениям убедиться в ответственном использовании ИИ, а также пять технических документов, которые помогут этим компаниям оценить свое развертывание на основе заранее определенных принципов. Отраслевой регулятор Денежно-кредитное управление Сингапура (MAS) заявило, что в документах подробно изложены методологии для включения принципов FEAT — справедливости, этики, подотчетности и прозрачности — в использование искусственного интеллекта в секторе финансовых услуг.