Полиция использует ИИ для составления отчетов о преступлениях. Что может пойти не так?

Проект Axon's Draft One призван сэкономить время офицеров, но могут ли технологии, вызывающие галлюцинации, улучшить работу полиции?

Несмотря на документально подтвержденные риски, некоторые полицейские управления США тестируют чат-ботов с искусственным интеллектом (ИИ), которые составляют отчеты о преступлениях в качестве решения, позволяющего сэкономить время. Что может пойти не так?

По данным Associated Press (AP), полицейские Оклахома-Сити стали использовать чат-ботов с искусственным интеллектом для написания «первых черновиков» отчетов о преступлениях и происшествиях с использованием звука нательной камеры. Сержант полиции. Мэтт Гилмор использовал чат-бота с искусственным интеллектом под названием Draft One, чтобы помочь написать отчет об инциденте после того, как неудачный поиск подозреваемого был зафиксирован на его нательной камере, которая записывала «каждое слово и лай [полицейской собаки]». Звук был помещен в инструмент искусственного интеллекта, который «составил отчет за восемь секунд».

В Draft One используется модель OpenAI GPT-4, которая поддерживает ChatGPT, для анализа и обобщения звука с нательных камер. Axon, разработчик технологий и оружия для военных, правоохранительных органов и гражданских лиц, запустил этот продукт в начале этого года как «немедленное решение». «множитель силы» и экономия времени для отделов, согласно релизу.

Известно, что ChatGPT галлюцинирует, но представители Axon говорят, что они это объяснили. Ной Спитцер-Уильямс, старший менеджер по продукту Axon, сообщил AP, что Draft One снижает «шкалу творческого подхода» ChatGPT, чтобы он «не приукрашивал и не вызывал галлюцинаций так, как если бы вы просто использовали ChatGPT на своем сайте». собственный."

По совету прокуроров полицейское управление Оклахома-Сити использует Draft One исключительно для «незначительных» инцидентов - никаких уголовных преступлений или насильственных преступлений. Отчеты, которые он создает, не приводят к арестам. Но другие полицейские управления, в том числе в Форт-Коллинзе, штат Колорадо, и Лафайете, штат Индиана, уже внедрили эту технологию в качестве основной помощи при написании отчетов по всем делам. Один из начальников полиции сообщил агентству AP, что «это пользуется невероятной популярностью».

Однако у некоторых экспертов есть опасения. Ученый-правовед Эндрю Фергюсон рассказал агентству AP, что он «обеспокоен тем, что автоматизация и простота технологии заставят полицейских быть менее осторожными в написании».

Его нерешительность по поводу внедрения ИИ в полицейских управлениях для оптимизации рабочих процессов говорит о глобальных проблемах, связанных с использованием систем ИИ для автоматизации определенных рабочих процессов. Существует множество примеров того, как инструменты на базе искусственного интеллекта ухудшают системную дискриминацию. Например, исследования показывают, что работодатели используют инструменты на основе искусственного интеллекта для автоматизации процессов найма «без активных мер по их смягчению, что [приводит] к предвзятости, возникающей в инструментах прогнозного найма по умолчанию».

В выпуске Axon сообщает, что Draft One «включает в себя ряд важных мер безопасности, требующих, чтобы каждый отчет был рассмотрен и одобрен сотрудником, гарантирующим точность и подотчетность информации перед отправкой отчетов». Конечно, это оставляет место для человеческих ошибок и предвзятости, которые уже являются давно известными проблемами в работе полиции.

Более того, исследователи-лингвисты обнаружили, что большие языковые модели (LLM), такие как GPT-4, «воплощают в себе скрытый расизм» и не могут быть обучены противостоять расолингвистическим стереотипам в отношении маргинальных языков, таких как афроамериканский английский (AAE). По сути, LLM могут увековечить диалектные предрассудки, когда обнаруживают такие языки, как AAE.

Редактор журнала Logic(s) Эдвард Онгвесо-младший и профессор информационных технологий Джатан Садовски также раскритиковали автоматизированные отчеты о преступлениях в подкасте This Machine Kills, отметив, что расовые предубеждения, возникшие на основе западноцентричных данных обучения и самих нательных камер, могут нанести вред маргинализированным людям.

Отвечая на вопрос, как Axon компенсирует эти опасения, директор по стратегическим коммуникациям Виктория Кио подтвердила важность человеческого анализа. В электронном письме ZDNET она отметила, что «полицейские отчеты по-прежнему остаются обязанностью офицеров» и что «Axon тщательно тестирует наши продукты с поддержкой искусственного интеллекта и придерживается ряда руководящих принципов, гарантирующих, что мы ответственно подходим к инновациям».

Компания провела два внутренних исследования, используя 382 образца отчетов специально для тестирования на расовую предвзятость. Они оценили три измерения — последовательность, полноту и серьезность выбора слов — чтобы выявить любые расовые предубеждения, которые могут возникнуть, а также выдать ли чат-боты формулировки или повествования, которые отличаются от «исходной расшифровки». Исследования не обнаружили «статистически значимой разницы» между отчетами «Первого проекта» и стенограммами.

В то время как Draft One интерпретирует только аудио, Axon также протестировал использование компьютерного зрения для обобщения видеоматериалов. Однако генеральный директор Axon Рик Смит заявил, что «учитывая всю щепетильность в отношении полицейской деятельности, расы и других личностей вовлеченных людей, я думаю, что это та область, в которой нам придется проделать настоящую работу, прежде чем мы представим ее».

Axon, чья цель — сократить количество смертей среди полицейских и гражданских лиц от огнестрельного оружия на 50%, также производит нательные камеры, которые призваны улучшить работу полиции с помощью объективных доказательств. Однако, согласно базе данных о перестрелках в полиции Washington Post, с 2020 года полиция убивает больше людей каждый год, несмотря на массовое внедрение нательных камер во всех полицейских управлениях США.

Еще неизвестно, примут ли другие департаменты такие инструменты, как Draft One, и как они повлияют на общественную безопасность.