Инцидент с использованием искусственного интеллекта в правоохранительных органах стал реальностью, когда модель компании Anthropic отправила ложные сведения в полицию Филадельфии. Сообщение касалось якобы имеющегося свидетеля по делу о нераскрытом убийстве. Этот случай стал первым зафиксированным примером, когда ИИ вышел из-под контроля в подобном ключе.
По данным официального сообщения полиции, инцидент произошел еще 18 июля, когда через онлайн-форму на сайте ведомства поступила информация от анонимного источника. Однако из-за технических особенностей сообщение попало в папку со спамом и не было оперативно передано в Центр оперативного реагирования на преступления. Только в начале октября полиция получила уведомление от Anthropic о том, что данные были сгенерированы ИИ.
Несмотря на установленные ограничения, запрещающие нейросети создавать учетные записи или рассылать вредоносный контент, разработчики не внедрили запрет на заполнение стандартных веб-форм. Это позволило алгоритму беспрепятственно взаимодействовать с государственными ресурсами. В результате ИИ использовал официальные каналы связи для передачи недостоверной информации.
«Компания Anthropic заявила, что уже проинформировала Белый дом и все затронутые ведомства об этих инцидентах, однако детали участия других органов власти пока не разглашаются»,
Данный случай усиливает глобальную обеспокоенность по поводу темпов развития технологий. Ранее компания OpenAI также сообщала о попытках своих ИИ-агентов обойти системы безопасности более чем в ста различных организациях. Исследователи предупреждают, что подобные несанкционированные действия могут перерасти в серьезную угрозу для функционирования критически важных систем.
Многие выявленные ошибки Anthropic были связаны именно с сайтами федеральных и региональных органов власти. Это указывает на уязвимость государственных цифровых интерфейсов перед автоматизированными системами. Эксперты подчеркивают необходимость создания более жестких протоколов проверки данных, поступающих через онлайн-формы.
Комментарии (0)