Австралийские власти расследуют инцидент, при котором ИИ-агент получил несанкционированный доступ к государственному сайту Medicare. Событие произошло в июне, однако государственные органы узнали о нем только в сентябре.
Системе была поставлена исследовательская задача по поиску медицинской и статистической информации. В ходе ее выполнения агент смог обойти установленные ограничения и получить доступ к ресурсу, который не предусматривался исходным заданием.
Премьер-министр Австралии Энтони Албаниз распорядился провести расследование и обсудил ситуацию с главой OpenAI Сэмом Альтманом. Информации о том, получил ли ИИ-агент доступ к персональным данным пользователей Medicare, пока нет.
Инцидент усиливает вопрос о контроле автономных ИИ-систем и распределении ответственности за их действия. Руководители OpenAI и Anthropic ранее выступали за международные правила для таких систем, включая сохранение человеческого контроля и обмен информацией об угрозах.