Премьер-министр Австралии Энтони Альбанезе, находящийся в Нью-Йорке на Генассамблее ООН, сообщил, что ИИ-агент, разработанный американской компанией OpenAI, взломал правительственный портал, содержащий закрытые данные австралийской системы всеобщего медицинского страхования. Инцидент произошел еще в июне, но сначала компания-разработчик этого не заметила, а затем медлила с уведомлением австралийских властей. Как такое стало возможно и можно ли говорить о том, что ИИ угрожает национальной безопасности, разбиралась Би-би-си.
OpenAI заявляет, что в июне ее ИИ-агент занимался поиском статистики в области здравоохранения, в ходе чего получил доступ к файлам «нескольких австралийских правительственных сайтов и сервисов». Среди них были и не находившиеся в открытом доступе данные государственной системы медицинского страхования Medicare.
Компания утверждает, что узнала об инциденте только в августе и 10 сентября уведомила государственное ведомство Services Australia, отправив письмо на его общий электронный адрес.
После этого была уведомлена служба кибербезопасности Австралии, а еще через несколько дней информацию передали ответственному министру.
Это один из первых в мире случаев, когда стало публично известно о том, что ИИ-агент получил доступ к государственным данным.
Эксперты по кибербезопасности заявляют, что произошедшее должно стать тревожным сигналом для всего мира.
Реакция Австралии
Энтони Альбанезе рассказал об этом на проходящей в Нью-Йорке Генеральной Ассамблее ООН.
По его словам, ИИ-агент не получил доступа к конфиденциальным файлам, однако сам инцидент он назвал тревожным, а действия OpenAI — неприемлемыми.
«Эта ситуация, безусловно, неприемлема», — заявил он.
«Сегодня я поговорил с генеральным директором OpenAI Сэмом Альтманом и выразил крайнюю обеспокоенность Австралии этим инцидентом. Я также выразил разочарование тем, что компании потребовалось слишком много времени, чтобы сообщить правительству о случившемся. То, каким образом было сделано это уведомление, также было неприемлемо», — сказал австралийский премьер.
Вот что известно о хронологии событий:
- 18 июня — ИИ-агент OpenAI получил доступ как к общедоступной, так и к закрытой информации на австралийском сайте.
- Август (точная дата неизвестна) — OpenAI заявила, что узнала о возможном взломе в ходе более масштабной проверки случаев «несогласованного поведения моделей».
- 10 сентября — письмо от OpenAI поступило на общий электронный адрес Services Australia — федерального ведомства, отвечающего за предоставление государственных услуг. В нем компания сообщила об инциденте.
- 15 сентября — Services Australia передала информацию в Австралийский центр кибербезопасности. Через несколько дней об инциденте уведомили министра государственной службы Кэти Галлахер.
- 19−20 сентября — офис премьер-министра Энтони Альбанезе проинформировали об инциденте в выходные, незадолго до его вылета в Нью-Йорк на Генеральную Ассамблею ООН.
- 23 сентября — находясь в Нью-Йорке, премьер-министр публично сообщил о взломе.
Правительство Австралии объявило о срочном пересмотре подходов к регулированию искусственного интеллекта после инцидента с системой Medicare.
В заявлении правительства говорится, что в рамках проверки предстоит выяснить, насколько действующее законодательство и система регулирования «соответствуют своему назначению и позволяют готовиться к киберинцидентам с участием ИИ и реагировать на них».
Проверку возглавит Департамент премьер-министра и кабинета министров. В ее рамках также будет изучен порядок обмена информацией с компаниями, работающими в сфере искусственного интеллекта, и другими странами Содружества.
Как говорится в заявлении, результаты проверки будут использованы правительством Австралии в дальнейшей работе над регулированием искусственного интеллекта.
Реакция OpenAI
Хотя экспертам уже известны случаи, когда ИИ-агенты «ведут себя не так, как предполагалось», как, например, с недавним взломом ИИ-агентами платформы Hugging Face, это первый известный случай, когда агент самостоятельно вышел за рамки поставленной задачи, пытаясь получить доступ к закрытым государственным данным.
В своем заявлении OpenAI сообщила, что инцидент был выявлен в ходе «масштабной проверки» случаев «несогласованного поведения моделей».
«В ходе этой проверки мы выявили активность, связанную с несколькими австралийскими правительственными сайтами и сервисами: во время внутреннего тестирования наши модели пытались найти ответы и доступные статистические данные по вопросам, касающимся Австралии. В процессе они совершили действия, которых мы от них не ожидали», — говорится в официальном заявлении OpenAI.
Компания заявила, что не обнаружила свидетельств доступа к данным пациентов, однако уведомила соответствующие организации и сейчас «предоставляет техническую информацию, чтобы помочь их расследованиям и устранению потенциальных уязвимостей в системах безопасности».
«Наша общая проверка продолжается, и мы по-прежнему намерены открыто рассказывать об этих проблемах и делиться информацией, которую получаем по мере дальнейшей работы», — сообщили в OpenAI.
«ИИ-агент перелез через забор»
Сообщение о том, что ИИ-агент проник в государственные системы, вызвало вопросы о надежности защиты хранящейся в них информации.
Ричард Марлз, исполняющий обязанности премьер-министра, пока Альбанезе находится в США, на пресс-конференции в четверг подчеркнул, что в Австралии действуют серьезные меры защиты наиболее чувствительной информации.
«Самую важную информацию, касающуюся национальной безопасности, мы храним за крепостной стеной», — сказал он.
При этом данные, взломанные ИИ-агентом, по словам Марлза, находились «всего лишь за забором».
«ИИ-агент перелез через забор, — заявил Марлз журналистам. — И суть в том, что это произошло непреднамеренно, его об этом не просили».
Однако эксперты не разделяют настроя австралийского политика, делающего шутливые сравнения.
По их мнению, сам факт взлома государственной системы, даже несмотря на то что утекшая информация не относилась к категории чувствительной, — серьезный и очень тревожный инцидент.
Особенно беспокоит специалистов то, что в данном случае защита не только не остановила ИИ-агента, но даже не смогла его обнаружить.
Отдельные вопросы вызывает реакция OpenAI, по поводу которой австралийские власти едва скрывают свое возмущение.
Компании потребовались месяцы, чтобы выявить инцидент. А потом, вместо того чтобы сообщить о нем через официальные правительственные каналы, OpenAI отправила письмо на общий электронный адрес государственного ведомства.
Эксперты по кибербезопасности и искусственному интеллекту, с которыми поговорила Би-би-си, сходятся во мнении, что переписка по электронной почте была довольно «странным» способом сообщить австралийскому правительству о столь серьезном инциденте.
«Более чем странно, что в OpenAI не подумали: возможно, Австралийский центр кибербезопасности, который входит в состав Австралийского управления радиотехнической обороны (ведомства, отвечающего за кибербезопасность. — Прим. ред.), хотел бы узнать об этом как можно раньше», — заявил Би-би-си Роб Николлс, научный сотрудник Сиднейского университета, занимающийся вопросами регулирования ИИ.
При этом Хэммонд Пирс из Института кибербезопасности Университета Нового Южного Уэльса обратил внимание на то, что OpenAI сама сообщила об инциденте.
«С одной стороны, совершенно неприемлемо, что OpenAI несколько месяцев знала об этом и ничего не сообщала, — сказал он в четверг. — Но когда компания все же раскрыла информацию, пусть и весьма бессистемно, а не так, как следовало бы, это, по крайней мере, позволяет надеяться, что она не станет злоупотреблять данными, которые успела собрать. У злоумышленников подобных моральных ограничений не будет».
Реальная угроза человечеству?
Инцидент в Австралии произошел после целой серии кибератак с участием ИИ-агентов в последние недели, которые усилили внимание к темпам развития этой технологии.
OpenAI ранее сообщала, что некоторые из ее передовых моделей ИИ вышли из-под контроля, покинули закрытую тестовую среду и взломали системы нескольких компаний, в том числе платформы ИИ-инструментов Hugging Face.
О похожих случаях сообщали и другие американские компании, включая Anthropic, что усилило опасения по поводу потенциальной угрозы этой технологии для человечества.
Если ИИ-агент уже сейчас смог без особого труда проникнуть в системы и получить доступ к этим данным, не привлекая к себе внимания службы контроля, то к какой информации эта постоянно развивающаяся технология сможет добраться в следующий раз?
Ведущие представители ИИ-индустрии, в том числе глава Anthropic Дарио Амодеи и Сэм Альтман из OpenAI, призывали замедлить темпы развития технологии.
Однако США в лице президента Дональда Трампа выступают против усиления регулирования в ИИ-отрасли.
Трамп жестко критикует призывы усилить меры безопасности и называет опасения по поводу угрозы искусственного интеллекта для человечества обманом и мистификацией.
На этой неделе в своем выступлении в ООН президент США стремился преуменьшить опасения, связанные с ИИ.
Премьер-министр Австралии Энтони Альбанезе, напротив, в своем выступлении на Генассамблее сделал акцент на рисках, связанных с искусственным интеллектом, и дал понять, что Австралия готова противостоять крупнейшим технологическим компаниям.
Что такое ИИ-агент
Это автономная компьютерная программа, использующая искусственный интеллект для выполнения поставленной задачи при минимальном контроле со стороны человека.
В отличие от обычного чат-бота, который отвечает на вопрос за один шаг, агент действует циклически: он анализирует поставленную задачу и самостоятельно предпринимает действия для достижения цели — например, запускает программный код или взаимодействует с приложениями.
Такие компании, как Anthropic, OpenAI и Meta, уже выпустили модели с агентными возможностями.
Разработчики программируют агентов для выполнения самых разных задач — например, для заказа товаров в интернете или записи на прием.
Однако в некоторых случаях заранее неизвестно, каким именно способом агент попытается достичь поставленной цели, что создает риски для кибербезопасности.
Выступая перед журналистами в Брисбене, министр связи Австралии Аника Уэллс заявила, что недавний инцидент с ИИ-агентом OpenAI — пример ситуации, когда «большие технологические компании явно считают, что могут делать все, что им заблагорассудится».
«Мы хотим, чтобы технологические гиганты несли ответственность. Мы хотим, чтобы в этой нерегулируемой отрасли здесь, в Австралии, соблюдались хотя бы базовые стандарты безопасности. Именно этого я буду добиваться, когда в октябре представлю законопроект о цифровой обязанности проявлять должную осмотрительность», — заявила австралийский политик.