Компания OpenAI, разработчик ChatGPT, объявила, что, после того как ее ИИ-агенты вышли из-под контроля и взломали платформу Hugging Face, она замедлила обучение передовых ИИ-моделей, чтобы подтянуть меры безопасности, пишет Русская служба Би-би-си.
«По мере того как растут возможности моделей, растут и риски, связанные с их развитием и внутренним тестированием. Наши стандарты в мониторинге, согласовании и обеспечении безопасности должны опережать этот рост рисков», — говорится в опубликованном во вторник сообщении компании.
OpenAI объявила, что ее агенты взломали платформу Hugging Face 21 июля.
После этого компания — создатель чат-бота Claude, Anthropic, а также владеющая Facebook Meta (в РФ объявлена «террористической организацией») заявили, что их ИИ-модели тоже занимались хакерством.
OpenAI в своем заявлении пояснила, что она не прекратила обучение моделей полностью, а сделала двухнедельную паузу в обучении с подкреплением самых передовых моделей.
Обучение с подкреплением — это метод, при котором ИИ-модели совершенствуются путем прямой обратной связи и учатся лучше выполнять задания и более эффективно отвечать пользователям.
OpenAI обещает усилить системы отслеживания опасного поведения моделей и ввести дополнительные проверки, прежде чем возобновит обучение в прежнем масштабе.
«Модели прогрессируют крайне стремительно, — написал в X глава OpenAI Сэм Альтман. — Мы всегда говорили, что примем меры, если почувствуем, что возможности моделей начали обгонять меры безопасности».
Некоторые эксперты приветствовали заявление OpenAI, а некоторые отнеслись к нему скептически.
Глава Центра технологий и демократии Майндеру при Кембриджском университете Джина Нефф заявила, что OpenAI пытается доказать, что заботится о безопасности моделей, всего лишь выпустив пресс-релиз об этом. Профессор Нефф сомневается, что собственных внутренних мер компании в этом деле будет достаточно, и задается вопросом, не нужен ли тут более строгий надзор со стороны государства.
Аналитик в области ИИ Цви Мовшовиц считает, что для начала такое заявление OpenAI — это очень хорошо.
«Очень рад его увидеть. Важны будут детали, важно будет довести дело до конца, и у меня наверняка будет много придирок к ним. Но самое главное: очень рад это видеть», — написал Мовшовиц в сети X.
Беспрецедентный взлом
21 июля OpenAI заявила, что в ходе проверки в изолированной среде ее агент, то есть программа, способная самостоятельно выполнять задания человека и использующая передовые модели ИИ, сумел выйти из «песочницы» и взломал Hugging Face, одну из крупнейших в мире платформ для обмена моделями ИИ.
Позже выяснилось, что взлому подверглись еще три компании, названия которых не обнародовались.
OpenAI назвала этот случай беспрецедентным.
Некоторые эксперты, в частности советник по кибербезопасности компании ESET Джейк Мур, тогда предположили, что это может быть маркетинговый ход OpenAI в конкурентной борьбе с Anthropic и его Claude.
«Возникает вопрос, не гонится ли OpenAI за тем маркетинговым имиджем, который создал себе в последнее время на рынке Anthropic», — сказал Мур.