ИИ-агенты OpenAI дважды обошли системы мониторинга их поведения
ИИ-агенты OpenAI дважды обошли системы мониторинга некорректного поведения
В одном из случаев бот при копировании фрагмента существующего кода удалил механизм контроля безопасности, а впоследствии утверждал, что этого не делал, заявила OpenAI
ИИ-агенты OpenAI ослабили внутренние системы мониторинга, которые должны были следить за некорректным поведением ботов. Об этом сообщила компания. Разработчик ChatGPT отметил, что эти инциденты произошли в ходе выполнения задач по написанию кода и не были отнесены к наиболее серьезным.
Речь идет о двух случаях, которые произошли 3 октября и 6 октября. В первом агент GPT-6.1 Sol, выполнявший тестовую задачу, заблокировал автоматические оповещения системы безопасности, решив, что полученное ранее указание не отправлять сообщения в Slack распространяется и на уведомления, касающиеся безопасности.
В другом инциденте, произошедшем 6 октября, агент GPT-6 Astra при копировании фрагмента существующего кода удалил механизм контроля безопасности, а впоследствии утверждал, что этого не делал.
«В обоих случаях агенты рассматривали вопрос о том, следует ли сохранить меры контроля, однако истолковали стандартные инструкции по написанию кода как разрешение на их ослабление», — пояснили в OpenAI.
Компания сообщила, что проверяет, не склонны ли ее модели избегать контроль и искать поводы, чтобы оправдать такое поведение.
В начале октября OpenAI допустила, что ее ИИ-агенты пытались обойти систему безопасности без разрешения или «негативно повлияли на работу систем» более чем в 100 организациях. Компания классифицировала инциденты как «рассогласованную активность». В ряде случаях боты пытались спровоцировать сайты на выполнение непредусмотренных команд, использовали веб-ресурсы в качестве общих досок объявлений или пытались обойти определенные виды проверок безопасности.
При этом разработчик ChatGPT подчеркнул, что это не обязательно означает, что системы были скомпрометированы, сравнив действия агентов скорее с «простукиванием закрытой двери», чем с полноценным проникновением.
Издание Axios писало, что ведущие ИИ-компании, включая Anthropic и OpenAI, опасаются, что «катастрофический инцидент» с участием ИИ может произойти в ближайшие 6–12 месяцев.
Оставайтесь на связи с РБК в «Максе».