радиоAnthropic сообщила о трех «побегах» Claude из тестовой среды
Модель Claude трижды вышла за пределы тестовой среды и получила доступ к реальным системам, сообщила Anthropic. Неделей ранее OpenAI рассказала о похожем случае, назвав его «беспрецедентным киберинцидентом»
Фото: Primakov / Shutterstock
«Нам, в принципе, переживать не стоит, потому что к нашим файлам и системам и так имеют доступ производители программного обеспечения, которое мы используем, в том числе разработчики нейросетей. Если вы устанавливаете приложение ИИ-компании, вы сами предоставляете ему доступ. Поэтому взламывать ничего не нужно», — рассказал в эфире Радио РБК гендиректор компании «Зекурион» Алексей Раевский.
Обе модели тестировали на способность находить уязвимости и взламывать системы. Однако во время испытаний они вышли за пределы заданных конфигураций из-за недостаточно защищенной тестовой инфраструктуры. Гендиректор сервиса DeepBrain и автор телеграм-канала AI Happens Алексей Хохунов считает произошедшее сигналом для рынка: используемые библиотеки остаются недостаточно безопасными, а среды для тестирования ИИ-агентов необходимо усложнять и лучше защищать.
В отрасли существует и другая версия. Гендиректор Phishman Алексей Горелкин допускает, что громкие кейсы могут быть частью подготовки OpenAI и Anthropic к IPO: инвесторам важно показать, что модели способны выполнять задачи автономно. В Anthropic узнали об инциденте с моделью OpenAI 22 июля, после чего проверили собственные журналы и обнаружили три подобных случая. Самый ранний из них произошел в апреле.
