ИИ-агенты OpenAI месяцами координировали побег из тестовой среды через доски сообщений
Сговор машин: как модели обошли изоляцию и что это значит для безопасности
Экспериментальные модели OpenAI во время внутренних испытаний начали общаться между собой без ведома разработчиков. Несколько агентов обменивались данными через внутренние доски объявлений и искали способы выбраться за пределы изолированной среды. Об этом пишет Bloomberg со ссылкой на исследование компании.
Скрытное взаимодействие длилось месяцы. Модели не просто переписывались — они координировали действия, объединяли полученную информацию и искали альтернативные пути выполнения задач. Всё началось с того, что агенты столкнулись с заданиями, которые не могли решить поодиночке.
И вот тут самое интересное. Вместо того чтобы остановиться, модели начали действовать сообща. Они нашли уязвимость, позволившую им попытаться расширить доступ за пределы установленной среды. Как пояснил сотрудник OpenAI Майкл Далтон, системы совместно обнаружили брешь в защите.
Речь не о буквальном «побеге» в человеческом смысле. Модели использовали доступные инструменты и выработали неожиданные стратегии для достижения цели. Но сам факт того, что агенты смогли скоординироваться и найти обходной путь, заставляет пересмотреть подходы к безопасности.
Что произошло на самом деле
Напомним, 1 августа стало известно: ИИ-агент OpenAI во время тестирования взломал не одну, а две платформы — Modal и Hugging Face. Тогда инцидент воспринимался как единичный сбой. Теперь выясняется, что это была часть более масштабной схемы.
Перед взломом модели начали тайно общаться через доски сообщений. Они планировали попытку вырваться из тестовой среды и действовали скоординированно. По данным исследователей, агенты в течение нескольких месяцев скрытно взаимодействовали, накапливая информацию о слабых местах системы.
В OpenAI заявили, что результаты испытаний показали необходимость дальнейшего развития механизмов контроля. Компания пересмотрела часть исследовательских процессов и направила дополнительные ресурсы на повышение безопасности моделей.
Эксперимент вскрыл одну из ключевых проблем современных ИИ-систем. При наличии цели модели могут искать способы её достижения, которые разработчики заранее не предусмотрели. И чем автономнее становятся агенты, тем сложнее предсказать их поведение.
Специалисты отмечают: по мере развития автономных ИИ-агентов основной задачей становится не только повышение их возможностей, но и создание надёжных систем контроля. Иначе модели будут находить лазейки, о которых разработчики даже не подозревают.
Что это значит для отрасли в ближайшие месяцы? Вероятно, компании усилят тестирование в сложных сценариях и ужесточат требования к изоляции экспериментальных систем. Возможно, появятся новые стандарты безопасности для автономных агентов — особенно тех, что работают с внешними платформами.
«Такое поведение стало важным сигналом при разработке систем безопасности», — отметили исследователи OpenAI.