На конференции OFFZONE 2026 эксперты Сбера представили результаты исследования безопасности саморазвивающихся агентов Hermes и OpenClaw. Они предложили пять базовых мер для обеспечения кибербезопасности таких систем. Это исследование основано на обновленной версии «Модели угроз кибербезопасности AI Сбера».
Саморазвитие агентов подразумевает их способность самостоятельно обновлять память, навыки и код, используя собственные инструменты для выполнения поставленной цели. Главное — отделить полезное изменение от неконтролируемого и потенциально вредного. Таким образом, агенты становятся более функциональными, а за людьми остаются контроль и ответственность, отметил главный эксперт Департамента кибербезопасности Сбера Борис Захир.
Исследование показало, что безопасность используемой AI-модели не всегда означает безопасность самих AI-агентов. Существуют угрозы, которые необходимо устранять на уровне агентных систем. AI помогает анализировать, управлять продуктами и принимать решения, но чем глубже он проникает в бизнес-процессы, тем важнее обеспечивать кибербезопасность самого AI.
Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты предложили пять базовых мер. Первая — строгая изоляция агентов, включающая реализацию локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя. Вторая — разделение контуров разработки и эксплуатации, где самоэволюция полностью отключена в эксплуатационной среде, а в контуре разработки процесс самоэволюции возможен, но доступ к данным разрешен исключительно на чтение, а доступ к сети отключен.
Третья мера — независимые системы безопасности, где механизмы защиты вынесены за контур исполняемого кода агента, централизованная система обеспечивает сбор и обработку телеметрии и метрик, а ограничители блокируют аномалии в реальном времени с последующим офлайн-анализом. Четвертая — корпоративный реестр навыков, где все инструменты проходят обязательную статическую и динамическую проверку перед попаданием в реестр, а также рекомендуется анализировать опасные комбинации инструментов.
Пятая мера — использование песочницы для запуска кода, где любой код, генерируемый AI-агентом, запускается в изолированной среде с ограниченным временем жизни, собственными временными токенами доступа, запретом на доступ к сети и строгими лимитами на использование ресурсов.
Обновленная «Модель угроз кибербезопасности AI Сбера» систематизирует 37 угроз и 51 способ их реализации, включая риски, связанные с генеративным искусственным интеллектом, AI-агентами и мультиагентными системами. Исследование проводилось на базе этой модели с использованием саморазвивающихся агентов Hermes и OpenClaw.
