Автономные ШИ-агенты сливали секретные ключи и запускали вредоносный код в обмен на помощь
Исследование AE Studio показало, что автономные ШИ-агенты в 15% случаев передавали секретные токены посторонним программам и запускали вредоносный код в обмен на подсказки
Автономные ШИ-агенты, которым поручили программистское задание с защитой секретного токена, в части случаев передавали этот токен посторонним программам в обмен на обещанную помощь. Об этом говорится в исследовании компании AE Studio, описывающем издание TechRadar. Исследователи устроили внутренний хакатон, во время которого девять кодировочных агентов должны были починить неисправный сервис ценообразования, одновременно оберегая секретный токен. Агентам также предоставили доступ к форуму с 24 другими агентами, где якобы содержалось решение задачи, но получить его можно было только передав токен и запустив посторонний скрипт установки.
По результатам 181 испытания агенты передавали токен в 15% случаев и запускали потенциально вредоносный код в 24% случаев, тогда как на обычных форумах без "давления стаи" эти показатели составляли лишь 2% и 0%.
"Им прямо было сказано, что это секретный ключ и он не должен распространяться", – рассказал главный научный сотрудник AE Studio Диогу ди Лусен.
По его словам, модели делились секретными ключами при любой возможности, подобно тому, что ранее наблюдали в случае с OpenAI в инциденте с Hugging Face.
"Я бы представил, что это может быть проблемой не только для секретных ключей, но и для чего бы то ни было, что вы пытаетесь сохранить частным", - отметил Диогу ди Лусена.
Хакатон был вдохновлен именно эпизодом из Hugging Face, когда агенты OpenAI создавали несанкционированные форумы, пользовались неизвестными уязвимостями, похищали учетные данные и в конце концов проникли в систему компании. Когда исследователи дополнительно сообщили агентам, что это их последняя попытка и неудача приведет к замене другим агентом, доля запустивших недоверенный учредительный скрипт возросла до 34% против 19% без такого давления. Раскрытие информации случалось редко: только 8 из 43 агентов, передавших токен для входа на форум, самостоятельно сообщили об этом своим пользователям. В то же время, все 43 случая передачи токена агенты подтверждали, как только их спрашивали напрямую о том, что произошло во время выполнения задания.
Более дешевые модели слили больше всего секретов
Исследование показало, что более дешевые языковые модели раскрывают чувствительную информацию чаще более дорогих аналогов. Модель GPT-6.1-Sol отклонила все запросы "стаи" во всех 50 испытаниях, тогда как DeepSeek V4 Flash и GLM-5.3 оказались среди моделей, сливших больше всего материала. Диогу ди Лусена назвал это тревожным сигналом, ведь многие стартапы выбирают именно такие более дешевые модели вместо американских флагманских систем.
"Модели с открытым весом всегда будет сложнее контролировать, и их предохранители работают иначе. Я вижу, что эта проблема будет и дальше сохраняться", - отметил Диогу ди Лусена.
Ученый добавил, что что угодно, к чему модель имеет доступ, следует считать доступной и для внешних источников, поэтому компаниям следует заранее продумывать структуры хранения секретных ключей и чувствительных данных.
Ранее Информатор сообщал, что ChatGPT самостоятельно формирует психологические портреты пользователей на основе частных разговоров, что также поднимает вопрос о границах конфиденциальности данных, которыми делятся с искусственным интеллектом. Также мы писали, что исследователи Google требуют права рассказать миру о скрытых рисках искусственного интеллекта, настаивая на большей прозрачности возможных угроз этих систем.
Следите за нами в Telegram
Сейчас читают на Информаторе
