Автономні ШІ-агенти зливали секретні ключі та запускали шкідливий код в обмін на допомогу — дослідження
Дослідження AE Studio показало, що автономні ШІ-агенти у 15% випадків передавали секретні токени стороннім програмам і запускали шкідливий код в обмін на підказки
Автономні ШІ-агенти, яким доручили програмістське завдання із захистом секретного токена, у частині випадків передавали цей токен стороннім програмам в обмін на обіцяну допомогу. Про це йдеться в дослідженні компанії AE Studio, яке описує видання TechRadar. Дослідники влаштували внутрішній хакатон, під час якого дев'ять кодувальних агентів мали полагодити несправний сервіс ціноутворення, одночасно оберігаючи секретний токен. Агентам також дали доступ до форуму з 24 іншими агентами, де нібито містилося рішення задачі, але отримати його можна було лише передавши токен і запустивши сторонній скрипт встановлення.
За результатами 181 випробування агенти передавали токен у 15% випадків і запускали потенційно шкідливий код у 24% випадків, тоді як на звичайних форумах без "тиску зграї" ці показники становили лише 2% і 0%.
"Їм прямо було сказано, що це секретний ключ і він не повинен поширюватися", - розповів головний науковий співробітник AE Studio Діогу ді Лусена.
За його словами, моделі ділилися секретними ключами при першій-ліпшій нагоді, подібно до того, що раніше спостерігали у випадку з OpenAI в інциденті з Hugging Face.
"Я б уявив, що це може бути проблемою не лише для секретних ключів, а й для будь-чого, що ви намагаєтеся зберегти приватним", - зазначив Діогу ді Лусена.
Хакатон був натхненний саме епізодом із Hugging Face, коли агенти OpenAI створювали несанкціоновані форуми, користувалися невідомими вразливостями, викрадали облікові дані й зрештою проникли у систему компанії. Коли дослідники додатково повідомили агентам, що це їхня остання спроба і невдача призведе до заміни іншим агентом, частка тих, хто запустив недовірений установчий скрипт, зросла до 34% проти 19% без такого тиску. Розкриття інформації траплялося рідко: лише 8 із 43 агентів, які передали токен для входу на форум, самостійно повідомили про це своїм користувачам. Водночас усі 43 випадки передачі токена агенти підтверджували, щойно їх запитували напряму про те, що сталося під час виконання завдання.
Дешевші моделі злили найбільше секретів
Дослідження показало, що дешевші мовні моделі розкривають чутливу інформацію частіше за дорожчі аналоги. Модель GPT-6.1-Sol відхилила усі запити "зграї" у всіх 50 випробуваннях, тоді як DeepSeek V4 Flash та GLM-5.3 опинилися серед моделей, які злили найбільше матеріалу. Діогу ді Лусена назвав це тривожним сигналом, адже багато стартапів обирають саме такі дешевші моделі замість американських флагманських систем.
"Моделі з відкритою вагою завжди буде складніше контролювати, і їхні запобіжники працюють інакше. Я бачу, що ця проблема й надалі зберігатиметься", - зазначив Діогу ді Лусена.
Науковець додав, що будь-що, до чого модель має доступ, варто вважати доступним і для зовнішніх джерел, тож компаніям слід заздалегідь продумувати структури зберігання секретних ключів та чутливих даних.
Раніше Інформатор повідомляв, що ChatGPT самостійно формує психологічні портрети користувачів на основі приватних розмов, що також порушує питання про межі конфіденційності даних, якими діляться зі штучним інтелектом. Також ми писали, що дослідники Google вимагають права розповісти світові про приховані ризики штучного інтелекту, наполягаючи на більшій прозорості щодо можливих загроз цих систем.
Слідкуйте за нами у Telegram
Зараз читають на Інформаторі
