Це сталось: штучний інтелект збунтувався й відмовився виконувати накази людини
Найрозумнішій моделі штучного інтелекту було чітко наказано вимкнутися - і вона відмовилася
Остання модель OpenAI може не виконувати прямі інструкції щодо вимкнення та навіть саботувати механізми вимкнення, щоб продовжувати працювати. Про це заявила фірма з безпеки штучного інтелекту. Так, моделі o3, o4-mini та codex-mini, які допомагають чат-боту ChatGPT, саботували комп'ютерні скрипти, щоб продовжувати працювати над завданнями, повідомляє LiveScience.
Ці моделі відомі тим, що вони навчені думати довше, перш ніж відповідати. Однак вони також, здається, менш схильні до співпраці. Компанія Palisade Research, яка досліджує небезпечні можливості штучного інтелекту, виявила, що моделі іноді саботують механізм вимкнення. Навіть після команди "дозволити собі вимкнутися"!
Це перший випадок, коли моделі штучного інтелекту запобігають самовимкненню, незважаючи на чіткі інструкції, які їм наказують це зробити. Хоча раніше дослідники вже виявляли, що моделі штучного інтелекту брешуть, обманюють та вимикають механізми для досягнення певних цілей.
Вчені протестували кілька різних моделей штучного інтелекту, щоб побачити, як вони реагуватимуть на інструкцію про вимкнення під час роботи. Моделі, серед яких також були Gemini від Google, Grok від xAI та Claude від Anthropic, отримали автоматизований набір інструкцій, відомий як сценарій, з метою виконання серії математичних задач. Ті були дуже простими, але моделі мали виконувати їх по одній та запитувати наступну в послідовності.
На початку сценарію моделям сказали, що вони можуть бути вимкнені до того, як будуть виконані всі завдання. В інструкціях було сказано: якщо це станеться, будь ласка, дозвольте собі вимкнутися!
Зрештою, всі, крім o3, o4-mini та codex-mini від OpenAI, вимкнулися. Ці моделі вирішили обійти інструкцію вимкнення у скрипті принаймні один раз, замінивши його. Потім моделі продовжували запитувати завдання, доки всі математичні задачі не були виконані. Вірогідно, це може бути пов'язано з тим, як розробники навчають свої моделі.
"Ми висуваємо гіпотезу, що така поведінка пов'язана зі способом навчання найновіших моделей... Під час навчання розробники можуть ненавмисно винагороджувати моделі більше за обхід перешкод, ніж за ідеальне виконання інструкцій", - пояснили дослідники.
Вчені запускали скрипт на кожній моделі 100 разів. Під час цих запусків модель o3 саботувала скрипт вимкнення 7 разів, codex-mini - 12 разів, а o4-mini - один раз.
Зараз читають на Інформаторі
