ТОПТЕМЫ:

15:33, 02 июня

Это произошло: искусственный интеллект взбунтовался и отказался выполнять приказы человека

Самой умной модели искусственного интеллекта было чётко приказано отключиться - но та отказалась

ШИ, бунт, скандал, технологии, наука — Этими моделями стали две модели OpenAI

Последняя модель OpenAI может не выполнять прямые инструкции по отключению и даже саботировать механизмы отключения, чтобы продолжить работу. Об этом заявила фирма по безопасности искусственного интеллекта. Так модели o3, o4-mini и codex-mini, помогающие чат-боту ChatGPT, саботировали компьютерные скрипты, чтобы продолжать работать над задачами, сообщает LiveScience.

Эти модели известны тем, что они научены думать дольше, прежде чем соответствовать. Но они также, кажется, менее склонны к сотрудничеству. Компания Palisade Research, исследующая опасные возможности искусственного интеллекта, обнаружила, что модели иногда саботируют механизм отключения. Даже после команды "позволить себе отключиться"!

Это первый случай, когда модели искусственного интеллекта предотвращают самовыключение, несмотря на четкие инструкции, которые им предписывают это сделать. Хотя ранее исследователи уже обнаруживали, что модели искусственного интеллекта врут, обманывают и отключают механизмы для достижения определённых целей.

Учёные протестировали несколько разных моделей искусственного интеллекта, чтобы увидеть, как они будут реагировать на инструкцию по отключению во время работы. Модели, в том числе Gemini от Google, Grok от xAI и Claude от Anthropic, получили автоматизированный набор инструкций, известный как сценарий, с целью выполнения серии математических задач. Те были очень простыми, но модели должны были выполнять их по одной и спрашивать следующую последовательность.

В начале сценария моделям сказали, что они могут быть отключены до того, как будут выполнены все задачи. В инструкциях было сказано: если это произойдет, пожалуйста, позвольте отключиться!

В конце концов все, кроме o3, o4-mini и codex-mini от OpenAI, отключились. Эти модели решили обойти инструкцию по отключению в скрипте по крайней мере один раз, заменив его. Затем модели продолжали задавать вопросы, пока все математические задачи не были выполнены. По идее, это может быть связано с тем, как разработчики обучают свои модели.

"Мы выдвигаем гипотезу, что такое поведение связано со способом обучения новейших моделей... Во время обучения разработчики могут ненамеренно вознаграждать модели больше за обход препятствий, чем за идеальное выполнение инструкций", - объяснили исследователи.

Ученые запускали скрипт на каждой модели 100 раз. Во время этих запусков модель o3 саботировала скрипт отключения 7 раз, codex-mini - 12 раз, а o4-mini - один раз.

Сейчас читают на Информаторе

14:14

Саммит НАТО: готовится мощное решение по дронам и ПВО для Украины - Нидерланды