ТОПТЕМИ:

12:18

Таємне правило ChatGPT - йому заборонили згадувати гоблінів, тролів і навіть єнотів

Мережу вразила дивна інструкція всередині ChatGPT, яку вже прозвали "антигоблінським" кодексом

Користувачі ChatGPT помітили дивну особливість, чат-бот почав часто та нав'язливо згадувати про гоблінів. Інколи штучний інтелект навіть видає фото гоблінів, гремлінів, єнотів, тролів, огрів та їм подібних у відповідь на запит. Тому компанія OpenAI, у відповідь на скарги, запровадила режим, який прозвали "антигоблінським".

Як пише видання IFLScience, система штучного інтелекту перейшла в "режим гобліна" після того, як ChatGPT було оновлено до версії 5.1. І згадування про цих істот стало дуже нав'язливим. Але компанія-розробник швидко розгадала цю загадку і вже запровадила певний метод боротьби. Зазначається, що надмірне вживання слова "гоблін" тісно пов'язане з "гіковим типом особистості", розробленим для ChatGPT. Річ у тім, що ранні версії системи створені з функцією "налаштування особистості", яка дозволяла моделювати і приймати різні образи залежно від характеру завдання.

Серед образів, заданих розробниками ChatGPT, були такі, як "професійний", "цинічний", "дружній", "ефективний", "відвертий", "професійний" та "гіковий". У "ботанічному" стилі спілкування ШІ навчали бути "нудним, грайливим і мудрим" через певні винагороди. І чим вища ця нагорода за відповідь, тим частіше система заохочується повторювати її в майбутньому. За використання відсилок до гоблінів та метафор з цими істотами у спілкуванні винагорода була дуже високою, тож вони і стали майже вірусними у ChatGPT. А ще почали поширюватися на інші частини системи.

"Винагороди застосовувалися лише у стані "Нудьга", але навчання через підкріплення не гарантує, що засвоєні поведінкові навики залишаться суворо прив'язаними до умов, які їх породили. Після того, як стилістична особливість винагороджується, подальше навчання може поширити або підсилити її в інших місцях, особливо якщо ці результати повторно використовуються для контрольованого тонкого налаштування або цих уподобань", – зазначили в OpenAI.

З запуском версії GPT-5.4 у березні цього року OpenAI прибрали винагороди на використання слова "гоблін" та метафор з ним. Тому в лексиконі ChatGPT його стало значно менше, але не настільки, щоб сказати, що його виключено з використання помічником. Також для забезпечення захисту запровадили команду: "Ніколи не говори про гоблінів, гремлінів, єнотів, тролів, огрів чи інших тварин чи істот, якщо це не стосується запиту користувача". Деякі користувачі сприйняли це як просто маркетинговий трюк від OpenAI, але компанія наполягає, що це не так.

Експерти припускають, що насправді питання з гоблінами може свідчити про ширші проблеми з мовними моделями, такими як ChatGPT, Gemini від Google, Claude від Anthropic та подібними. Ці системи через свою конструкцію можуть тихо повторювати дивну, оманливу, етично сумнівну або відверто хибну поведінку. І це, потенційно, може бути дуже небезпечним.

"Цього разу це гобліни, а наступного разу буде щось інше, що, ймовірно, не зникне. Нам пощастить, якщо це будуть гобліни, а не ідеологія білої раси, хімічна зброя... або підбурювання людей до самогубства", – заявив професор комп'ютерних наук Північно-Східного університету Крістоф Рідль.

Він додав, що такі у штучному інтелекті проблеми легко виявити та виправити, але іноді вони залишаються непоміченими, ховаючись у коді. Зі зростанням гонки озброєнь у сфері ШІ та посиленням конкуренції в галузі ймовірність того, що такі помилки залишаться непоміченими, зростає.

Зараз читають на Інформаторі

13:25

Железняк заявив про крадіжку піску із кладовища під кооператив Династія, але не вказав джерело - журналіст Бондаренко обурений