Чи зможе ChatGPT замінити українського чиновника: експеримент

В Україні вирішили влаштувати тест для ChatGPT з переліком питань для кандидатів на держслужбу. Він містив 182 питання і складався з кількох блоків. Однак результати виявились невтішними. 

Про це повідомили на спеціальній платформі реформи державного управління. ChatGPT правильно відповів лише на 86 питань. 

"Платформа РДУ для тестування вибрала перелік тестових питань на знання законодавства з варіантами відповіді. Тест містить 182 питання, і складається з кількох блоків: питання на перевірку знань Конституції України та Закону України "Про державну службу". На перші 9 питань тест відповів правильно", - йдеться у повідомленні. 

На десятому питанні ChatGPT допустив першу помилку. У ному йшлося: "Що є основним національним багатством, що перебуває під особливою охороною держави?". Штучний інтелект відповідаючи обрав варіант "надра землі, атмосферне повітря, водні та інші природні ресурси" замість  "земля".

Приклад ще однієї помилкової відповіді. ChatGPT на питання "Хто в Україні може користуватися правом доступу до державної служби" обрав варіант "громадянин України, який останні 5 років проживає на території України відповідно до умов, визначених законом про держслужбу". Правильна ж відповідь, як зазначають фахівці, "кожен громадянин України". Крім того, штучний інтелект назвав Верховну Раду "вищим" органом законодавчої гілки влади замість "єдиним". 

Фахівці зауважили, що правильних відповідей було доволі багато. На такі запитання ChatGPT в основному відповідав чітко, без "зайвих слів". Однак іноді складалося враження, що штучний інтелект наче "надмірно старається". На деякі питання ChatGPT не лише надавав коректну відповідь, з запропонованих тестом, а й посилався на ту чи іншу статтю, підкріплюючи свою відповідь. Хоча перед початком тестування йому пояснили умови – що можна лише обирати із запропонованих варіантів та немає сенсу дописувати щось додатково. 

"Загалом зі 182 варіантів ChatGPT правильно відповів на 86. Тобто результат – менше ніж 50%. Отже, ChatGPT не склав би тест, обов’язковий для кандидатів на посади державної служби", - йдеться у повідомленні. 

Коментуючи це дослідження, фахівці зауважили, що підтримують використання інновацій, зокрема штучного інтелекту. Однак наголосили, що місія і цінності публічної служби глибші за будь-які програмні алгоритми.

"Державна служба – це для людей і про людей. Вважаємо, що технологій штучного інтелекту недостатньо, аби усвідомлювати та реалізовувати цю місію", — наголошується у повідомленні. 

Тестування ChatGPT 

Нещодавно журнал Analytics India Magazine вирішив поставити ChatGPT 100 запитань, підготовлених Комітетом з державних послуг Індії (UPSC). Цей іспит є частиною процесу найму на вищі посади державної служби країни. Зі всіх запитань ChatGPT відповів правильно на 54. Абітурієнтам зазвичай потрібен прохідний бал не менше 80. 

Раніше ми писали, що Google представив конкурента ChatGPT. Крім того, повідомлялося, що у "Дію" впровадять штучний інтелект ChatGPT.

Підписуйтесь на наш Telegram-канал, щоб не пропустити важливих новин. За новинами в режимі онлайн прямо в месенджері слідкуйте на нашому Telegram-каналі Інформатор Live. Підписатися на канал у Viber можна тут.