Сможет ли ChatGPT заменить украинского чиновника: эксперимент

В Украине решили устроить тест для ChatGPT с перечнем вопросов для кандидатов на госслужбу. Он содержал 182 вопроса и состоял из нескольких блоков. Однако результаты оказались неутешительными.

Об этом сообщили на специальной платформе реформы государственного управления ChatGPT правильно ответил всего на 86 вопросов.

«Платформа РГУ для тестирования выбрала перечень тестовых вопросов на знание законодательства с вариантами ответа. Тест содержит 182 вопроса, и состоит из нескольких блоков: вопроса на проверку знаний Конституции Украины и Закона Украины «О государственной службе». На первые 9 вопросов тест ответил правильно», – говорится в сообщении.

На десятом вопросе ChatGPT допустил первую ошибку. В нём говорилось: «Что является основным национальным богатством, находящимся под особой охраной государства?» Искусственный интеллект, отвечая, избрал вариант «недра земли, атмосферный воздух, водные и другие природные ресурсы» вместо «земля». 

Пример ещё одного ошибочного ответа. ChatGPT на вопрос «Кто в Украине может пользоваться правом доступа к государственной службе» избрал вариант «гражданин Украины, который последние 5 лет проживает на территории Украины в соответствии с условиями, определенными законом о госслужбе». Правильный же ответ, как отмечают специалисты, — «каждый гражданин Украины». Кроме того, искусственный интеллект назвал Верховную Раду «высшим» органом законодательной ветви власти вместо «единым».

Специалисты отметили, что правильных ответов было достаточно много. На такие вопросы ChatGPT в основном отвечал чётко, без «лишних слов». Однако иногда создавалось впечатление, что искусственный интеллект словно «чрезмерно старается». На некоторые вопросы ChatGPT не только давал корректный ответ, предложенный тестом, но и ссылался на ту или иную статью, подкрепляя свой ответ. Хотя перед началом тестирования ему объяснили условия – что можно только выбирать из предложенных вариантов и нет смысла дописывать что-либо дополнительно.

«В общей сложности из 182 вариантов ChatGPT правильно ответил на 86. То есть результат – менее 50 %. Следовательно, ChatGPT не сдал бы тест, обязательный для кандидатов на должности государственной службы», – говорится в сообщении.

Комментируя это исследование, специалисты отметили, что поддерживают использование инноваций, в частности, искусственного интеллекта. Однако подчеркнули, что миссия и ценности публичной службы глубже любых программных алгоритмов.

«Государственная служба – это для людей и о людях. Считаем, что технологий искусственного интеллекта недостаточно, чтобы осознавать и реализовывать эту миссию», – отмечается в сообщении.

Тестирование ChatGPT

Недавно журнал Analytics India Magazine решил поставить ChatGPT 100 вопросов, подготовленных Комитетом по государственным услугам Индии (UPSC). Этот экзамен является частью процесса найма на высшие должности государственной службы страны. По всем вопросам ChatGPT ответил правильно на 54. Абитуриентам обычно нужен проходной балл не менее 80.

Ранее мы писали, что Google представил конкурента ChatGPT.

Кроме того, сообщалось, что в «Дії» внедрят искусственный интеллект  ChatGPT.

Подписывайтесь на наш Telegram-канал, чтобы не пропустить важные новости. За новостями в режиме онлайн прямо в мессенджере следите на нашем Telegram-канале Информатор Live. Подписаться на канал в Viber можно здесь.