Искусственные двойники людей провалили важный тест ученых
Ученые протестировали цифровые копии людей на основе искусственного интеллекта и обнаружили неожиданный "эффект кривого зеркала"
Исследователи пытались создать цифровые копии людей на основе искусственного интеллекта, чтобы заменить ими живых участников научных экспериментов, но оказалось, что вместо точного отображения личности такие "двойники" создают обезображенную версию человека. Исследователи назвали этот эффект "кривым зеркалом" - двойник будто показывает человека, но искривленного. По словам Оливье Тубиа, вычислительного социолога из Колумбийской бизнес-школы в Нью-Йорке, результаты несколько разочаровали, хотя определенный потенциал у технологии есть. ʼ
Как пишет издание Science News, исследование опубликовано 2 сентября в журнале Science Advances. Искусственные копии людей, призванные воспроизводить поведение конкретного лица, зато искажают его взгляды.
Ранее Тубиа с коллегами собрали данные более 2000 человек со всех уголков США. Участники ответили более чем на 500 вопросов о возрасте, этничности, доходе, образовании, религиозных практиках, политических предпочтениях, чертах характера, привычках тратить деньги, математические способности и словарный запас. Многие из этих вопросов взяты из шкал, активно используемых в психологии, экономике и бизнес-исследованиях.
Чтобы создать цифровых двойников, ученые загрузили всю эту информацию о каждом человеке в большую языковую модель и попросили его отвечать так, будто он и есть этот человек. В рамках 19 социологических экспериментов команда проверила, как реагируют люди и их двойники на разные ситуации - от отношения к донорам политических партий до мнений по алгоритмическому найму на работу.
Цифровые двойники справились лучше, чем если бы ответы выбирали наугад, но ошибались в среднем в четверти случаев. По точности они оказались примерно на уровне обычных чат-ботов, получивших лишь демографическую информацию без деталей личности.
Впрочем, настоящие двойники все же лучше улавливали реальную разницу между людьми, чем простые модели с минимумом данных. Например, один человек мог оценить свой уровень самоконтроля на 2 балла из 5, а другой – на 4. Простая модель могла бы поставить обоим одинаковую оценку 3, стирая разницу между ними. А двойник хоть и ошибался, но мог дать разные оценки – скажем, 3 и 5, – сохраняя хоть какой-то намек на реальное отличие.
Почему двойники ошибаются
Исследователи определили несколько ключевых причин искажений. Ответы двойников оказались значительно более однородны, чем ответы реальных людей, и часто скатывались к демографическим стереотипам. Точность росла, когда речь шла о более богатых и образованных участниках.
Кроме того, искусственные копии демонстрировали определенные предупреждения: они выражали больше доверия к другим людям и меньше беспокоились о технологических угрозах, чем реальные прототипы. По сравнению со своими человеческими прообразами двойники в целом казались заметно более рациональными.
Хади Госсейни, исследователь искусственного интеллекта и экономист из Университета штата Пенсильвания, наблюдал подобный эффект в собственных исследованиях того, как ШИ-агенты принимают решение в медицине из-за нехватки ресурсов.
"Языковые модели искажают человеческие суждения в очень конкретном направлении - в сторону чего-то более рационального и умного, чем на самом деле есть люди", - отметил исследователь искусственного интеллекта Хади Госсейни.
По его словам, есть способы улучшить цифровые двойники. Исследователи использовали статический набор вопросов, тогда как более динамичные подходы - например, когда чат-бот "сопровождает" человека в течение дня или регулярно общается с ним - могли бы дать лучший результат.
Тубиа планирует попробовать более сложные методы обучения моделям. Впрочем, по его словам, уже сейчас есть случаи, когда даже такие несовершенные двойники могут пригодиться. Иногда исследователям необходим развернутый ответ на вопрос: уставшие люди дают однословные ответы, тогда как неутомимый цифровой двойник может написать целый эссей. Тестирование эксперимента на двойниках также помогает убедиться в том, что дизайн исследования работает, прежде чем тратить ограниченный ресурс терпения живых респондентов.
В то же время, Тубиа призывает к скромности в ожиданиях. Социологи склонны считать, что шкалы и опросы способны охватить весь спектр человеческого опыта. Но предсказать человеческое поведение с помощью машины – чрезвычайно сложная задача, и пока искусственный интеллект остается лишь приблизительным, порой кривым отражением реального человека.
