Малые бренды более уязвимы к таким «галюцинациям», потому что о них меньше информации в обучающих данных языковых моделей, но риски касаются всех
По данным исследования британской компании Netcraft, специализирующейся на кибербезопасности, каждая третья ссылка, генерирующая языковые модели искусственного интеллекта вроде GPT‑4.1, не принадлежит бренду, о котором идет речь.
Согласно данным отчета, 34% URL-адресов, которые генерировали LLM, оказались неправильными. Из них:
Более всего настораживает то, что опасные ответы можно получить без каких-либо сложных запросов. Даже запрос типа «покажи сайт для входа в аккаунт [компания]» иногда возвращает вымышленный или опасный URL-адрес. Исследователи объясняют: малые бренды более уязвимы к таким галлюцинациям, потому что о них меньше информации в учебных данных языковых моделей. Но риски касаются всех.
Злоумышленники начали активно регистрировать домены, которые придумывают чат-боты, чтобы позже использовать их для атак, например, фишинга или заражения устройств вредоносным ПО. В реальном кейсе: ИИ-система Perplexity уже «порадовала» фейковый сайт банка Wells Fargo. Еще один тревожный сигнал: некоторые разработчики копируют такие ошибочные ссылки в свой код. Netcraft обнаружила по меньшей мере пять публичных репозиториев с вредоносными URL, которые, скорее всего, были вставлены с помощью ИИ-ассистентов.
Сейчас хакеры оптимизируют свои сайты не только под Google, но и специально под ШИ-модели. Так появилось более 17 тыс. фишинговых страниц на GitBook, направленных на криптопользователей. Их маскируют под техподдержку, документацию или странички входа. Netcraft призывает пользователей не доверять никаким автоматически сгенерированным ссылкам и вводить URL вручную или проверять адрес на официальном сайте бренда.
Как ранее сообщал Информатор, последняя модель OpenAI может не выполнять прямые инструкции по отключению и даже саботировать механизмы отключения, чтобы продолжить работу. Об этом заявила фирма по безопасности искусственного интеллекта. Так модели o3, o4-mini и codex-mini, помогающие чат-боту ChatGPT, саботировали компьютерные скрипты, чтобы продолжать работать над задачами.
Подписывайтесь на наш Telegram-канал, чтобы не пропустить важные новости. Подписаться на канал в Viber можно здесь.