ТОПТЕМЫ:

11:13, 05 июля

ChatGPT и другие ИИ придумывают URL-адреса брендов, чем помогают мошенникам

Малые бренды более уязвимы к таким «галюцинациям», потому что о них меньше информации в обучающих данных языковых моделей, но риски касаются всех

Ольга Палий Редактор

Искусственный интеллект Фото: Getty Images

По данным исследования британской компании Netcraft, специализирующейся на кибербезопасности, каждая третья ссылка, генерирующая языковые модели искусственного интеллекта вроде GPT‑4.1, не принадлежит бренду, о котором идет речь.

Согласно данным отчета, 34% URL-адресов, которые генерировали LLM, оказались неправильными. Из них:

29% вели на незарегистрированные, припаркованные или неактивные домены;
5% вели на легитимные, но не связанные с брендом сайты.
Только две трети сгенерированных ссылок вели туда, куда следует.

Более всего настораживает то, что опасные ответы можно получить без каких-либо сложных запросов. Даже запрос типа «покажи сайт для входа в аккаунт [компания]» иногда возвращает вымышленный или опасный URL-адрес. Исследователи объясняют: малые бренды более уязвимы к таким галлюцинациям, потому что о них меньше информации в учебных данных языковых моделей. Но риски касаются всех.

Злоумышленники начали активно регистрировать домены, которые придумывают чат-боты, чтобы позже использовать их для атак, например, фишинга или заражения устройств вредоносным ПО. В реальном кейсе: ИИ-система Perplexity уже «порадовала» фейковый сайт банка Wells Fargo. Еще один тревожный сигнал: некоторые разработчики копируют такие ошибочные ссылки в свой код. Netcraft обнаружила по меньшей мере пять публичных репозиториев с вредоносными URL, которые, скорее всего, были вставлены с помощью ИИ-ассистентов.

Сейчас хакеры оптимизируют свои сайты не только под Google, но и специально под ШИ-модели. Так появилось более 17 тыс. фишинговых страниц на GitBook, направленных на криптопользователей. Их маскируют под техподдержку, документацию или странички входа. Netcraft призывает пользователей не доверять никаким автоматически сгенерированным ссылкам и вводить URL вручную или проверять адрес на официальном сайте бренда.

Как ранее сообщал Информатор, последняя модель OpenAI может не выполнять прямые инструкции по отключению и даже саботировать механизмы отключения, чтобы продолжить работу. Об этом заявила фирма по безопасности искусственного интеллекта. Так модели o3, o4-mini и codex-mini, помогающие чат-боту ChatGPT, саботировали компьютерные скрипты, чтобы продолжать работать над задачами.

Подписывайтесь на наш Telegram-канал, чтобы не пропустить важные новости. Подписаться на канал в Viber можно здесь.

Сейчас читают на Информаторе

19:23

Метеозависимым полегчает, другим не очень – прогноз погоды на 29 июля