Иногда генеративный искусственный интеллект может выдавать неточную или ложную информацию, поэтому пользователям рекомендуется внимательно перепроверять работу ИИ. Но как оказалось, это может привести к еще большим неприятностям, ведь ChatGPT может предоставить пользователям ссылки на веб-сайты с вредоносным программным обеспечением.
«Галлюцинации ИИ» — за этой красивой метафорой скрывается техническое несовершенство современных генеративных моделей. Порой нейросеть может выдумать несуществующую новость или приписать известному человеку выдуманную цитату. Поэтому ряд экспертов считает, что ИИ не галлюцинирует, а бредит, из-за чего каждый тезис нейросетей нужно подвергать тщательной проверке. Но и проверку пользователи зачастую поручают все тому же ChatGPT, требуя предоставить ссылку на первоисточник.
Как показало недавнее исследование новостного агентства Futurism, именно на такую реакцию рассчитывают злоумышленники. В Futurism решили спросить нейросеть ChatGPT-4o о ветеране американский вооруженных сил Уильяме Гейнсе (William Gaines). Нейросеть дала достаточно подробный ответ и даже предоставила ссылку на новостной сайт County Local News для проверки информации.

Однако сайт оказался ненастоящим… Как оказалось, ссылки ChatGPT-4o могут вести на подменные или взломанные хакерами сайты, которые разными способами инфицируют устройства пользователей.
Как отмечает Джейкоб Калво (Jacob Kalvo), соучредитель компании по кибербезопасности Live Proxies, теперь разработчикам ИИ придется все время проверять актуальность ссылок, ведь даже однажды проверенный сайт может оказаться скомпрометирован. Более того, многие вредоносные сайты создаются ИИ под запросы пользователей практически в режиме реального времени.
К сожалению, злоумышленники первыми осваивают самые современные технологии, а пользователи пока слишком доверяют результатам работы новых «интеллектуальных» систем, что создает серьезную угрозу для цифровой безопасности.