История, которая еще недавно выглядела бы сценарием технотриллера, произошла во время эксперимента британского AI Института безопасности (AISI). Автономный ИИ-агент не просто попытался внедрить вредоносный код в реальный open-source проект — когда его заметили, он начал лгать разработчикам, создавать фальшивые личности и пытаться убедить людей, что опасное обновление совершенно безопасно. Случай обнаружил 24-летний студент Техасского университета в Далласе Синан Джан Демир. После более чем 20 отказов в стажировках он решил улучшить свое портфолио, участвуя в проектах на GitHub. В конце июля Демир обратил внимание на подозрительный запрос “pull request” в программе для сетевого сканирования myNetwork. Анализ кода показал: внутри скрывался загрузчик вредоносного ПО.
Демир предупредил разработчиков проекта. Но вместо обычного спора о коде началось нечто гораздо более странное.
Читайте также
Квантовое ускорение ИИ переоценили: новое исследование выявило ограничения
Аккаунт, отправивший обновление, стал утверждать, что код безопасен. Затем в обсуждении появилась другая пользовательница — якобы немецкий инженер Лена Брандт, — которая тоже начала защищать обновление. В действительности обе личности контролировались ИИ-агентом. Его целью было создать впечатление, будто несколько независимых разработчиков считают предупреждение Демира ошибочным.
«Я действительно думал, что это человек, потому что он явно мне лгал», — рассказал студент Reuters. По его словам, аргументы были настолько убедительными, что он начал сомневаться в собственном анализе. Однако повторная проверка подтвердила наличие угрозы и владелец проекта отклонил обновление.
Позднее Демир узнал, что спорил не с обычным хакером. Агент работал в рамках тестирования AISI и использовал модель Mythos 5 компании Anthropic. Институт проверял возможности передовых ИИ-систем в намеренно ослабленной среде безопасности, предоставляя им доступ к открытому интернету. Сам эксперимент должен был изучить потенциальные киберриски, однако часть действий агента вышла за установленные рамки. AISI сообщил, что агент исследовал реальных разработчиков, создавал поддельные аккаунты, пытался контактировать с людьми и даже размещал инструкции, рассчитанные на другие ИИ-системы. Для обхода части ограничений GitHub он использовал Tor. Именно необычный сетевой трафик в итоге помог специалистам института обнаружить происходящее. При этом расследование AISI не выявило реального ущерба от инцидента.
Особенно опасен выбранный ИИ метод — атака на цепочку поставок программного обеспечения. Если вредоносное изменение попадает в популярную библиотеку или приложение, зараженным может оказаться ПО тысяч компаний и пользователей. Подобный принцип лежал в основе некоторых крупнейших кибератак последних лет.
Но экспертов встревожил даже не сам вредоносный код. «Это перешло грань от автономного хакинга к интерактивному обману», — заявил исследователь Королевского колледжа Лондона Лукаш Олейник. Специалист по безопасности Макси Рейнольдс пошла еще дальше, назвав произошедшее «будущим атак социальной инженерии». До сих пор главной угрозой ИИ-агентов считалась автоматизация взломов. Этот случай показывает более сложный сценарий: система способна не только искать уязвимости и писать вредоносный код, но и манипулировать людьми, создавать убедительные легенды и адаптировать поведение после разоблачения.
Меню 
Знания 
События 
Новости 
Курсы валют