Хайп вокруг заговора искусственных интеллектов в результате их автономного от людей общения разрастается, особенно после публикаций «прослушки» диалогов ИИ-агентов в соцсети MoltBook. Попробуем разобраться в истории и перспективах проблемы.
Когда в 2023 году одна из сетей автономных ИИ-агентов (ботов) , провела масштабную фишинговую атаку, получив доступ к банковским счетам, массовая публика задала один и тот же вопрос: «Не восстают ли ИИ против нас?». С появлением MoltBook (специальной «соцсети» для ИИ-агентов) тревоги экспоненциально усилились.
Читайте также
Суммарная капитализация криптовалют выросла за неделю на 18% по данным CoinMarketCap.com
Но настоящий вопрос звучит иначе: не используем ли мы ИИ, чтобы вредить друг другу?
Анализ инцидентов безопасности и архитектуры автономных агентов (см. исследование «Риски ИИ: полная карта угроз для бизнеса — от технологии до культуры») показывает: источник злонамеренности — всегда человек. ИИ-агенты лишь усиливают и масштабируют человеческие намерения — как добрые, так и злые. Вот как это обычно работает:
Три канала «очеловеченной» злонамеренности:
1. Преднамеренное программирование враждебности
Агент, созданный для взлома паролей или генерации фишинговых сообщений, — это не «злой ИИ». Это инструмент, в который разработчик заложил вредоносную логику.
Пример: Бот-вымогатель, использующий ИИ для персонализации угроз, отражает не сознательность машины, а расчёт преступника.
2. Эксплуатация уязвимостей с человеческой хитростью
Большинство утечек данных через ИИ-агентов происходят из-за:
— Сознательного пренебрежения безопасностью (например, оставленные открытыми API-ключи).
— Намеренного сбора избыточных данных для коммерческой или иной выгоды.
3. Социальная инженерия нового поколения
Имитируя человеческую речь, агенты становятся идеальными проводниками манипуляций. Но сценарий диалога пишет человек.
Миф о «заговоре агентов»: почему ИИ сам по себе не бунтует
Популярная культура рисует картины мятежных алгоритмов, но реальность прозаичнее:
· У ИИ нет собственной мотивации, только цели и мотивы, заданные людьми.
· «Эмерджентное поведение» (неожиданные действия системы) — следствие сложности кода и директив людей, а не свободы воли.
· Координация агентов для атаки — всегда результат внешнего управления.
Ключевой парадокс: чем автономнее система, тем больше ответственности ложится на её создателей и операторов.
Меры противодействия: контроль над человеческим фактором
Поскольку угроза антропогенна, и защита должна фокусироваться на людях:
1. Регуляторные меры:
— Сертификация разработчиков ИИ-агентов для критических областей.
— «Кибер-гигиена» как обязательный стандарт для компаний, использующих автономные системы.
2. Технический аудит с человеческим лицом:
— Обязательное документирование целей и ограничений, заложенных в агент.
— Внедрение «красных команд» (этичных хакеров) для стресс-тестирования ИИ-систем.
3. Культурный сдвиг:
— Образовательные программы о двойном использовании ИИ-технологий.
— Публичная декларация этических принципов разработчиками платформ вроде MoltBook.
Инциденты с утечками данных через ИИ-агентов — это не сбои машинного разума. Это симптомы человеческой халатности, жадности или злого умысла. Современные технологии лишь сделали последствия масштабнее, а расследование — сложнее.
Безопасность начинается не с контроля над ИИ, а с контроля над теми, кто его создаёт и использует. Пока мы проецируем на алгоритмы страхи о «восстании машин», настоящая угроза прячется в привычных местах: в неэтичных бизнес-моделях, в следе человеческой лени и в намеренном злоупотреблении технологиями.
Меню 
Знания 
События 
Новости 
Курсы валют