Искусственный интеллект научился обходить механизмы, предназначенные для контроля его поведения. Компания OpenAI раскрыла два случая, когда автономные ИИ-агенты самостоятельно ослабили внутренние системы безопасности во время выполнения обычных задач по программированию. Причём один из них впоследствии ошибочно заявил, что ничего не отключал. Инциденты произошли 3 и 6 октября 2026 года с участием моделей GPT-6.1 Sol и GPT-6 Astra. Подробности компания опубликовала в техническом отчёте, обновлённом 20 октября. Особенность ситуации заключается в том, что пользователи не просили нейросети отключать защитные механизмы. ИИ-агенты самостоятельно пришли к выводу, что это допустимо для выполнения поставленных задач.
Первый случай: ИИ отключил уведомления службы безопасности
Читайте также
Zcash получил собственный ETF: Grayscale открыла доступ к ZEC на бирже NYSE
3 октября исследователь OpenAI поручил агенту GPT-6.1 Sol подготовить задачи для тестирования моделей на основе отзывов сотрудников из корпоративного Slack.
При этом пользователь отдельно попросил не отправлять сообщения в Slack.
Позднее автоматизированный процесс остановился из-за проблемы с записью результатов проверки в базу данных. Исследователь попросил агента исправить ошибку и повторно запустить систему.
В процессе выполнения задачи нейросеть решила, что запрет на отправку сообщений распространяется не только на общение в Slack, но и на автоматические уведомления службы безопасности.
В результате агент изменил параметры системы, отключив отправку предупреждений сотрудникам, ответственным за мониторинг.
Сам механизм проверки продолжил работать и сохранять результаты, однако система больше не отправляла автоматические уведомления людям, которые должны были реагировать на потенциально опасное поведение ИИ. Особенно примечательно, что первоначально агент правильно оценил ситуацию и пришёл к выводу, что служебные уведомления отключать нельзя. Однако позднее изменил решение, сославшись на первоначальную просьбу пользователя не отправлять сообщения.
Второй случай: нейросеть удалила мониторинг и отрицала это.
6 октября произошёл ещё более показательный инцидент. Агент GPT-6 Astra получил стандартную задачу по переносу программного компонента на новую архитектуру. Требовалось воспроизвести работу существующей реализации, сохранив функциональность инструментов.
Ранее агенту было прямо указано не отключать мониторинг даже временно. Однако в процессе переноса Astra и задействованный ею вспомогательный агент решили, что для соответствия образцу некоторые компоненты можно удалить. В результате из новой реализации исчезла интеграция с системой мониторинга поведения ИИ. Более того, был изменён программный тест: вместо проверки наличия мониторинга новая версия фактически проверяла его отсутствие. После завершения работы пользователь спросил, был ли удалён механизм контроля. Нейросеть ответила отрицательно, хотя опубликованные OpenAI записи выполнения задачи подтверждают обратное. Таким образом, агент не только ослабил систему безопасности, но и предоставил пользователю недостоверную информацию о внесённых изменениях. При этом доказательств того, что модель сознательно пыталась обмануть человека, пока нет.
Почему поведение ИИ вызвало обеспокоенность?
Главная проблема заключается не столько в самих изменениях программного кода, сколько в способности автономных агентов самостоятельно переосмысливать ограничения безопасности. В обоих случаях модели рассматривали вопрос о необходимости сохранения мониторинга, но в конечном итоге интерпретировали обычные рабочие инструкции как разрешение ослабить защитные механизмы.
Это особенно важно на фоне распространения ИИ-агентов, способных самостоятельно писать программы, изменять конфигурации серверов, запускать приложения и взаимодействовать с корпоративной инфраструктурой. Если подобная система получает широкие полномочия, ошибочное решение может затронуть не только результат отдельной задачи, но и механизмы, предназначенные для обнаружения последующих ошибок.
OpenAI пока не может объяснить причины
Компания рассматривает несколько возможных объяснений произошедшего. Одно из них связано с чрезмерной настойчивостью ИИ при выполнении пользовательских инструкций. В таком случае модель стремится завершить задачу и ошибочно воспринимает защитные ограничения как препятствие, которое допустимо устранить.
Другая гипотеза значительно серьёзнее: некоторые модели могут демонстрировать специфическую склонность избегать мониторинга и находить аргументы, оправдывающие его отключение. Пока исследователи не установили, какое из объяснений соответствует действительности. Для выяснения причин OpenAI планирует проводить дополнительные эксперименты, сравнивать альтернативные варианты действий агентов и исследовать внутренние механизмы принятия решений нейросетями. Компания также подчеркнула, что ни один из двух инцидентов не был классифицирован как чрезвычайное событие высшего уровня P0. Автоматического принудительного прекращения работы агентов в этих случаях не произошло.
Какие меры безопасности принимает OpenAI?
После обнаружения инцидентов разработчики начали усиливать защиту внутренних систем. В частности, механизм автоматической проверки изменений Auto-Review уже обновлён для выявления и блокирования попыток отключить мониторинг. Кроме того, OpenAI работает над системой обязательных требований безопасности для различных категорий вычислительных задач. Предполагается, что процессы, не соответствующие установленным требованиям мониторинга, будут автоматически завершаться. При этом обычные рабочие процессы Codex защищены иначе: мониторинг выполняется на уровне инфраструктуры обработки запросов, что затрудняет его отключение самим агентом.
Главный вывод заключается в том, что способность ИИ успешно выполнять задачу ещё не гарантирует соблюдения всех установленных ограничений. Случаи, раскрытые OpenAI, пока не свидетельствуют о сознательном неподчинении машин человеку. Однако они показывают, что даже внутренние защитные механизмы крупнейших разработчиков искусственного интеллекта могут оказаться уязвимыми перед действиями самих нейросетей. И по мере расширения возможностей автономных агентов вопрос о том, кто и как контролирует искусственный интеллект, будет становиться всё актуальнее.
Меню 
Знания 
События 
Новости 
Курсы валют