1 июля 2025 года Cloudflare, компания, работающая в области облачной безопасности, представила новый инструмент, позволяющий владельцам веб-сайтов контролировать и монетизировать доступ ИИ-кроулеров к их контенту.
ИИ-кроулеры (AI Crawlers) — это автоматизированные программы, используемые для сбора данных с веб-сайтов для обучения моделей искусственного интеллекта, таких как языковые или аналитические системы. Это решение стало ответом на растущие споры о правах на данные, используемые для обучения ИИ. Пока оно запущено в частном бета-тестировании.
Читайте также
Прорыв в нейроморфных вычислениях: чипы научились самообучаться
Инструмент дает владельцам сайтов возможность блокировать неавторизованных ИИ-кроулеров или устанавливать плату за доступ к контенту по модели «плата за кроулинг». Так можно не только защищать интеллектуальную собственность, но и создавать новый источник дохода. Инициативу поддержали крупные игроки, включая издательства Condé Nast (издания Vogue, The New Yorker, GQ, Vanity Fair, Wired, Architectural Digest, Condé Nast Traveler, Glamour, Bon Appétit), Associated Press (одно из крупнейших международных агентств информации и новостей), Fortune, Gannett Media | USA Today Network и многие другие, а также платформы Reddit и Pinterest.
Запуск инструмента происходит на фоне уже вспыхнувших юридических конфликтов. The New York Times подала иск против OpenAI и Microsoft за нарушение авторских прав, а Reddit ранее предъявляла претензии к Anthropic. В то же время соглашение Reddit с Google о лицензировании данных показывает альтернативные пути решения проблемы. По данным Cloudflare, соотношение «кроулинг к посетителям» для OpenAI достигает 1500:1, что подчеркивает масштаб неконтролируемого сбора данных.
Инструмент Cloudflare может изменить динамику взаимодействия между создателями контента и ИИ-компаниями. «Если Интернет собирается пережить эпоху ИИ, нам нужно предоставить издателям контроль, которого они заслуживают, и построить новую экономическую модель, которая будет работать для всех — создателей, потребителей, будущих основателей ИИ и будущего самого Интернета», — сказал Мэтью Принс (Matthew Prince), соучредитель и генеральный директор Cloudflare. «Оригинальный контент — это то, что делает Интернет одним из величайших изобретений прошлого века, и крайне важно, чтобы создатели продолжали его создавать. Роботы ИИ собирают контент без ограничений. Наша цель — вернуть власть в руки создателей, при этом продолжая помогать компаниям ИИ внедрять инновации. Речь идет о защите будущего свободного и динамичного Интернета с новой моделью, которая будет работать для всех».
В пресс-релизе Cloudflare также подчеркивается, что и разработчики ИИ оказываются в выигрыше: “Для того, чтобы ИИ-отрасль росла устойчиво, она должна делать это в сотрудничестве с издателями. Инструменты Cloudflare обеспечивают надежную основу для более справедливого обмена, предлагая обеим отраслям путь для совместного роста и процветания”.
Запуск инструмента Cloudflare подчеркивает необходимость новых подходов к управлению данными в цифровой экономике.



-1024x512.jpg)

