Традиционный подход к масштабированию при создании новой модели искусственного интеллекта (ИИ) от OpenAI столкнулся с техническими ограничениями. Тесты показали, что разрабатываемая модель ИИ показывает меньший прирост производительности, чем ее предшественники. Эта модель достигла уровня GPT-4, завершив 20% процесса обучения. Обучение ИИ — процесс нелинейный, здесь наибольшие улучшения обеспечиваются на ранних этапах, затем эффективность быстро снижается. Оставшиеся 80% времени уже не смогут показать прирост, каким радовали предыдущие поколения ИИ от OpenAI.
OpenAI накануне получила дополнительное финансирование на $6,6 млрд. И теперь компания столкнулась не только с техническими ограничениями, но и с беспокойством инвесторов. Коммерческой компании приходится решать проблемы разработки в условиях повышенного ожидания инвесторов.
OpenAI столкнулась с фундаментальной проблемой всей отрасли ИИ: заканчиваются качественные данные для обучения. Согласно исследованиям, опубликованным в этом году, общедоступные текстовые данные, созданные человеком и пригодные для обучения ИИ, могут быть исчерпаны в период между 2026 и 2032 годами.
Большие модели ИИ не смогут дальше развиваться только за счет масштабирования данных. Пришло время пересмотреть традиционные подходы к обучению ИИ и по новому взглянуть на сложившиеся архитектуры моделей. Исследователи предлагают включать в обучающую выборку закрытые данные, использовать генерацию синтетических данных, совершенствовать стратегии обучения на выборках меньших объемов.
Для решения проблемы в OpenAI изменили стратегию разработки. Была выделена «серия O», ориентированная на рассуждения. В архитектуре моделей она представляет собой новое направление. Разработчикам пришлось разделить монолитную модель на специализированные ветви ИИ.
Рассуждения «серии О» требуют высокой интенсивности вычислений, увеличивая расходы в шесть раз. Рассуждения необходимы для генерации достаточного количества синтетических данных и постоянного повышения качества новой модели ИИ от OpenAI.
Параллельно продолжает развиваться исходная модель, концентрируясь на общих задачах обработки языка и коммуникации. Она поддерживает более эффективные вычисления, использует расширенную базу знаний для письма и аргументаций. В дальнейшем, компания планирует слить оба направления разработки в единую модель.
Подход OpenAI привлекает внимание разработчиков отрасли и вызывает множество вопросов. Генерация обучающих данных, как показали недавние исследования, приводит к деградации ИИ после нескольких итераций обучения. Чтобы избежать деградации, команда разработчиков внедряет различные методы проверки, изучает гибридные подходы, обучая на созданном человеком контенте и на синтетических данных, использует оптимизацию после обучения.
Окажется ли эффективным решение проблемы дефицита данных, предлагаемое OpenAI, можно будет узнать после выхода GPT-5. Но это, скорее всего, как раз и произойдет где-то между 2026 и 2032 годами.
