Экспоненциальный нарратив трещит по швам
Последние пять лет индустрия ИИ жила одной простой мантрой: больше данных, больше параметров, больше вычислений. Это работало. GPT-3 удивлял, GPT-4 поражал, а Claude 3 Opus заставлял задуматься о сингулярности. Но сейчас что-то пошло не так.
Точнее, не "пошло не так", а уперлось в фундаментальные ограничения реального мира. Те самые законы масштабирования, которые вывели OpenAI на вершину, теперь становятся их же тюрьмой.
Сэм Альтман в интервью 2024 года говорил: "Мы еще не видели потолка масштабирования". Через год он уже обсуждал "нелинейные затраты" и "физические ограничения". Разворот на 180 градусов за 12 месяцев.
Три стены, в которые упрется ИИ
Представьте себе бег на 100 метров. Первые 50 метров вы ускоряетесь экспоненциально. Но потом мышцы устают, дыхание сбивается, и скорость роста падает. С ИИ происходит ровно то же самое, только вместо мышц — законы физики.
Стена №1: Энергетический голод
Один тренировочный прогон GPT-5 потребляет больше энергии, чем небольшой город за месяц. Это не метафора. Это реальные цифры из отчетов о гипермасштабных дата-центрах.
Что будет с GPT-6? С GPT-7? Каждый следующий порядок увеличения параметров требует экспоненциально больше энергии. И мы уже подходим к точке, где для обучения одной модели нужно будет построить отдельную электростанцию.
| Модель | Энергопотребление (кВт·ч) | Рост относительно предыдущей |
|---|---|---|
| GPT-3 | 1,287,000 | — |
| GPT-4 | ~51,000,000 | 40× |
| GPT-5 (оценка) | ~200,000,000+ | 4× |
Стена №2: Конец качественных данных
Предположим, у нас бесконечная энергия (что, конечно, невозможно). Следующая проблема: нечем кормить модели.
Весь интернет уже прочесан. Книги оцифрованы. Научные статьи, патенты, код — все в датасетах. Что дальше? Начинать генерировать синтетические данные, что приводит к модельному коллапсу. Или платить людям за создание контента специально для обучения ИИ. Оба варианта убивают экономику масштабирования.
Стена №3: Возврат убывающей отдачи
Здесь начинается самое интересное. Первые 100 миллиардов параметров давали огромный прирост качества. Следующие 100 миллиардов — заметный, но меньший. Еще 100 миллиардов — едва заметный.
Кривая выходит на плато. Вы тратите в 10 раз больше ресурсов, чтобы получить улучшение на 2-3%. Для бизнеса это становится бессмысленным. Особенно когда появляются более умные архитектуры, как те, что обсуждались в прогнозе по закону уплотнения.
Почему инвесторы не видят (или не хотят видеть) стену?
Тут работает простая психология. Когда вы вложили $10 миллиардов в парадигму "больше — значит лучше", сложно признать, что парадигма устарела. Особенно когда акции растут на хайпе.
Но физику не обманешь. Как не обманешь и математику. Законы масштабирования — не рекомендации. Это жесткие ограничения, которые рано или поздно ударят по всем. Даже по OpenAI с их $100 миллиардами оценки.
Интересный парадокс: чем больше компания инвестирует в масштабирование, тем быстрее она приближает момент, когда масштабирование станет экономически невыгодным. Это классическая ловушка инвестиций в убывающую отдачу.
Что будет вместо бесконечного роста?
Сценарий не апокалиптический. Просто индустрия сменит фокус. Вместо "сделать модель в 10 раз больше" будет "сделать модель в 10 раз умнее на тех же ресурсах".
- Архитектурные инновации — новые подходы к вниманию, памяти, обучению. Не больше параметров, а умнее их организация
- Специализация — вместо одной модели на все случаи, тысячи узкоспециализированных моделей
- Эффективность — квантование, дистилляция, pruning. Все то, что сегодня считается "оптимизацией", станет основным направлением
- Гибридные системы — ИИ + символьные вычисления + экспертные системы
Кстати, о гибридных системах. Посмотрите на попытки стран создать суверенный ИИ. Они все упираются в те же ограничения. Нет данных, нет вычислений, нет специалистов. И вместо того чтобы гнаться за масштабом, некоторые выбирают путь специализированных решений.
Когда конкретно всё сломается?
Точную дату не назовет никто. Но признаки уже есть:
- Тренировочные прогоны становятся длиннее, а улучшения — меньше (уже сейчас)
- Компании начинают говорить об "эффективности" вместо "масштаба" (следующие 12-18 месяцев)
- Появляются стартапы, которые бьют гигантов на моделях в 100 раз меньше (2-3 года)
- Инвесторы перестают финансировать "еще одну большую модель" (3-4 года)
Самое забавное: когда это случится, все будут делать вид, что так и планировали. "Мы всегда знали, что масштабирование не вечно", — скажут в OpenAI. Хотя сегодня они тратят миллиарды на обратное.
Что это значит для разработчиков и компаний?
Если вы строите бизнес на ИИ, самое время пересмотреть стратегию. Ставка на то, что через год появится модель в 10 раз лучше и вы сможете на ней заработать — рискованная.
Лучше сфокусироваться на:
- Интеграции существующих моделей в бизнес-процессы
- Создании специализированных решений для конкретных отраслей
- Оптимизации затрат на инференс (это станет ключевым конкурентным преимуществом)
- Разработке собственных небольших, но эффективных моделей
Кстати, об оптимизации. Посмотрите на историю Runpod. Они стали популярны именно потому, что помогали разработчикам запускать модели дешевле. Когда масштабирование упрется в потолок, такие сервисы будут стоить дороже, чем доступ к очередному GPT-N.
Мой прогноз: к 2028 году самая дорогая часть ИИ-стартапа будет не доступ к большой модели, а команда, которая умеет заставить маленькую модель работать как большая. Навыки оптимизации будут цениться выше, чем навыки масштабирования.
Ирония судьбы: хайп ускоряет конец эры
Чем больше соцсети раздувают хайп вокруг каждого нового релиза, тем быстрее компании вынуждены выпускать "прорывные" модели. Тем быстрее они сжигают данные, энергию и деньги. Тем быстрее приближают момент, когда продолжать в том же духе станет невозможно.
Это как если бы Ferrari каждые шесть месяцев должна была выпускать машину, которая едет на 50 км/ч быстрее предыдущей. Через пару лет они уперлись бы в звуковой барьер, а через пять — в законы физики.
Что делать обычному разработчику в этой ситуации? Не верить в бесконечный рост. Не строить долгосрочные планы на основе предположения, что через два года модели будут в 100 раз умнее. Изучать архитектурные инновации. Учиться оптимизировать. И помнить, что самый большой прорыв в ИИ может оказаться не в создании большей модели, а в том, чтобы заставить маленькую модель делать то, что раньше требовало большой.
P.S. Когда читаете очередной заголовок "Компания X анонсировала модель с N триллионами параметров", спросите себя: "А на сколько процентов она лучше предыдущей? И во сколько раз дороже?" Ответы обычно убивают всю магию.