Databricks за полтора года взлетел с $38 млрд до $188 млрд, сменив фокус с Big Data на AI. В июле 2026 года компания опубликовала исследование, которое отвечает на главный вопрос разработчиков: могут ли открытые весовые модели конкурировать с проприетарными в реальных задачах кодинга. Ответ - да. Модель Z.ai GLM 5.2 показала результаты, не уступающие закрытым аналогам, при значительно меньших затратах на инференс. Второй вывод оказался неожиданным: выбор обвязки (harness) влияет на итоговую стоимость не меньше, чем сама модель. Разберём оба кейса.
Трансформация Databricks: от Big Data к AI и оценка $188 млрд
Databricks основали в 2013 году как коммерческую обёртку вокруг Apache Spark - open-source движка для обработки больших данных. Десять лет компания росла на волне Big Data, но к 2023 году рынок насытился. Облачные провайдеры встроили аналогичные инструменты в свои экосистемы, а спрос сместился в сторону AI-нагрузок. Databricks сделал ставку на генеративный AI и не прогадал.
Хронология перехода: от Spark к AI-платформе
Первый сигнал - запуск Databricks MLflow в 2018 году, open-source платформы для управления жизненным циклом ML-моделей. Это был мост между data engineering и machine learning. В 2021 году компания представила Databricks SQL - аналитику на lakehouse, но настоящий разворот начался в 2023-м с приобретением MosaicML за $1.3 млрд. MosaicML специализировалась на эффективном обучении и инференсе больших языковых моделей. Сделка дала Databricks технологию для запуска DBRX - собственной открытой модели, которая на момент выхода в марте 2024 года обходила Llama 2 и Mistral по бенчмаркам кодинга.
Параллельно компания переименовала платформу в Data Intelligence Platform, сместив акцент с хранения данных на их использование для AI. Ключевой месседж: «ваши данные уже лежат в lakehouse, теперь вы можете дообучать модели на них без переноса в сторонние системы». Этот аргумент сработал на корпоративных клиентов, уставших от зоопарка инструментов.
Финансовые показатели: как рынок оценил смену вектора
В сентябре 2024 года Databricks привлёк раунд на $10 млрд при оценке $62 млрд. К июлю 2026 года оценка достигла $188 млрд - рост в три раза менее чем за два года. Для сравнения: Snowflake, конкурент в сегменте data warehousing, за тот же период вырос с $55 млрд до $78 млрд. Рынок оценил не текущую выручку, а позицию Databricks как инфраструктурного слоя для enterprise AI. Инвесторы видят, что компании не нужен отдельный AI-продукт - lakehouse становится средой выполнения для моделей, агентов и RAG-систем. Подробнее о стратегиях крупных игроков на AI-рынке читайте в анализе стратегии Microsoft в 2026 году.
Открытые весовые модели против проприетарных: что показал тест Databricks
Исследование Databricks, опубликованное в июле 2026 года, сравнило открытую модель Z.ai GLM 5.2 с проприетарными аналогами на задачах кодинга. Цель - проверить, готова ли open-source альтернатива к production-использованию без компромиссов по качеству.
Методология оценки: как сравнивали модели
Тестовый набор включал 200 реальных задач из внутренних репозиториев Databricks: написание функций, рефакторинг, генерация тестов, отладка. Оценка шла по трём осям:
- Корректность - проходит ли код unit-тесты;
- Стиль и читаемость - соответствие внутренним стандартам компании;
- Эффективность - время выполнения и потребление памяти.
Для автоматизации использовали два метода: rule-based checks (проверка форматов, наличия аннотаций типов, соответствия сигнатур) и LLM-as-a-judge - отдельную модель, которая оценивала качество ответа по 10-балльной рубрике. Второй метод даёт более гибкую оценку, но имеет ограничение: LLM-судья сама может ошибаться. Подход с реальным запуском кода в песочницах подробно разобран в обзоре BigCodeArena.
Результаты: Z.ai GLM 5.2 не хуже, но дешевле
Модель Z.ai GLM 5.2 показала accuracy 87.4% против 88.1% у лучшего проприетарного конкурента - разница в пределах статистической погрешности. При этом стоимость инференса на 1 млн токенов оказалась в 4.2 раза ниже: $2.80 против $11.90 у проприетарного API. Для команды, генерирующей 10 млн токенов в день, экономия составляет $91 000 в месяц.
| Модель | Accuracy (кодинг) | Задержка (сек) | Стоимость за 1M токенов |
|---|---|---|---|
| Z.ai GLM 5.2 (открытая) | 87.4% | 2.3 | $2.80 |
| Проприетарная A | 88.1% | 1.9 | $11.90 |
| Проприетарная B | 86.7% | 2.8 | $9.50 |
Ограничения исследования: тесты проводились на внутренних задачах Databricks, результаты могут отличаться для других доменов. Модель Z.ai GLM 5.2 оптимизирована под Python и TypeScript - для Rust или Go разрыв с проприетарными аналогами может быть больше.
Обвязка (harness) как фактор стоимости: почему выбор инструмента не менее важен, чем модель
Второй вывод исследования Databricks: при одинаковой модели разные harness дают разницу в стоимости до 35%. Это сопоставимо с разницей между поколениями моделей. Разработчики часто фокусируются на выборе модели и игнорируют обвязку, а зря.
Что такое harness и почему он влияет на бюджет
Harness (обвязка) - это слой между IDE или агентом и API модели. Он управляет промптами, кэширует повторяющиеся запросы, сжимает контекст, роутит простые задачи на более дешёвые модели. Неэффективная обвязка может отправлять полный контекст репозитория при каждом вызове, даже если модель уже обработала 90% файлов. Это увеличивает расход токенов в 3-5 раз без прироста качества.
Пример из теста Databricks: задача «добавить метод в класс» при наивном подходе отправляет весь файл (800 строк) и историю диалога (1200 токенов). С кэшированием и дельта-обновлениями контекста - только изменённый метод и сигнатуру класса (90 токенов). Разница в стоимости одного вызова: $0.011 против $0.002.
Сравнение обвязок: Pi open-source и коммерческие решения
Databricks протестировал три harness: коммерческий Copilot Chat API, внутреннюю обвязку на базе LangChain и open-source Pi. Результаты для модели Z.ai GLM 5.2 на 10 000 вызовов:
| Harness | Общая стоимость | Средняя задержка | Токенов на вызов (среднее) |
|---|---|---|---|
| Коммерческий A | $124.00 | 2.1 сек | 4400 |
| LangChain (базовый) | $98.00 | 2.8 сек | 3500 |
| Pi (open-source) | $67.00 | 2.3 сек | 2400 |
Pi сократил расходы на 46% относительно коммерческого решения за счёт агрессивного кэширования эмбеддингов и дедупликации контекста. При этом задержка осталась на уровне коммерческого аналога. Для команд, которые только начинают оптимизировать AI-инфраструктуру, полезен разбор методологии A.L.F.R.E.D., где малые модели с адаптивным роутингом обходят гигантов по соотношению цена/качество.
Практический урок: как построить оценку AI-агента с помощью eval harness
Databricks не только тестирует модели, но и публикует методологию оценки агентов. Eval harness - это фреймворк, который прогоняет агента на фиксированном наборе входов и оценивает выходы по ожиданиям. Аналог test suite для AI-систем.
Компоненты eval harness: rule-based checks и LLM-as-a-judge
Rule-based checks проверяют детерминированные свойства: формат JSON, наличие обязательных полей, соответствие regex-шаблонам. Они быстрые и надёжные, но не оценивают смысловое качество. LLM-as-a-judge использует отдельную модель (в примере Databricks - Qwen 2.5) для оценки по рубрике: читаемость кода, следование инструкциям, отсутствие галлюцинаций.
Компромисс: LLM-судья может ошибаться. Databricks рекомендует комбинировать оба метода: rule-based для жёстких ограничений, LLM-as-a-judge для семантической оценки. И всегда проверять выборку результатов вручную.
Пример настройки: тестируем агента с инструментами времени и подсчёта слов
Пример из документации Databricks: локальный агент на LangChain с моделью Qwen через Ollama. Агент получает два инструмента - получение текущего времени и подсчёт слов в строке. Eval harness содержит 15 тестовых кейсов:
# Инициализация агента
from langchain.agents import initialize_agent, Tool
from langchain.llms import Ollama
llm = Ollama(model="qwen2.5:7b")
tools = [
Tool(name="get_time", func=lambda _: "2026-07-18T14:30:00Z"),
Tool(name="word_count", func=lambda s: str(len(s.split())))
]
agent = initialize_agent(tools, llm, agent="zero-shot-react-description")
# Запуск eval harness
from eval_harness import run_eval
results = run_eval(
agent=agent,
test_cases="test_cases.json",
rule_checks=["output_format", "no_hallucination"],
llm_judge=True
)
print(f"Pass rate: {results['pass_rate']:.1%}")Вывод: pass rate 87% (13 из 15 кейсов). Два провала связаны с неправильным вызовом инструмента - агент пытался подсчитать слова без передачи аргумента. Это выявило регрессию в промпте агента, которую исправили до деплоя. Оценка не доказывает совершенство агента, но ловит регрессии до того, как они попадут в production.
Масштабирование: orchestrated runs и облачные дочерние агенты
Одиночный агент решает линейные задачи. Для реальных проектов Databricks использует orchestrated runs - родительский агент, который порождает дочерних для параллельного выполнения подзадач.
Кейс: миграция тестов с помощью orchestrated agents
Внутренний кейс Databricks: миграция 1200 тестовых файлов из Jest в Vitest. Родительский агент сканирует репозиторий, группирует файлы по директориям и порождает одного дочернего агента на директорию. Каждый дочерний агент получает контекст: исходный файл, правила миграции, примеры успешных конвертаций.
Результаты: 1200 файлов обработаны за 14 минут (последовательный подход занял бы 3 часа). Качество миграции - 94% файлов прошли тесты с первого раза. Оставшиеся 6% потребовали ручных правок, в основном из-за нестандартных конфигураций Jest. Стоимость инференса: $18.40 за всю миграцию при использовании Z.ai GLM 5.2 и Pi harness.
Инструменты для orchestrated runs: Warp, Oz CLI и API
Databricks предоставляет три способа запуска orchestrated runs:
- Warp app - десктопное приложение для интерактивного запуска и мониторинга агентов. Подходит для экспериментов и отладки.
- Oz CLI - командная строка для CI/CD пайплайнов. Позволяет запускать orchestrated runs из GitHub Actions или Jenkins.
- Oz API - программный интерфейс для интеграции с внутренними системами. Родительский агент может порождать облачных детей, даже если сам запущен локально.
Дочерние агенты могут выполняться в разных окружениях: локально на машине разработчика или в облаке с GPU. Это решает проблему ресурсов: родитель работает на CPU, а тяжёлые задачи уходят на облачные инстансы с A100. Подробнее о запуске моделей на доступном железе читайте в обзоре Inkling и других открытых моделей.
Выводы: как оптимизировать AI-кодинг уже сегодня
Три вывода из кейса Databricks, которые можно применить в своём проекте:
- Открытые модели достигли паритета с проприетарными для задач кодинга. Z.ai GLM 5.2 показывает accuracy 87.4% при стоимости в 4.2 раза ниже. Начните с тестирования этой модели на своих репозиториях - eval harness из примера выше занимает час на настройку.
- Выбор harness критичен для контроля затрат. Переход с коммерческой обвязки на open-source Pi сократил расходы на 46% в тесте Databricks. Проверьте, сколько токенов уходит на повторяющиеся запросы в вашей системе - скорее всего, кэширование и дедупликация контекста окупятся в первый месяц.
- Систематическая оценка агентов через eval harness обязательна для production. Без неё вы узнаете о регрессиях от пользователей. Комбинируйте rule-based checks и LLM-as-a-judge, проверяйте выборку вручную.
Databricks прошёл путь от Spark к AI-платформе за три года и теперь публикует методологию, которая помогает другим командам не наступать на те же грабли. Открытые веса, правильная обвязка и систематическая оценка - три столпа, на которых держится экономически эффективный AI-кодинг в 2026 году.