Что произошло: Nota AI и модель Solar-Open2-250B-Nota-INT4-GlobalPruned
Компания Nota AI анонсировала модель Solar-Open2-250B-Nota-INT4-GlobalPruned - результат сжатия 250-миллиардной модели до 32 миллиардов параметров. Сокращение в 7,8 раза выполнено методом REAP (Randomized Efficient Adaptive Pruning). По заявлению разработчиков, уменьшенная версия превосходит DeepSeek-V4-Flash в режиме максимального времени размышлений.
Детали тестирования и сравнительные бенчмарки пока не раскрыты. Это ключевой фактор неопределённости, требующий осторожной оценки. Тем не менее сам факт сжатия без катастрофической потери качества заслуживает внимания - особенно в контексте растущих требований к эффективности инференса.
Модель построена на архитектуре Solar Open 2 от Upstage. Наш детальный разбор Solar Open 2 показывает, что оригинальная 250B-модель уже конкурировала с DeepSeek V4 Flash по ключевым бенчмаркам. Сжатие до 32B при сохранении этого уровня - потенциально серьёзный сдвиг в экономике развёртывания больших языковых моделей.
REAP: как работает Randomized Efficient Adaptive Pruning
REAP расшифровывается как Randomized Efficient Adaptive Pruning - рандомизированное эффективное адаптивное удаление параметров. В отличие от классического прунинга, который обрезает фиксированный процент весов по заранее заданному порогу, REAP использует стохастический подход с динамической адаптацией.
Классический structured pruning удаляет целые блоки - слои, головы внимания, каналы. Это даёт предсказуемый выигрыш в скорости, но часто приводит к резкому падению качества. Unstructured pruning обнуляет отдельные веса, сохраняя больше информации, но создаёт разреженные матрицы, неудобные для GPU-ускорения. REAP, судя по описанию, комбинирует элементы обоих подходов: рандомизация помогает избежать систематического смещения при выборе удаляемых параметров, а адаптивный порог подстраивается под каждый слой индивидуально.
Технически процесс выглядит так: алгоритм оценивает вклад каждого параметра в выход модели, добавляет случайный шум для устойчивости оценки, затем адаптивно определяет порог отсечения для каждой группы весов. Параметры, чей вклад стабильно ниже порога с учётом рандомизации, удаляются. Оставшиеся веса дообучаются коротким циклом для компенсации потерь.
Почему 250B → 32B без потери качества - это реально
Современные большие модели содержат колоссальную избыточность. Исследования показывают, что до 60-80% параметров в LLM можно удалить без значимого влияния на метрики - при условии грамотного выбора удаляемых весов и последующего дообучения.
REAP эксплуатирует этот факт через два механизма. Первый - рандомизированная оценка важности: вместо однократного вычисления значимости веса алгоритм делает несколько проходов с разными случайными подвыборками данных и усредняет результат. Это снижает риск удалить параметр, критичный для узкого, но важного домена. Второй - адаптивный порог: слои, отвечающие за раннее кодирование синтаксиса, сохраняют больше параметров, а слои, накапливающие фактологические знания, прореживаются агрессивнее.
Результат - семикратное сжатие без обвала качества. Если независимые тесты подтвердят заявленные показатели, это станет одним из самых агрессивных успешных прунингов в истории открытых моделей.
Сравнение с DeepSeek-V4-Flash: что говорят цифры и где осторожность
Заявление о превосходстве над DeepSeek-V4-Flash - центральный пункт анонса. DeepSeek V4 Flash на момент публикации остаётся одним из лидеров по соотношению цена-качество. Модель с 284B общих параметров и 13B активных на токен показывает результаты, сопоставимые с флагманскими закрытыми решениями, при значительно меньшей стоимости API. Мы подробно разбирали экономику инференса DeepSeek в анализе цен и производительности моделей 2026 года.
Превзойти такой бенчмарк - сильная заявка. Но без раскрытых цифр она остаётся именно заявкой. Неизвестно, на каких задачах проводилось сравнение, какие метрики использовались, как контролировались условия тестирования. Без этих данных невозможно оценить, идёт ли речь о статистически значимом превосходстве или о маргинальной разнице в пределах погрешности.
Режим максимального времени размышлений: что это меняет в оценке
Режим максимального времени размышлений - это конфигурация инференса, при которой модель получает дополнительный вычислительный бюджет на генерацию каждого токена. В авторегрессионных моделях это может означать увеличение числа шагов рассуждения, более глубокий поиск по дереву ответов или множественные итерации уточнения.
Практический эффект: качество ответов растёт, но пропускная способность падает. Модель, которая превосходит конкурента в режиме максимального времени размышлений, может уступать ему при равных вычислительных бюджетах. Это не отменяет ценность результата - для задач, где качество критично, а задержка допустима, такой режим может быть оптимальным. Но сравнивать его с performance-режимом DeepSeek-V4-Flash некорректно, если не указаны условия тестирования для обеих моделей.
Рекомендация: дождаться независимых тестов на стандартизированных бенчмарках и сравнивать модели при одинаковых ограничениях по времени инференса.
Практическая ценность: запуск больших моделей на ограниченном оборудовании
Сжатие с 250B до 32B параметров меняет требования к оборудованию радикально. Полная 250B-модель в FP16 требует около 500 ГБ видеопамяти - это минимум четыре H100 с 80 ГБ каждая, стоимостью более $120 000. Сжатая 32B-модель в INT4 укладывается в 16-20 ГБ - уровень одной потребительской карты RTX 4090 или RTX 6000 Ada.
Это открывает три практических сценария. Первый - локальный инференс на корпоративных серверах без отправки данных во внешние API. Второй - развёртывание на edge-устройствах с ограниченным энергопотреблением. Третий - кратное снижение стоимости облачного инференса: меньше памяти - дешевле аренда GPU, выше пропускная способность.
Сколько нужно памяти и какие GPU подойдут
Приблизительный расчёт для 32B модели в INT4:
- Веса: 32 млрд параметров × 0,5 байта = 16 ГБ
- KV-кэш для контекста 4096 токенов: около 2-4 ГБ
- Накладные расходы фреймворка: 2-3 ГБ
- Итого: 20-23 ГБ VRAM
Подходящие GPU: RTX 4090 (24 ГБ), RTX 6000 Ada (48 ГБ), A100 40GB, H100 80GB. Для CPU-инференса потребуется 32-64 ГБ оперативной памяти - конфигурация, доступная на большинстве современных рабочих станций.
Для сравнения: Nanbeige 4.2-3B с Looped Transformer при 3B параметров показывает агентные результаты на уровне 9B-12B моделей. Сжатая Solar-Open2-250B-Nota на два порядка больше, но благодаря INT4 и прунингу умещается в схожие аппаратные бюджеты.
Ограничения и следующие шаги: что мы пока не знаем
Отсутствие раскрытых бенчмарков - главный ограничивающий фактор. Без них невозможно оценить реальное качество модели. Дополнительные риски:
- Потеря качества на специфических доменах: прунинг может disproportionately затронуть редкие знания, не представленные в данных дообучения.
- Нестабильность при определённых промптах: разреженные модели иногда дают непредсказуемые ответы на шаблоны, не встреченные при калибровке.
- Чувствительность REAP к архитектуре: метод может быть оптимизирован под MoE-архитектуру Solar Open 2 и не переноситься напрямую на dense-модели.
- Отсутствие сравнения с другими сжатыми моделями: непонятно, как Solar-Open2-250B-Nota выглядит на фоне дистиллированных или квантованных аналогов.
Когда ждать независимых тестов и как их интерпретировать
Обычно независимые тесты появляются через 1-4 недели после анонса. При оценке результатов обращайте внимание на:
- MMLU-Pro и GPQA-Diamond - тесты на фактологические знания и рассуждения.
- HumanEval и LiveCodeBench - задачи на генерацию кода.
- SWE-Bench Verified - реальные задачи исправления багов в открытых репозиториях.
- HELM - комплексная оценка по десяткам метрик, включая fairness и безопасность.
Критично тестировать модель на задачах, релевантных вашему проекту. Бенчмарки общего назначения могут не отражать качество на узкоспециализированных доменах. Если модель показывает хорошие результаты на MMLU, но проваливается на вашей внутренней выборке юридических документов - бенчмарк не релевантен.
Наш разбор Laguna S 2.1 - пример подхода, где модель тестируется на конкретных агентных задачах с измеримыми метриками, а не только на стандартных бенчмарках. Такой же подход стоит применить к Solar-Open2-250B-Nota, когда она станет доступна.
REAP в контексте других методов сжатия: что дальше?
REAP входит в растущее семейство методов посттренировочной оптимизации. Квантизация - GPTQ, AWQ, GGUF - уменьшает точность весов, но не меняет архитектуру. Дистилляция тренирует маленькую модель повторять поведение большой, но требует дорогого процесса обучения. Structured pruning удаляет целые компоненты, давая максимальный выигрыш в скорости ценой качества.
REAP занимает промежуточную позицию: агрессивное сжатие с адаптивным выбором удаляемых параметров и дообучением. Потенциально REAP может комбинироваться с квантизацией - сначала прунинг до 32B, затем INT4-квантизация до 16 ГБ. Это дало бы дополнительное двукратное сжатие без дальнейшей потери качества, если прунинг уже удалил избыточные веса.
Тренд очевиден: прунинг становится стандартным этапом подготовки моделей к продакшену. Если год назад развёртывание 250B-модели требовало кластера GPU, то теперь та же функциональность потенциально доступна на одной карте. Для команд, работающих с ограниченными бюджетами, это сокращает барьер входа в использование state-of-the-art моделей на порядок.
Остаётся ждать публикации модели и независимых тестов. Если заявленные показатели подтвердятся, REAP может стать стандартом де-факто для сжатия больших MoE-моделей - аналогично тому, как GGUF стал стандартом для квантизации на CPU.