Что такое EdgeRazor и почему 1,88 бит - это прорыв
EdgeRazor - метод пост-тренировочного сжатия больших языковых моделей, доводящий среднюю точность весов до 1,88 бита на параметр. Разработчики совместили адаптивное смешанное квантование с дистилляцией знаний, управляемой через энтропийные метрики. Результат: модель сжимается в 8–10 раз относительно стандартного FP16, сохраняя компетенции исходной полноразмерной версии. Это не округление весов «в лоб» и не классическое QAT, где сеть изначально обучают под низкую точность. EdgeRazor берёт уже готовую модель-учителя и выращивает компактного студента, который воспроизводит её поведение, но занимает кратно меньше памяти.
Практический выхлоп прямой. Модель на 13 миллиардов параметров после обработки EdgeRazor умещается примерно в 3 ГБ видеопамяти. Это уровень потребительских GPU с 8–12 ГБ VRAM, где раньше с трудом запускались квантованные 7B-модели. При этом инференс-движки вроде llama.cpp работают без патчей и модификаций - EdgeRazor не меняет внутреннее представление тензоров, а просто выдаёт компактную FP16-сеть, которая уже внутри себя несёт «знание» о том, как работать в низкой точности.
Смешанное квантование: почему нельзя просто взять и обрезать все слои одинаково
Равномерное квантование всех слоёв до 2 бит убивает качество на первых же шагах. Причина - разная чувствительность компонентов трансформера к потере точности. Attention-слои, особенно проекции query и key, критичны к малейшим искажениям весов: ошибка в 2–3% здесь ломает механизм внимания и модель начинает галлюцинировать. Feed-forward блоки, наоборот, избыточны - их можно резать агрессивнее без заметной деградации.
EdgeRazor анализирует энтропию распределения весов послойно и назначает битность индивидуально: от 1 до 4 бит. Слой с высокой энтропией - веса распределены широко, много уникальных значений - получает больше бит. Слой с низкой энтропией - веса сконцентрированы вокруг нескольких центров - квантуется жёстче. Такой подход даёт среднюю точность 1,88 бита, но без провалов на ключевых компонентах. Это принципиально отличается от методов вроде GPTQ или AWQ, которые калибруют квантование по одному проходу датасета и не учитывают структурную роль слоя в архитектуре.
Дистилляция знаний с энтропийным управлением: как студент учится у учителя
Процесс дистилляции в EdgeRazor устроен иначе, чем классическая дистилляция Hinton. Учитель - полноразмерная модель в FP16 - прогоняет обучающий датасет и генерирует не жёсткие метки классов, а полное распределение вероятностей по всему словарю (логиты). Студент - квантованная версия - учится воспроизводить это распределение, а не просто угадывать правильный токен. Это позволяет передать «тёмное знание»: нюансы ранжирования альтернативных токенов, которые не видны в one-hot разметке.
Энтропийное управление регулирует температуру softmax динамически, опираясь на энтропию выходного распределения учителя. Если учитель выдаёт уверенный прогноз (низкая энтропия), температура снижается - студент фокусируется на целевом токене. Если учитель колеблется (высокая энтропия), температура растёт - студент получает более гладкий сигнал и не переобучается на шум. Такой адаптивный механизм стабилизирует обучение и не даёт студенту скатиться в запоминание артефактов квантования.
Плата за качество - вычислительные затраты. Дистилляция требует полного прогона учителя на размеченном корпусе, часто многократного. Для 7B-модели это десятки GPU-часов на A100. Обычное PTQ (Post-Training Quantization) делает то же самое за минуты на одном GPU. Разработчики EdgeRazor не скрывают этого компромисса: метод для сценариев, где модель сжимается один раз, а развёртывается на тысячах устройств.
EdgeRazor vs QAT: почему llama.cpp работает без модификаций
Quantization-Aware Training внедряет симуляцию квантования прямо в процесс обучения: веса и активации «округляются» на каждом forward-проходе, градиенты текут через эти операции. Проблема в том, что QAT меняет внутреннее представление модели - веса оптимизируются под конкретную схему квантования, и для инференса нужен рантайм, который умеет эту схему исполнять. llama.cpp с QAT-моделями не работает или требует самописных конвертеров.
EdgeRazor идёт другим путём. Студент обучается в стандартном FP16, а квантование применяется как внешнее ограничение через дистилляцию. На выходе получается обычная FP16-модель, которая «знает», как вести себя при низкой точности, но не требует специального рантайма. Конвертация в GGUF и запуск в llama.cpp происходят штатно: берёте сжатую модель, прогоняете через стандартный convert-hf-to-gguf.py, загружаете в llama.cpp. Никаких форков, патчей или кастомных билдов. Для сообщества локального инференса это критически важно: метод встраивается в существующие пайплайны без трения.
Практический пример. Сжатая EdgeRazor версия Qwen3-1.7B загружается в llama.cpp командой ./llama-cli -m qwen3-1.7b-edgerazor.Q2_K.gguf -p "Привет, мир" и работает с той же производительностью, что и обычная Q2_K-модель, но с качеством, близким к Q4_K. Это проверено на стандартных бенчмарках - MMLU, HellaSwag, ARC - где студент EdgeRazor стабильно обходит модели аналогичного размера, квантованные через PTQ.
Модели, сжатые EdgeRazor: что уже можно попробовать
Авторы выложили на Hugging Face четыре демонстрационные модели, покрывающие диапазон от сверхлёгких до средних архитектур. Код метода открыт под MIT-лицензией, репозиторий содержит скрипты для дистилляции и готовые чекпоинты. Все модели протестированы на совместимость с llama.cpp и стандартными инструментами экосистемы Hugging Face Transformers.
MobileLLM: сверхлёгкая модель для мобильных устройств
MobileLLM - архитектура, изначально спроектированная для edge-устройств, с 125 миллионами параметров в базовой версии. После обработки EdgeRazor модель сжимается до 29 МБ на диске и потребляет менее 100 МБ оперативной памяти при инференсе. Это уровень, на котором LLM запускается на смартфонах среднего сегмента и одноплатных компьютерах вроде Raspberry Pi 5. Качество на бенчмарках типа TinyBench сохраняется в пределах 3% от оригинала, что для задач классификации текста и простых диалоговых сценариев достаточно.
Qwen3 и Qwen2.5-Omni: сжатие средних и крупных моделей
Три модели семейства Qwen демонстрируют масштабируемость метода. Qwen3-0.6B (600M параметров) после сжатия занимает 150 МБ и показывает качество на MMLU в 35,2% против 36,1% у оригинала - падение менее процента. Qwen3-1.7B сжимается до 400 МБ, сохраняя 45,8% на MMLU при исходных 47,2%. Qwen2.5-Omni-7B - самая крупная из доступных - теряет около 2% точности на HellaSwag, но уменьшается с 14 ГБ до 1,8 ГБ в FP16-эквиваленте. Это позволяет запускать 7B-модель на GPU с 4 ГБ VRAM, что ранее было недостижимо без агрессивного квантования с серьёзной потерей качества.
Все четыре модели доступны в формате safetensors и совместимы с библиотекой Transformers. Конвертация в GGUF для llama.cpp занимает стандартные 2–3 минуты на CPU. Авторы документировали процесс в README репозитория - от клонирования до первого запуска проходит не более 10 минут.
Ограничения EdgeRazor: когда метод не окупается
Дистилляция с энтропийным управлением требует полного прогона учителя на крупном датасете. Для 7B-модели это 100–200 ГБ текста и 40–80 часов на 8×A100. Стоимость такого прогона в облаке - от $500 до $1500 за одну модель. Обычное PTQ через тот же llama.cpp делается на CPU за 10–30 минут и стоит ноль. Если вы сжимаете модель для одного деплоя на своём сервере, EdgeRazor не окупается - проще взять Q4_K_M и смириться с потерей пары процентов точности.
Метод окупается в сценариях массового деплоя: производитель устройств сжимает модель один раз и разливает её на миллион гаджетов. Или облачный провайдер оптимизирует инференс под конкретное железо и экономит на VRAM в масштабе сотен GPU. Здесь затраты на дистилляцию амортизируются за счёт снижения требований к памяти на каждом инстансе.
Текущий пул демо-моделей ограничен 7B - авторы не показали результатов на 13B, 30B или 70B архитектурах. Масштабирование дистилляции на крупные модели упирается в квадратичный рост вычислительных затрат и проблемы со стабильностью энтропийного управления при большом словаре. Это не означает, что метод не работает для крупных моделей, но практических подтверждений пока нет. Сравнение с другими подходами к сжатию - SLQ, который даёт 3,3 бита с формальными гарантиями fidelity, или GGUF-квантование, активно поддерживающее MoE-архитектуры и 1-битные форматы - показывает, что EdgeRazor выигрывает по степени сжатия, но проигрывает по простоте и стоимости применения.
Перспективы: запуск больших LLM на потребительских GPU
При средней точности 1,88 бита на параметр модель на 30 миллиардов параметров занимает около 7 ГБ видеопамяти. Это укладывается в бюджет RTX 4070 (12 ГБ) с запасом под KV-кэш и батчинг. Модель на 70 миллиардов - около 16 ГБ, что помещается на RTX 4090 или в 24 ГБ VRAM профессиональных карт. Сегодня такие модели требуют либо нескольких GPU, либо CPU-оффлоада с катастрофической потерей скорости, как в случае с Qwen3.5 122B, где генерация падает до 2,9 токенов в секунду на CPU.
EdgeRazor потенциально закрывает разрыв между средними моделями класса 27B–35B и тяжёлыми 120B+, о котором сообщество локального инференса говорит с 2025 года. Пользователи с GPU уровня AMD V620 или RTX 4090 получают доступ к 70–80B MoE-моделям без деградации скорости ниже 15–20 токенов в секунду - порога комфортной работы в агентных сценариях. Это тот самый промежуточный класс, которого не хватало между быстрыми средними и мощными, но медленными крупными моделями.
Метод молодой, первая публикация - лето 2026 года. Пока нет индустриальных внедрений и независимых аудитов качества на широком наборе бенчмарков. Демо-модели на Hugging Face - proof of concept, а не production-grade решения. Направление перспективное: если авторы решат проблему масштабирования дистилляции и подтвердят результаты на 30B+, EdgeRazor изменит экономику локального инференса. Производители потребительских GPU получат аргумент для апсейла: «ваша карта теперь тянет модель, которая раньше требовала серверного железа».