Что такое Supra2.5-65M и почему вокруг неё шум
SupraLabs выпустила Supra2.5-65M, первую модель нового семейства Supra2.5 с 65 млн параметров. Версий две: базовая (Base) и дообученная на инструкциях (Instruct). Обе опубликованы на Hugging Face в коллекции SupraLabs (анонс релиза).
Цифры из анонса: обучение шло локально 4 дня на двух RTX A6000 на 100 млрд токенов качественных данных. По заявлению разработчиков модель обходит их прежние решения на 50M и 100M параметров. Для локального запуска выложены GGUFs в форматах F16, Q8_0 и Q4_K_M, совместимые с llama.cpp, Ollama, Unsloth и похожими инструментами.
Шум объясняется размером. 65M параметров означают, что веса занимают десятки мегабайт, и модель влезает в память почти любого устройства. Разработчики формулируют это как «runs on every toaster». Формулировка маркетинговая, но по порядку величин близка к правде: под веса в Q4_K_M нужно меньше 50 МБ.
Одна оговорка, которую стоит держать в голове до конца текста: бенчмарки в анонсе приложены картинкой, без таблицы и описания методологии. Все оценки качества ниже - заявления разработчика, независимых замеров на момент публикации нет.
Base и Instruct: в чём разница и какую версию брать
Base обучена предсказывать следующий токен на большом корпусе текстов. Она умеет продолжать текст и держать стиль, но не обязана выполнять команды: на просьбу «сократи абзац» может ответить продолжением инструкции или новым абзацем в том же духе.
Instruct - та же база, дополнительно дообученная отвечать в формате диалога. Для чата, переписывания текста, извлечения сущностей и типовых задач берите Instruct: она обучена понимать, что от неё хотят.
Base нужна в двух случаях: дообучение под свою узкую задачу (классификация, разметка, доменный стиль) и эксперименты с генерацией. Дообучать Instruct под жёсткий формат обычно сложнее, он уже нагружен шаблоном диалога.
Шаблон промптов Instruct в анонсе не указан. Смотрите его в карточке модели на Hugging Face: у маленьких моделей формат вроде ### Instruction: или User:/Assistant: влияет на качество сильнее, чем выбор квантования.
Заявленное превосходство над 50M и 100M моделями SupraLabs
Формулировка разработчика звучит так: модель лучше их прежних решений на 50M и 100M параметров. Бенчмарки приложены к анонсу изображением, числовых таблиц с методологией в тексте нет (пост SupraLabs). Независимых сравнений этих версий в открытом доступе на 16 ноября 2026 года не опубликовано.
Предыдущая 100M-модель линейки разобрана отдельно в материале про Supra2-100M, там же описано, чем она отличалась от Supra-50M. Сравнивать те релизы с новым стоит по одинаковым задачам, а не по сводным картинкам из разных месяцев: наборы тестов и версии инструментов между релизами меняются.
Практическая рамка проверки простая. Возьмите 20-30 своих типовых запросов, прогоните через Supra2.5-65M Instruct и через модель, которой пользуетесь сейчас, и сравните ответы вслепую. Такой тест на своём домене даёт больше, чем чужая таблица. Как читать краудсорсинговые бенчмарки и почему сводные результаты из разных лет сравнивать нельзя, разобрано в обзоре locallm.top.
65M параметров: что это значит для железа и качества
65M параметров примерно в сто раз меньше, чем у типичной 7B-модели. Размер весов считается прямо. В F16 каждый параметр занимает 2 байта, итого около 130 МБ. В Q8_0 около 1 байта на параметр: 65-70 МБ. В Q4_K_M около половины байта: 35-40 МБ плюс небольшие накладные расходы на метаданные и служебные тензоры. Это расчёт по числу параметров, а не замер конкретных файлов из репозитория.
Сравните с 7B в 4-битном квантовании: там под веса уходит порядка 4 ГБ. Разница в сто раз, и она меняет сценарии. Модель на 65M помещается в устройство, где есть 100-200 МБ свободной памяти под веса, то есть на старый ноутбук, мини-ПК, дешёвый VPS или одноплатник.
Дальше в игру вступает не вес, а KV-кэш и буферы. Память под запуск складывается из весов, кэша контекста, буферов вычислений и запаса на пики (гайд по локальному запуску). У 65M-модели веса почти ничего не весят, поэтому длина контекста и число параллельных запросов начинают влиять на потребление сильнее, чем сама модель.
Узкое место здесь не VRAM и не RAM, а скорость и качество. Скорость на CPU у таких моделей измеряется десятками токенов в секунду, но точных замеров именно для Supra2.5-65M в источниках нет, поэтому ориентиры из общих туториалов переносите на свою задачу с поправкой.
Как запустить Supra2.5-65M через llama.cpp
GGUFs модели доступны в F16, Q8_0 и Q4_K_M для llama.cpp, Ollama, Unsloth и аналогичных инструментов (анонс). Порядок действий:
- Откройте коллекцию SupraLabs на Hugging Face и найдите GGUF нужного квантования (Base или Instruct, смотрите на имя файла).
- Скачайте файл в отдельную папку, чтобы не потерять его среди других моделей.
- Установите llama.cpp: готовый бинарник под свою ОС или сборку из исходников с поддержкой вашего ускорителя.
- Запустите генерацию и проверьте, что вычисления идут на нужном устройстве, а не на CPU по умолчанию.
Типовой вызов выглядит так (путь и параметры подставьте свои):
llama-cli -m /path/to/supra2.5-65m-instruct-Q4_K_M.gguf -p "Кратко объясни, что такое эмбеддинг" -n 128
Если модель отвечает медленно, а GPU простаивает, проверьте число слоёв, выгружаемых на видеокарту, и флаг выбора устройства в вашей сборке. Для файла в 40 МБ смысла гнаться за GPU обычно нет: узкое место окажется в другом месте пайплайна.
Какой GGUF выбрать: F16, Q8_0 или Q4_K_M
Для модели такого размера разница в абсолютных мегабайтах невелика, поэтому выбор диктуется запасом памяти и требованиями к качеству.
| Формат | Примерный размер весов | Потери качества | Когда брать |
|---|---|---|---|
| F16 | около 130 МБ | нет, эталон | есть память с запасом, важна точность на редких токенах, планируется дальнейшее дообучение |
| Q8_0 | около 65-70 МБ | минимальные | компромисс: современный ноутбук, мини-ПК, тесты рядом с эталоном |
| Q4_K_M | около 35-40 МБ | заметны на сложных задачах | слабый CPU, мало RAM, встраивание, быстрый прототип |
Рабочее правило: начинайте с Q4_K_M, а если ответы кажутся рваными, поднимитесь до Q8_0. На машине с 16 ГБ RAM и без видеокарты Q4_K_M остаётся ориентиром, ожидаемая скорость для маленьких моделей в такой конфигурации порядка 5-15 t/s (LLM-GUIDE). Цифра общая для класса моделей, для Supra2.5-65M замеров нет.
llama-server: локальный API для своих приложений
Чат в терминале быстро надоедает, и дальше нужен HTTP. llama-server поднимает локальный OpenAI-совместимый endpoint: запускаете сервер, проверяете его запросом, подключаете клиента через curl, Python или OpenAI SDK и при необходимости обслуживаете нескольких пользователей (инструкция по llama-server).
Для 65M-модели этот сценарий хорош для прототипов, внутренних утилит, нормализации текста и черновой разметки. Нагрузку вроде десятков одновременных диалогов с длинным контекстом такая модель выдержит по памяти, но по качеству ответов упрётся раньше, чем по железу.
Запуск через Ollama и Unsloth
В Ollama GGUF подключается через Modelfile: в файле указываете путь к скачанному GGUF директивой FROM, при необходимости добавляете шаблон промптов из карточки модели, затем собираете локальную модель и запускаете её как обычную.
FROM ./supra2.5-65m-instruct-Q4_K_M.gguf
Точный синтаксис шаблона берите из карточки на Hugging Face: у Instruct-версий формат инструкций влияет на поведение сильнее, чем квантование.
Unsloth упомянут в анонсе как инструмент, для которого доступны GGUFs. Практический сценарий здесь один: дообучение Base-версии под свою задачу и дальнейшая работа с моделью в рамках его пайплайна. Конкретные ноутбуки под Supra2.5-65M в источниках не описаны, готовых рецептов под эту модель нет.
Подводные камни Ollama на слабом сервере
Внутри Ollama работает llama.cpp с кэшем промптов в оперативной памяти, по умолчанию до 8 ГБ. На сервере с 8 ГБ RAM этот кэш постепенно вытесняет всё остальное, и процесс падает. В разборе на Хабре описано, как ограничение кэша до 1 ГБ позволило прогнать нагрузочный тест без сбоев и снизило пик памяти с 7,7 до 5,0 ГБ (Хабр).
Для Supra2.5-65M этот нюанс особенно обиден: сама модель занимает 40 МБ, а падает сервис из-за кэша в гигабайты. На слабой машине лимит кэша ставьте сразу, до первого запуска в бою.
Что 65M-модель не умеет: честные ограничения
65M параметров не заменяют 7B-70B модели. Ожидаемый потолок выглядит так:
- сложные многошаговые инструкции выполняются частично: модель теряет условия по ходу ответа;
- фактические знания ограничены, ошибки в именах, датах и числах неизбежны;
- галлюцинации на незнакомых темах выглядят уверенно, поэтому проверка нужна всегда;
- длинный контекст усваивается хуже: модель хуже связывает начало и конец документа;
- код и математика даются только в простых случаях, без опоры на внешние инструменты.
Точное контекстное окно в анонсе не указано, смотрите его в карточке модели на Hugging Face. Правило выбора простое: чем сложнее задача и чем дороже ошибка, тем крупнее нужна модель. 65M подходит для узких, коротких и хорошо очерченных сценариев, где ответ легко проверить.
Кому и зачем нужна Supra2.5-65M
Реальные сценарии, где такой размер даёт выигрыш:
- старый ноутбук, мини-ПК или CPU-only VPS без видеокарты: модель стартует там, где 7B не помещается;
- встраивание в приложение или на edge-устройство, когда рядом с моделью должен жить весь остальной код;
- быстрый прототип пайплайна: логику и промпты отлаживаете на 65M, потом меняете модель на крупную одной строкой;
- классификация текста, извлечение полей, нормализация и переписывание коротких фрагментов;
- дообучение Base-версии под свой домен, где нужна модель без лишних накладных расходов.
Для контекста: для текстовой рутины на VPS с 8 ГБ RAM без видеокарты обычно достаточно модели на 2-4B (Хабр). То есть 65M выигрывает у 2-4B по требованиям к железу и скорости, а не по качеству рассуждений. Если нужен следующий шаг по качеству с сохранением локальности, смотрите разбор MiniCPM5-2B.
Кому модель не нужна: тем, кто решает содержательные задачи и готов выделить несколько гигабайт памяти. Разница в требованиях к железу между 65M и 4B-моделью в квантованном виде измеряется гигабайтами, но и разница в качестве там принципиальная.
Обучение на двух RTX A6000 и что это говорит о модели
Факты из анонса: обучение локально, 4 дня, две RTX A6000, 100 млрд токенов качественных данных. Состав датасета и метод обучения не раскрыты.
Арифметика здесь показательна. На 65M параметров приходится 100 млрд токенов, то есть примерно 1500 токенов на параметр. Для маленьких моделей такое соотношение считается выгодным: чем больше текста на единицу ёмкости, тем плотнее модель использует свои веса. По этой причине заявка на превосходство над 100M-версией не выглядит абсурдной, хотя проверять её всё равно придётся самостоятельно.
Вторая деталь: обучение на двух потребительских по меркам ML видеокартах за 4 дня. Это говорит о доступности пайплайна, а не о качестве результата. Повторить такой прогон под свой домен реально небольшой команде, и это, пожалуй, самый практичный вывод из анонса.
Supra3 и перспективы линейки SupraLabs
Supra3 анонсирована на начало следующего года. Точной даты, размера и характеристик в анонсе нет, поэтому строить прогнозы смысла мало.
Практический совет: если задача уже есть, берите Supra2.5-65M сейчас. Порог входа минимальный: 40 МБ файла, llama.cpp или Ollama, десять минут на настройку. Ждать Supra3 имеет смысл только тем, кому 65M заведомо мало по качеству и кто не хочет городить пайплайн с внешними инструментами.
Итог: брать или нет
Supra2.5-65M интересна как релиз для слабого железа и встраиваемых сценариев. Заявленное превосходство над прежними 50M и 100M моделями SupraLabs остаётся заявлением: бенчмарки в анонсе даны картинкой, независимых замеров нет. Ограничения тоже честные: сложные инструкции, факты и длинный контекст не её территория.
Чек-лист перед запуском:
- выберите версию: Instruct для чата и типовых задач, Base для дообучения и экспериментов;
- возьмите GGUF Q4_K_M, если железа мало, и Q8_0, если есть запас памяти;
- запустите через llama.cpp для разового чата или llama-server, если нужен локальный API;
- в Ollama на сервере с малым объёмом RAM сразу ограничьте кэш промптов, иначе процесс вытеснит всё остальное;
- проверьте модель на 20-30 своих запросах и сравните ответы с текущим решением вслепую;
- сверьте шаблон промптов и размер контекста в карточке модели на Hugging Face перед тем, как встраивать её в код.
Если после этого теста модель закрывает вашу задачу, вы получили рабочий инструмент за 40 МБ. Если нет, вы потратили на проверку полчаса и точно знаете, что нужно смотреть в сторону моделей на 2-4B.