Перейти к содержанию
Публикация AiManual

Supra2.5-65M от SupraLabs: что умеет компактная модель на 65M параметров и как её запустить

SupraLabs выпустила Supra2.5-65M: 65 млн параметров, версии Base и Instruct и GGUFs размером около 35-40 МБ для llama.cpp и Ollama. Разбираем, что такая модель

Коротко

Что будет в материале

  1. 01

    Что такое Supra2.5-65M и почему вокруг неё шум

  2. 02

    65M параметров: что это значит для железа и качества

  3. 03

    Как запустить Supra2.5-65M через llama.cpp

  4. 04

    Запуск через Ollama и Unsloth

Что такое Supra2.5-65M и почему вокруг неё шум

SupraLabs выпустила Supra2.5-65M, первую модель нового семейства Supra2.5 с 65 млн параметров. Версий две: базовая (Base) и дообученная на инструкциях (Instruct). Обе опубликованы на Hugging Face в коллекции SupraLabs (анонс релиза).

Цифры из анонса: обучение шло локально 4 дня на двух RTX A6000 на 100 млрд токенов качественных данных. По заявлению разработчиков модель обходит их прежние решения на 50M и 100M параметров. Для локального запуска выложены GGUFs в форматах F16, Q8_0 и Q4_K_M, совместимые с llama.cpp, Ollama, Unsloth и похожими инструментами.

Шум объясняется размером. 65M параметров означают, что веса занимают десятки мегабайт, и модель влезает в память почти любого устройства. Разработчики формулируют это как «runs on every toaster». Формулировка маркетинговая, но по порядку величин близка к правде: под веса в Q4_K_M нужно меньше 50 МБ.

Одна оговорка, которую стоит держать в голове до конца текста: бенчмарки в анонсе приложены картинкой, без таблицы и описания методологии. Все оценки качества ниже - заявления разработчика, независимых замеров на момент публикации нет.

Base и Instruct: в чём разница и какую версию брать

Base обучена предсказывать следующий токен на большом корпусе текстов. Она умеет продолжать текст и держать стиль, но не обязана выполнять команды: на просьбу «сократи абзац» может ответить продолжением инструкции или новым абзацем в том же духе.

Instruct - та же база, дополнительно дообученная отвечать в формате диалога. Для чата, переписывания текста, извлечения сущностей и типовых задач берите Instruct: она обучена понимать, что от неё хотят.

Base нужна в двух случаях: дообучение под свою узкую задачу (классификация, разметка, доменный стиль) и эксперименты с генерацией. Дообучать Instruct под жёсткий формат обычно сложнее, он уже нагружен шаблоном диалога.

Шаблон промптов Instruct в анонсе не указан. Смотрите его в карточке модели на Hugging Face: у маленьких моделей формат вроде ### Instruction: или User:/Assistant: влияет на качество сильнее, чем выбор квантования.

Заявленное превосходство над 50M и 100M моделями SupraLabs

Формулировка разработчика звучит так: модель лучше их прежних решений на 50M и 100M параметров. Бенчмарки приложены к анонсу изображением, числовых таблиц с методологией в тексте нет (пост SupraLabs). Независимых сравнений этих версий в открытом доступе на 16 ноября 2026 года не опубликовано.

Предыдущая 100M-модель линейки разобрана отдельно в материале про Supra2-100M, там же описано, чем она отличалась от Supra-50M. Сравнивать те релизы с новым стоит по одинаковым задачам, а не по сводным картинкам из разных месяцев: наборы тестов и версии инструментов между релизами меняются.

Практическая рамка проверки простая. Возьмите 20-30 своих типовых запросов, прогоните через Supra2.5-65M Instruct и через модель, которой пользуетесь сейчас, и сравните ответы вслепую. Такой тест на своём домене даёт больше, чем чужая таблица. Как читать краудсорсинговые бенчмарки и почему сводные результаты из разных лет сравнивать нельзя, разобрано в обзоре locallm.top.

65M параметров: что это значит для железа и качества

65M параметров примерно в сто раз меньше, чем у типичной 7B-модели. Размер весов считается прямо. В F16 каждый параметр занимает 2 байта, итого около 130 МБ. В Q8_0 около 1 байта на параметр: 65-70 МБ. В Q4_K_M около половины байта: 35-40 МБ плюс небольшие накладные расходы на метаданные и служебные тензоры. Это расчёт по числу параметров, а не замер конкретных файлов из репозитория.

Сравните с 7B в 4-битном квантовании: там под веса уходит порядка 4 ГБ. Разница в сто раз, и она меняет сценарии. Модель на 65M помещается в устройство, где есть 100-200 МБ свободной памяти под веса, то есть на старый ноутбук, мини-ПК, дешёвый VPS или одноплатник.

Дальше в игру вступает не вес, а KV-кэш и буферы. Память под запуск складывается из весов, кэша контекста, буферов вычислений и запаса на пики (гайд по локальному запуску). У 65M-модели веса почти ничего не весят, поэтому длина контекста и число параллельных запросов начинают влиять на потребление сильнее, чем сама модель.

Узкое место здесь не VRAM и не RAM, а скорость и качество. Скорость на CPU у таких моделей измеряется десятками токенов в секунду, но точных замеров именно для Supra2.5-65M в источниках нет, поэтому ориентиры из общих туториалов переносите на свою задачу с поправкой.

Как запустить Supra2.5-65M через llama.cpp

GGUFs модели доступны в F16, Q8_0 и Q4_K_M для llama.cpp, Ollama, Unsloth и аналогичных инструментов (анонс). Порядок действий:

  1. Откройте коллекцию SupraLabs на Hugging Face и найдите GGUF нужного квантования (Base или Instruct, смотрите на имя файла).
  2. Скачайте файл в отдельную папку, чтобы не потерять его среди других моделей.
  3. Установите llama.cpp: готовый бинарник под свою ОС или сборку из исходников с поддержкой вашего ускорителя.
  4. Запустите генерацию и проверьте, что вычисления идут на нужном устройстве, а не на CPU по умолчанию.

Типовой вызов выглядит так (путь и параметры подставьте свои):

llama-cli -m /path/to/supra2.5-65m-instruct-Q4_K_M.gguf -p "Кратко объясни, что такое эмбеддинг" -n 128

Если модель отвечает медленно, а GPU простаивает, проверьте число слоёв, выгружаемых на видеокарту, и флаг выбора устройства в вашей сборке. Для файла в 40 МБ смысла гнаться за GPU обычно нет: узкое место окажется в другом месте пайплайна.

Какой GGUF выбрать: F16, Q8_0 или Q4_K_M

Для модели такого размера разница в абсолютных мегабайтах невелика, поэтому выбор диктуется запасом памяти и требованиями к качеству.

ФорматПримерный размер весовПотери качестваКогда брать
F16около 130 МБнет, эталонесть память с запасом, важна точность на редких токенах, планируется дальнейшее дообучение
Q8_0около 65-70 МБминимальныекомпромисс: современный ноутбук, мини-ПК, тесты рядом с эталоном
Q4_K_Mоколо 35-40 МБзаметны на сложных задачахслабый CPU, мало RAM, встраивание, быстрый прототип

Рабочее правило: начинайте с Q4_K_M, а если ответы кажутся рваными, поднимитесь до Q8_0. На машине с 16 ГБ RAM и без видеокарты Q4_K_M остаётся ориентиром, ожидаемая скорость для маленьких моделей в такой конфигурации порядка 5-15 t/s (LLM-GUIDE). Цифра общая для класса моделей, для Supra2.5-65M замеров нет.

llama-server: локальный API для своих приложений

Чат в терминале быстро надоедает, и дальше нужен HTTP. llama-server поднимает локальный OpenAI-совместимый endpoint: запускаете сервер, проверяете его запросом, подключаете клиента через curl, Python или OpenAI SDK и при необходимости обслуживаете нескольких пользователей (инструкция по llama-server).

Для 65M-модели этот сценарий хорош для прототипов, внутренних утилит, нормализации текста и черновой разметки. Нагрузку вроде десятков одновременных диалогов с длинным контекстом такая модель выдержит по памяти, но по качеству ответов упрётся раньше, чем по железу.

Запуск через Ollama и Unsloth

В Ollama GGUF подключается через Modelfile: в файле указываете путь к скачанному GGUF директивой FROM, при необходимости добавляете шаблон промптов из карточки модели, затем собираете локальную модель и запускаете её как обычную.

FROM ./supra2.5-65m-instruct-Q4_K_M.gguf

Точный синтаксис шаблона берите из карточки на Hugging Face: у Instruct-версий формат инструкций влияет на поведение сильнее, чем квантование.

Unsloth упомянут в анонсе как инструмент, для которого доступны GGUFs. Практический сценарий здесь один: дообучение Base-версии под свою задачу и дальнейшая работа с моделью в рамках его пайплайна. Конкретные ноутбуки под Supra2.5-65M в источниках не описаны, готовых рецептов под эту модель нет.

Подводные камни Ollama на слабом сервере

Внутри Ollama работает llama.cpp с кэшем промптов в оперативной памяти, по умолчанию до 8 ГБ. На сервере с 8 ГБ RAM этот кэш постепенно вытесняет всё остальное, и процесс падает. В разборе на Хабре описано, как ограничение кэша до 1 ГБ позволило прогнать нагрузочный тест без сбоев и снизило пик памяти с 7,7 до 5,0 ГБ (Хабр).

Для Supra2.5-65M этот нюанс особенно обиден: сама модель занимает 40 МБ, а падает сервис из-за кэша в гигабайты. На слабой машине лимит кэша ставьте сразу, до первого запуска в бою.

Что 65M-модель не умеет: честные ограничения

65M параметров не заменяют 7B-70B модели. Ожидаемый потолок выглядит так:

  • сложные многошаговые инструкции выполняются частично: модель теряет условия по ходу ответа;
  • фактические знания ограничены, ошибки в именах, датах и числах неизбежны;
  • галлюцинации на незнакомых темах выглядят уверенно, поэтому проверка нужна всегда;
  • длинный контекст усваивается хуже: модель хуже связывает начало и конец документа;
  • код и математика даются только в простых случаях, без опоры на внешние инструменты.

Точное контекстное окно в анонсе не указано, смотрите его в карточке модели на Hugging Face. Правило выбора простое: чем сложнее задача и чем дороже ошибка, тем крупнее нужна модель. 65M подходит для узких, коротких и хорошо очерченных сценариев, где ответ легко проверить.

Кому и зачем нужна Supra2.5-65M

Реальные сценарии, где такой размер даёт выигрыш:

  • старый ноутбук, мини-ПК или CPU-only VPS без видеокарты: модель стартует там, где 7B не помещается;
  • встраивание в приложение или на edge-устройство, когда рядом с моделью должен жить весь остальной код;
  • быстрый прототип пайплайна: логику и промпты отлаживаете на 65M, потом меняете модель на крупную одной строкой;
  • классификация текста, извлечение полей, нормализация и переписывание коротких фрагментов;
  • дообучение Base-версии под свой домен, где нужна модель без лишних накладных расходов.

Для контекста: для текстовой рутины на VPS с 8 ГБ RAM без видеокарты обычно достаточно модели на 2-4B (Хабр). То есть 65M выигрывает у 2-4B по требованиям к железу и скорости, а не по качеству рассуждений. Если нужен следующий шаг по качеству с сохранением локальности, смотрите разбор MiniCPM5-2B.

Кому модель не нужна: тем, кто решает содержательные задачи и готов выделить несколько гигабайт памяти. Разница в требованиях к железу между 65M и 4B-моделью в квантованном виде измеряется гигабайтами, но и разница в качестве там принципиальная.

Обучение на двух RTX A6000 и что это говорит о модели

Факты из анонса: обучение локально, 4 дня, две RTX A6000, 100 млрд токенов качественных данных. Состав датасета и метод обучения не раскрыты.

Арифметика здесь показательна. На 65M параметров приходится 100 млрд токенов, то есть примерно 1500 токенов на параметр. Для маленьких моделей такое соотношение считается выгодным: чем больше текста на единицу ёмкости, тем плотнее модель использует свои веса. По этой причине заявка на превосходство над 100M-версией не выглядит абсурдной, хотя проверять её всё равно придётся самостоятельно.

Вторая деталь: обучение на двух потребительских по меркам ML видеокартах за 4 дня. Это говорит о доступности пайплайна, а не о качестве результата. Повторить такой прогон под свой домен реально небольшой команде, и это, пожалуй, самый практичный вывод из анонса.

Supra3 и перспективы линейки SupraLabs

Supra3 анонсирована на начало следующего года. Точной даты, размера и характеристик в анонсе нет, поэтому строить прогнозы смысла мало.

Практический совет: если задача уже есть, берите Supra2.5-65M сейчас. Порог входа минимальный: 40 МБ файла, llama.cpp или Ollama, десять минут на настройку. Ждать Supra3 имеет смысл только тем, кому 65M заведомо мало по качеству и кто не хочет городить пайплайн с внешними инструментами.

Итог: брать или нет

Supra2.5-65M интересна как релиз для слабого железа и встраиваемых сценариев. Заявленное превосходство над прежними 50M и 100M моделями SupraLabs остаётся заявлением: бенчмарки в анонсе даны картинкой, независимых замеров нет. Ограничения тоже честные: сложные инструкции, факты и длинный контекст не её территория.

Чек-лист перед запуском:

  • выберите версию: Instruct для чата и типовых задач, Base для дообучения и экспериментов;
  • возьмите GGUF Q4_K_M, если железа мало, и Q8_0, если есть запас памяти;
  • запустите через llama.cpp для разового чата или llama-server, если нужен локальный API;
  • в Ollama на сервере с малым объёмом RAM сразу ограничьте кэш промптов, иначе процесс вытеснит всё остальное;
  • проверьте модель на 20-30 своих запросах и сравните ответы с текущим решением вслепую;
  • сверьте шаблон промптов и размер контекста в карточке модели на Hugging Face перед тем, как встраивать её в код.

Если после этого теста модель закрывает вашу задачу, вы получили рабочий инструмент за 40 МБ. Если нет, вы потратили на проверку полчаса и точно знаете, что нужно смотреть в сторону моделей на 2-4B.

Подписаться на канал