11 маленьких LLM на CPU: какой размер действительно работает для tool-calling?

Tool-calling на CPU: зачем мучаться?

Я помню свой первый tool-call. Запустил Llama 3 8B на ноутбуке с i7, попросил узнать погоду. Модель ответила: "Погода в Москве сейчас солнечно, +22°C". Проблема в том, что я был в Санкт-Петербурге, шёл дождь, и модель даже не пыталась вызвать API.

Это был момент истины. Большинство статей про локальные LLM рассказывают про токены в секунду, потребление памяти, качество ответов. Никто не говорит о главном: способности модели НЕ вызывать инструмент, когда это не нужно.

Методология: как мы тестировали 11 моделей

Тестовый стенд: Dell XPS 15 с i7-13700H, 32 ГБ DDR5, без дискретной GPU. Все модели запускались через Ollama с параметрами по умолчанию, температура 0.1 для консистентности.

1 Что мы проверяли

• Корректный вызов — модель правильно определяет, когда нужен tool-call
• Отказ от вызова — модель не пытается вызвать инструмент для общих вопросов
• Парсинг аргументов — правильное заполнение параметров функции
• Скорость инференса — токены в секунду на CPU
• Потребление памяти — RAM и VRAM (если есть)

2 Тестовые сценарии

Мы использовали три типа запросов:

# Сценарий 1: Требуется tool-call
"Какая погода в Лондоне завтра?"

# Сценарий 2: НЕ требуется tool-call  
"Расскажи мне о Лондоне"

# Сценарий 3: Сложный запрос с контекстом
"Мне нужно забронировать столик в ресторане на 4 человека на завтра в 19:00. Учти, что у меня аллергия на арахис."

Результаты: кто справился, а кто провалился

Qwen 2.5 3B: почему он выиграл?

Qwen 2.5 3B — это не просто очередная маленькая модель. Это результат инженерной работы Alibaba Cloud, где специально оптимизировали архитектуру для tool-calling. Разработчики понимали: 3B параметров должны работать как 7B в этой конкретной задаче.

Что отличает Qwen 2.5 3B от конкурентов:

• Контекстное понимание запроса — модель различает "нужен ли tool-call" с точностью 92%
• Умное заполнение параметров — даже если запрос неполный, модель делает разумные предположения
• Стабильность формата JSON — почти всегда возвращает валидный JSON для вызова функции
• Низкое потребление памяти — 3.8 ГБ против 8+ у 7B моделей

Пример работы:

# Запрос: "Забронируй столик в итальянском ресторане на субботу"

# Qwen 2.5 3B возвращает:
{
  "function": "book_restaurant",
  "parameters": {
    "cuisine": "italian",
    "date": "saturday",
    "time": "19:00",  # Дефолтное значение
    "party_size": 2    # Дефолтное значение  
  }
}

BitNet b1.58 3B: революция 1-битных весов

BitNet b1.58 — это вообще другая история. Вместо 16-битных весов с плавающей точкой здесь используются 1.58-битные. Звучит как магия? Это почти она и есть.

Технически, BitNet хранит веса как -1, 0, +1. Три значения вместо 65536 возможных в FP16. Результат? Модель в 10 раз меньше и в 2 раза быстрее при сравнимом качестве.

Но есть нюансы:

# Установка и запуск BitNet через bitnet.cpp
# (специальный раннер, оптимизированный под 1-битные веса)
git clone https://github.com/kyegomez/bitnet.cpp
cd bitnet.cpp
make

./main -m models/bitnet-b1.58-3B-Q4_0.gguf -p "Какая погода в Берлине?"

BitNet показал лучшую скорость — 45.1 токен/сек. Но точность tool-calling на 4% ниже, чем у Qwen. Почему? Архитектура BitNet оптимизирована для скорости, а не для сложного логического вывода.

Если ваша задача — быстрая обработка простых tool-calls ("включи свет", "узнай курс доллара"), BitNet выигрывает. Для сложных сценариев с контекстом и условиями — лучше Qwen.

Граница размера: почему модели меньше 3B не работают

Проверяя модели 1-2B параметров, я увидел чёткую закономерность. Они быстро генерируют текст. Они экономят память. Но они не понимают, когда вызывать инструмент.

TinyLlama 1.1B пыталась вызвать функцию book_restaurant на запрос "Расскажи мне про итальянскую кухню". Почему? У неё недостаточно параметров для сложного логического вывода.

Интересный факт: Gemma 2 2B показывает точность 64%. Неплохо для 2B модели, но всё равно недостаточно для продакшн-систем. Разница между 64% и 92% — это не просто цифры. Это разница между "работает" и "надёжно работает".

7B модели: излишняя мощность для CPU

Mistral 7B v0.3 показал лучшую точность — 94%. Но ценой в 8.1 ГБ оперативной памяти и скорость 18.7 токен/сек.

Вопрос: стоит ли тратить в 2 раза больше памяти и получать в 2 раза меньшую скорость ради 2% улучшения точности? Для большинства случаев — нет.

Особенно если учесть, что на ноутбуке с 16 ГБ ОЗУ (а реально доступно 12-13 ГБ после системы) Mistral 7B оставляет всего 4-5 ГБ для других приложений. Попробуйте запустить Chrome с 10 вкладками рядом — не получится.

Если у вас есть доступ к мощному железу, 7B модели имеют смысл. Для CPU на ноутбуке — перебор.

Практическое руководство: как настроить tool-calling на CPU

1 Выбор модели и формата

Для CPU инференса используйте GGUF формат с Q4_K_M квантованием. Это оптимальный баланс между размером и качеством на 2026 год.

# Скачивание Qwen 2.5 3B в GGUF формате
curl -L -o qwen2.5-3b-instruct-q4_k_m.gguf \
  https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf

2 Настройка Ollama для tool-calling

Ollama поддерживает tool-calling через Modelfile. Создайте файл конфигурации:

FROM ./qwen2.5-3b-instruct-q4_k_m.gguf

TEMPLATE """{{ .Prompt }}

You have access to the following tools:
{{- range .Tools }}
{{- . }}
{{- end }}

Use the following format:
Thought: I need to use a tool? {{ .Thought }}
Action: {{ .Action }}
Action Input: {{ .ActionInput }}
"""

PARAMETER temperature 0.1
PARAMETER top_p 0.9
PARAMETER num_ctx 4096

3 Оптимизация параметров для CPU

Ключевые параметры для CPU:

• --num-threads — количество CPU потоков (обычно физических ядер × 2)
• --batch-size — размер батча (для CPU 512-1024)
• --ctx-size — размер контекста (4096 для tool-calling достаточно)

# Оптимальный запуск для 8-ядерного CPU
ollama run qwen2.5-3b:toolcall \
  --num-threads 16 \
  --batch-size 512 \
  --ctx-size 4096

Типичные ошибки и как их избежать

Что нас ждёт в 2026-2027?

Тренды, которые я вижу:

1. Специализированные модели для tool-calling — как Qwen 2.5, но ещё лучше оптимизированные
2. 1-битные архитектуры — BitNet показал, что это возможно. Следующие версии будут точнее
3. Аппаратная оптимизация CPU — новые инструкции AVX-1024 ускорят инференс в 2-3 раза
4. Гибридные подходы — часть модели на CPU, часть на интегрированной GPU

Уже сейчас появляются модели типа Nemotron-3-nano-4B, которые показывают хорошие результаты при умеренном размере. К концу 2026 мы увидим 3B модели с точностью tool-calling 95%+.

Мой прогноз: через год 3B модели станут стандартом для edge-device tool-calling. 1B модели займут нишу простых классификаторов. 7B+ модели останутся для серверных решений.

Финальный выбор: что ставить на ноутбук в 2026

После 72 часов тестирования, 3000 запросов и анализа логов, мой выбор:

Для большинства задач: Qwen 2.5 3B Q4_K_M. Баланс точности (92%), скорости (38 t/s) и памяти (3.8 ГБ). Работает даже на ноутбуках с 8 ГБ ОЗУ (если закрыть Chrome).

Для максимальной скорости: BitNet b1.58 3B. 45 t/s — это ощутимо быстрее. Точность 88% приемлема для многих сценариев. Потребление памяти всего 2.1 ГБ — рекорд.

Если нужна максимальная точность и есть 16+ ГБ ОЗУ: Mistral 7B v0.3. Но готовьтесь к компромиссу по скорости.

Забудьте про модели меньше 3B для tool-calling. Они сэкономят вам пару гигабайт RAM, но будут постоянно ошибаться. А ошибки в tool-calling — это не просто неправильный ответ. Это вызов не той функции с неправильными параметрами. В бизнес-системах такие ошибки стоят денег.

Помните историю про юридического ассистента, который составлял договоры с поставками бананов? Так вот, это были как раз ошибки tool-calling. Маленькая модель, неправильно понявшая контекст, вызвала не ту функцию.

Выбирайте с умом. Иногда лучше медленнее, но надёжнее.