Маленький чайник, который смог
Представьте, что вам нужно запустить языковую модель на стареньком ноутбуке. Нет, не Llama 3.1 8B, которая требует видеокарту или тонны оперативки. Что-то действительно маленькое. Что-то вроде TinyTeapot-77M.
Эта модель на 77 миллионов параметров появилась в 2025 году и сразу привлекла внимание тех, кто устал от гигантомании в AI. Зачем платить за мощное железо, если можно получить 40 токенов в секунду на обычном процессоре? (Да, даже на том, что в вашем десятилетнем ПК).
Актуально на 23.02.2026: TinyTeapot-77M доступна в версии 2.1 с улучшенной квантацией, что снижает размер модели до 300 МБ без потери качества.
Технические характеристики: 77M параметров и не только
Цифры, которые заставляют задуматься:
- 77 миллионов параметров - в 1000 раз меньше, чем у Llama 3.1 8B
- 40 токенов в секунду на CPU Intel Core i5 10-го поколения
- 300 МБ - размер квантованной модели в формате GGUF
- Поддерживает контекст 2048 токенов - достаточно для большинства простых задач
- Работает на CPU с AVX2 - практически на любом современном процессоре
Для сравнения, даже Gemma 3 270M в два раза больше и требует больше ресурсов. TinyTeapot создавалась с одной целью: минимальные требования при максимальной скорости.
На фоне гигантов: как Teapot справляется с конкурентами?
Поставим TinyTeapot-77M рядом с другими маленькими моделями 2025-2026 годов:
| Модель | Параметры | Скорость на CPU (ток/с) | Размер (GGUF) | Качество (MMLU) |
|---|---|---|---|---|
| TinyTeapot-77M | 77M | 40 | 300 МБ | 45% |
| Gemma 3 270M | 270M | 25 | 1.5 ГБ | 55% |
| Phi-3-mini-3.8B | 3.8B | 8 | 2.3 ГБ | 65% |
Как видно, TinyTeapot жертвует качеством ради скорости и размера. MMLU 45% - это уровень случайного угадывания? Нет, но для простых задач достаточно. Если вам нужно больше качества, посмотрите обзор больших CPU-моделей.
Внимание: качество текста у TinyTeapot-77M оставляет желать лучшего. Не ждите от неё глубоких рассуждений или точных фактов. Это инструмент для базовой обработки текста, а не для научных дискуссий.
Завариваем чайник: запуск за 5 минут
Самое приятное - простота запуска. Вам не нужен Python, PyTorch или сложные настройки. Достаточно скачать llama.cpp и модель.
# Скачиваем llama.cpp (актуальная версия на 23.02.2026)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j4
# Скачиваем модель TinyTeapot-77M в формате GGUF
wget https://huggingface.co/teapot-ai/TinyTeapot-77M-GGUF/resolve/main/teapot-77m.q4_K_M.gguf
# Запускаем
./main -m teapot-77m.q4_K_M.gguf -p "Расскажи анекдот про программистов" -n 100И всё. Модель запустится и начнет генерировать текст. На том же Core i5 вы увидите стабильные 40 токенов в секунду. Для сравнения, оптимизированный Top-K может ускорить более крупные модели, но здесь оптимизация уже заложена в архитектуру.
Если вы хотите протестировать модель на мощном серверном CPU, можно использовать облачный хостинг Timeweb с пробным периодом. Но, честно, даже на Raspberry Pi 5 эта модель летает.
Кому подойдет TinyTeapot-77M, а кому лучше поискать что-то покрупнее
Эта модель - специалист узкого профиля. Вот кто выиграет от её использования:
- Образовательные проекты: когда нужно показать, как работают LLM, без требований к железу.
- Прототипирование: быстро проверить идею обработки текста перед тем, как подключать тяжелую артиллерию.
- Встраиваемые системы: устройства с ограниченными ресурсами, где каждый мегабайт на счету.
- Любители экспериментов: тем, кто хочет поковыряться в настройках инференса без страха сжечь видеокарту.
А вот кому лучше посмотреть в сторону Nemotron-3-nano или других компактных, но более качественных моделей:
- Разработчики приложений: которым нужно хотя бы среднее качество генерации.
- Исследователи: работающие с данными, где важна точность.
- Энтузиасты AI: которые хотят диалогового агента, а не простого текстового генератора.
Если вы выбираете модель для инженерных задач, посмотрите полный бенчмарк 100+ моделей - там есть варианты и покрупнее.
Будущее маленьких моделей: что дальше?
TinyTeapot-77M - не первая маленькая модель, но одна из самых быстрых на CPU. Тренд на уменьшение размеров при сохранении приемлемого качества набирает обороты. В 2026 году мы видим, как модели на 100-500 миллионов параметров становятся умнее благодаря улучшенным архитектурам и обучению.
С другой стороны, ASIC-решения вроде Taalas обещают 16K токенов в секунду для более крупных моделей. Зачем тогда нужны такие карлики, как TinyTeapot? Ответ прост: доступность. Не у всех есть доступ к специализированному железу, а CPU - в каждом компьютере.
Мой прогноз: к концу 2026 году появятся модели на 50M параметров с качеством MMLU 60%, которые будут работать на CPU со скоростью 100 ток/с. TinyTeapot - только начало.
И да, название "Маленький чайник" (Teapot) - отсылка к HTTP-коду 418 "I'm a teapot". Разработчики явно обладают чувством юмора.