Представьте: вы скачали Llama 3.1 450B, а ваша RTX 4090 всего 24 ГБ. Или у вас M4 Mac с 18 ГБ unified memory. Классический подход — грызть модель через Hugging Face с device_map='auto' — приведет к свопу на диск и падению производительности. Решение — tftf.
Что это вообще за зверь?
tftf (Tiny Fast Tensor Framework) — это CLI-утилита на Python, которая обрабатывает веса модели прямо на диске, не загружая их целиком в RAM. Использует memory-mapped files и потоковую обработку тензоров. Позволяет делать LoRA merging, конвертацию в GGUF/SafeTensors, извлечение весов, взвешенное усреднение и кучу других операций. Огромные модели (500B+) становятся доступны на consumer железе.
Важный нюанс: tftf не предназначен для инференса. Это препроцессор. Вы подготовили веса — а дальше запускаете модель через llama.cpp, vLLM или что-то ещё.
Как он работает? (Без скучных деталей)
Вместо того, чтобы сказать torch.load() и уронить систему, tftf открывает файлы через numpy.memmap и обрабатывает тензоры по одному. Результаты пишет сразу на диск. Никакого удвоения памяти. Для LoRA merging — грузит только адаптер и базовый тензор, мержит, сохраняет, идёт дальше. Профит.
Пример: смержить LoRA для Llama 3.1 405B на машине с 16 ГБ
tftf merge \
--weights llama-3.1-405b.safetensors \
--lora my-lora.safetensors \
--alpha 0.8 \
--output merged.safetensorsЗвучит нереально? Работает. В теории, mergekit тоже умеет, но он жрёт память как не в себя. tftf — нет.
Конвертация из PyTorch в GGUF
tftf convert model.pt --format gguf --outdir ./convertedНикаких torch.load на полную модель. Процесс идёт чанками. Даже модель в 700 ГБ не вызовет панику.
Сравнение с альтернативами: кто кого?
| Инструмент | Назначение | Потребление RAM | Работает с моделями >300B |
|---|---|---|---|
| tftf | Манипуляции весами (merge, convert, extract) | Минимальное (только на буфер одного тензора) | Да |
| mergekit | LoRA merging, task arithmetic | Умеренное (но грузит все тензоры) | С оговорками (может упасть) |
| transformers + accelerate | Загрузка и инференс | Высокое (полная модель в RAM) | Нет (требует много RAM) |
| llama.cpp | Инференс (GGUF) | Низкое (memory mapping) | Да (но только инференс) |
tftf закрывает нишу, которую остальные игнорируют: манипуляции с весами без загрузки в RAM. Если вам нужно смержить LoRA для модели, которая едва помещается на диске — tftf единственный реалистичный вариант.
Да, AdaLLM позволяет выжать больше из RTX 4090 за счёт FP4-квантования, но это про инференс. А запуск огромных LLM на домашнем ПК — отдельная песня. tftf дополняет эти подходы: сначала вы подготавливаете модель, потом уже запускаете.
Кому это реально нужно?
- Финтюнерам, которые тренируют LoRA на маленьких GPU и хотят смержить их с базой без аренды облачного GPU.
- Модельным коллекционерам, которые скачивают все версии Llama 3.2 300B и хотят конвертировать их в GGUF на своём ноутбуке.
- Хакерам памяти, которые играются с взвешенным усреднением (task arithmetic) и не хотят покупать сервер.
Если у вас есть доступ к кластеру с терабайтами RAM — tftf вам не нужен. Но для домашнего использования, когда на кону единственный компьютер (и вы не хотите, чтобы он завис на час), это спасение.
.safetensors.Кстати, хак RTX 4090 до 48 ГБ — круто, но tftf дешевле. Просто поставьте pip install tftf и работайте с моделями любого размера. Даже если у вас 16 ГБ RAM.
Ещё один момент: tftf не дружит с обучением. Если вам нужно дообучить модель, смотрите в сторону Ouro-2.6B-Thinking или других рекуррентных сетей. А для препроцессинга — только tftf.
Зачем вам загружать 500 ГБ в RAM, если этого можно избежать? В 2026 году, когда модели уже перешагнули порог в терабайт, tftf становится не просто утилитой, а необходимостью. Забудьте про mergekit, если у вас нет 256 ГБ. Используйте tftf.
