Перейти к содержанию
Ctrl K
Telegram MAX
Все выпуски

Архив публикаций

Все материалы AiManual в единой хронологической ленте.

1165 Qwen3.8-Flash-Next и mmap: почему tensor-read-lazy не спасает от нехватки памяти Qwen3.8-Flash-Next может не помещаться в память даже при включенном tensor-read-lazy. Разбираем разницу между mmap и load-mode auto, влияние --ngl, --split-mode 11 мин чтения 1166 Что будет с локальными LLM, если frontier-лабы потеряют позиции в 2026 году Ослабление frontier-лабораторий не уничтожит локальные LLM, но способно изменить цены на GPU, стоимость инференса и баланс между открытыми и закрытыми моделями. 10 мин чтения 1167 Как потратить $4000 на AI-апгрейд: второй GPU, локальные модели и практичный сценарий для кодинга и медиа Разбираем, как потратить $4000 на AI-апгрейд без переплаты: выбрать вторую GPU, отдельный AI-сервер или улучшить память, накопитель и программный стек. Сравнива 16 мин чтения 1168 Как запустить Qwen 27B с контекстом 100K на 16 ГБ GPU через beellama.cpp Практический разбор запуска Qwen 27B на GPU с 16 ГБ VRAM через beellama.cpp и llama-server. Разбираем квантование, KV cache, контекст 100K, tail precision, spec 16 мин чтения 1169 GLM-5.3-Flash или DeepSeek-V4-Flash-0731 локально: HumanEval, nvfp4, VRAM и контекст Разбираем, как выбрать между GLM-5.3-Flash и DeepSeek-V4-Flash-0731 на своем железе без чужих цифр: методика проверки HumanEval и pass@1, влияние nvfp4 на VRAM 14 мин чтения 1170 MTPLX ускоряет локальный запуск Qwen на Apple Silicon: как работает новый подход к MTP Разбираем, как MTPLX связывает MTP, draft depth и MLX-ready конвертацию для ускорения Qwen на Apple Silicon. Объясняем разницу между prefill и decode, ограничен 13 мин чтения 1171 Как собрать локального исследовательского агента на небольшой LLM и какие данные для этого нужны Разбираем, как собрать локального исследовательского агента на небольшой LLM: зачем нужны RAG и внешние инструменты, почему arXiv-абстрактов недостаточно и каки 15 мин чтения 1172 Почему китайским LLM важно догнать уровень Opus-класса и что это меняет для рынка Разбираем, что означает «догнать Opus» для китайских LLM, где разница в качестве действительно влияет на результат и почему AI-рынок смещается от токенов к вычи 12 мин чтения 1173 Как заменить RAG более дешевыми NLP-методами в enterprise-документах Разбираем, чем заменить RAG в enterprise-документах: точным совпадением, нормализацией OCR-шума, словарями, классификаторами и embeddings. Показываем каскадную 13 мин чтения 1174 Почему преимущество Nvidia в AI смещается от GPU к системной оркестрации Производительность AI-дата-центра всё меньше определяется одной видеокартой. Разбираем, как память, KV-кэш, PCIe, сеть, prefill, decode и программный стек форми 14 мин чтения 1175 Тихий апдейт GGUF-файлов Ornith 1.5 35B: что изменилось и стоит ли обновляться? Тихая замена GGUF может скрывать новую квантизацию, смену checkpoint или обычную правку метаданных. Разбираем, как проверить Ornith 1.5 35B Q4_K_M по SHA-256, c 9 мин чтения 1176 Tencent Hunyuan Hy4 и квантизация Q1: что означают 1-битные модели на практике Разбираем Q1-квантизацию Tencent Hunyuan Hy4 и объясняем, почему заявленная «1-битность», вероятно, означает около 2.38 bpw. Узнайте, как это влияет на VRAM, RA 10 мин чтения