Перейти к содержанию
Ctrl K
Telegram MAX
Все выпуски

Архив публикаций

Все материалы AiManual в единой хронологической ленте.

1393 Управление режимами мышления Qwen 3 в llama.cpp: chat_template_kwargs для гибкого переключения Динамическое управление режимами мышления Qwen 3 в llama.cpp-server: параметры enable_thinking, reasoning_effort и preserve_thinking, готовые конфигурации для б 6 мин чтения 1394 Лучшие инструменты для локального запуска Qwen 3.8 27B: выбор сообщества в 2026 Сводная таблица и цифры сообщества: MLX — 38.36 tok/s на Apple Silicon, Ollama GGUF — 11.78 tok/s, vLLM — стабильный FP8. Плюс баг FP8 в SGLang и влияние MTP. 7 мин чтения 1395 Точная калибровка квантования Qwen3.8-27B: защита критических весов и влияние на качество Какие веса Qwen3.8-27B защищать при квантовании? Разбираем KL-дивергенцию по 14 группам, неожиданные выводы об attn_v и attn_gate, чувствительность toolcalling 7 мин чтения 1396 Малые LLM 9B: практичный выбор для массового пользователя с 8 ГБ VRAM и 16 ГБ ОЗУ 9B-модели работают на 8 ГБ VRAM и 16 ГБ ОЗУ без offloading, дают 30-50 токенов/с и закрывают чат, генерацию кода и работу с документами. Сравнение с 122B, табли 6 мин чтения 1397 Qwen 3.8 27B: детальный разбор возможностей, тесты на RTX 5090 и инструкция по запуску Qwen 3.8 27B: обзор GGUF, требований к 24 и 32 GB VRAM и локального запуска. Реальные тесты на RTX 5090: до 120 т/с, контекст 262K; команды llama.cpp и Docker. 9 мин чтения 1398 Исправленный chat template для Qwen 27B 3.8: почему байт-точность к оригиналу критична и как избежать деградации качества Разбираем новый chat template для Qwen 27B 3.8: почему байт-идентичность с оригиналом критична для качества генерации, какие изменения внесены и как интегрирова 6 мин чтения 1399 Ускорение инференса Qwen3.8-27B на Apple Silicon в 3 раза: разбор mlx-dspark и спекулятивного декодирования mlx-dspark v0.10.0 ускоряет Qwen3.8-27B на Apple Silicon: 20-27 токенов/с в 8-бит против 14.6 в 4-бит на M4 Pro 48 ГБ. Разбор спекулятивного декодирования с los 6 мин чтения 1400 Qwen3.8 27B Heretic: локальная модель уровня Opus 4.6 без цензуры — что это значит для индустрии? Qwen3.8 27B Heretic — модификация без цензуры: 6-bit MLX и 8-bit MTPLX, 29.03 ток/с при MTP 3, от 16 ГБ VRAM. Запуск локально, риски и что реально с уровнем Opu 11 мин чтения 1401 Супертреды для AI-релизов: как навести порядок в новостях о моделях в 2026 году Как модерировать AI-сообщества с помощью супертредов: критерии отбора релизов, готовые шаблоны, примеры с Reddit и Hacker News. Экономьте время разработчиков и 7 мин чтения 1402 Qwen3.8-27B: Почему режим xhigh генерирует в 5 раз больше токенов, чем medium? Практический тест Qwen3.8-27B на RTX 2080 Ti: medium выдаёт несколько тысяч токенов, xhigh — 15-20 тысяч, иногда 40 тысяч. Разбираем, баг это или фича, как это 6 мин чтения 1403 Рекуррентная модель Pathway с латентным рассуждением: прорыв в эффективности на ARC-AGI-1 Pathway представила рекуррентную модель на 150M параметров с результатом 29.5% на ARC-AGI-1. Стоимость инференса — $0.0007 за задачу. Разбираем архитектуру, рез 8 мин чтения 1404 Как создать ретро-игру за 2 минуты 47 секунд: Qwen 3.8 27B на двух RTX 3090 и 36–44 ток/с Qwen 3.8 27B в кванте Q8_K_XL на двух RTX 3090 собрала играбельный прототип RetroCraft за 2 минуты 47 секунд: 36–44 ток/с генерации, 850–890 ток/с обработки про 9 мин чтения