Перейти к содержанию
Ctrl K
Telegram MAX
Все выпуски

Архив публикаций

Все материалы AiManual в единой хронологической ленте.

265 Переиспользуемые AI-компоненты вместо гигантских моделей: как open-source может пойти по пути Linux В r/LocalLLaMA обсуждают альтернативу гонке за гигантскими моделями: дистиллировать открытые модели в доменных специалистов и собирать из них локальные инструме 9 мин чтения 266 Апгрейд железа под локальные LLM: когда переход с Qwen3 27B на MoE-модели действительно оправдан Разбираем, когда апгрейд VRAM под локальные MoE-модели окупается, а когда дешевле подождать Qwen4 27B. Сравниваем 2×CMP 170HX 64 ГБ и 4×V100 32 ГБ по цене, скор 8 мин чтения 267 SSH-доступ для rootless-контейнера без передачи приватного ключа: схема на ssh-agent Разбираем схему, в которой rootless-контейнер пользуется SSH, но не получает приватный ключ: внутрь передаётся только сокет ssh-agent. Показываем, почему обычно 10 мин чтения 268 ИИ-агенты вместо сайтов: почему интерфейсы возвращаются к пустому полю ввода Поиски без кликов выросли до 68%, ИИ-сводки режут переходы по ссылкам, а покупки через агентов оценивают в сотни миллиардов долларов. Разбираем, какие интерфейс 8 мин чтения 269 TypeSafe Jev и GraphRAG: как разделить быстрые решения и рассуждения LLM в графах знаний GraphRAG упирается в тысячи вероятностных микрорешений: сопоставить сущности, унифицировать предикаты, отсечь лишние узлы. Разбираем, как TypeSafe Jev берёт эту 10 мин чтения 270 Freetoken и MoE offload: сравнение с llama.cpp для локального запуска моделей Freetoken и llama.cpp по-разному подходят к выгрузке экспертов MoE на ограниченной VRAM. Разбираем, что подтверждено документацией llama.cpp, почему по Freetoke 8 мин чтения 271 VeriLoop E2: как заставить LLM предлагать, но не менять проверенное состояние VeriLoop E2 - 27B-модель на базе Qwen3.8-27B с весами Apache-2.0 и правилом VGR: разбираем защищённый коммит состояния, частичный порядок вместо скалярной награ 7 мин чтения 272 Llama.cpp или vLLM: что выбрать для локального запуска MoE-моделей в 2026 году Разбираем переход с llama.cpp на vLLM на конфигурации HP Z8 G4 (512 ГБ RAM, RTX 3090 и RTX 5060 16 ГБ): кто быстрее получает поддержку новых MoE-моделей, как об 10 мин чтения 273 SupraTTS-0.1-Beta: крошечная TTS-модель на 29,6 млн параметров для CPU и edge-устройств SupraTTS-0.1-Beta - TTS-модель на 29,6 млн параметров на архитектуре Glow-TTS, рассчитанная на CPU и небольшие edge-устройства. Разбираем, что заявлено в релизе 8 мин чтения 274 Как разрезать монолит на Python-пакеты: опыт Charoite, границы модулей и сторож на AST вместо import-linter В проекте Charoite 29 тысяч строк и около 60 файлов лежали в одной папке src/. Разбираем план из семи пакетов со стрелками зависимостей только вниз, самодельный 8 мин чтения 275 Как дать локальной LLM доступ к веб-поиску и браузеру: варианты без дорогих API webfetch-плагины открывают только те URL, которые вы вставили вручную, поэтому модель не ищет сама. Разбираем четыре способа добавить локальной LLM поиск и брау 11 мин чтения 276 Штраф за «wait» и «maybe»: как logit bias в llama.cpp повышает точность Qwen на разных квантизациях Отрицательный logit bias -2 на слова «wait», «maybe» и «perhaps» поднял точность Qwen3.5-4B на MATH-500 во всех пяти GGUF-квантизациях, от BF16 до Q2_K, а цепоч 7 мин чтения