Тематическая лента
Подборка материалов
Публикации, объединённые общей практической задачей.
1920
материалов
01
Запуск Gemma4 26B на Rockchip NPU: обзор кастомного форка llama.cpp и настройка для энергоэффективности
Обзор кастомного форка llama.cpp для запуска Gemma4 26B на нейропроцессорах Rockchip. Настройка для максимальной энергоэффективности на edge-устройствах.
02
Сравнение скорости квантований Bartowski и Unsloth для Gemma 4 26B: разбор причин разницы в 10 токенов/сек
Технический разбор: почему квантования Bartowski и Unsloth для Gemma 4 26B дают разницу в 10 токенов/сек при одинаковом размере файлов.
03
Monarch v3: как ускорить вывод LLM на 78% с помощью NES-памяти подкачки KV cache
Monarch v3 решает проблему KV-кэша через NES-inspired подкачку. Ускорение inference до 78% с минимальным overhead VRAM. Актуально на 04.04.2026.
04
Luminarys AI: обзор платформы для безопасных AI-агентов с изоляцией на WebAssembly
Подробный разбор платформы Luminarys AI для создания изолированных AI-агентов на WebAssembly. Сравнение с Docker и LangChain, примеры использования на Rust и Go
05
Qwen tokenizer на C++: как ускорить обработку текста в 20 раз против Tiktoken
Обзор header-only токенизатора для Qwen на C++. Сравнение с Tiktoken, примеры использования и рекомендации для разработчиков LLM на 03.04.2026.
06
VOID от Netflix: как вырезать из видео все, что мешает
Обзор VOID от Netflix на Hugging Face. Как работает модель для удаления объектов из видео, сравнение с аналогами и кому она нужна в 2026 году.
07
ClawRouter: настройка open-source LLM-роутера для экономии до 85% на API-запросах
Настройка ClawRouter для умного роутинга запросов к LLM. Сравнение с RouteLLM и Unify. Примеры использования и экономия токенов.
08
Trinity-Large-Thinking 400B: обзор и настройка открытой reasoning-модели, которая в 28 раз дешевле Claude Opus
Открытая reasoning-модель Trinity-Large-Thinking 400B от Arcee AI: 400B параметров, в 28 раз дешевле Claude Opus. Обзор, настройка, сравнение.
09
PromptPilot: настройка очереди задач и Telegram-бота для AI CLI (Claude Code, Codex)
Как настроить PromptPilot для управления промптами, обхода rate limit и экономии токенов в Claude Code и Codex. Актуально на 2026 год.
10
Latent Reasoning Engine: Mamba-модель 2.8B для скрытого мышления без KV-cache на RTX 3060
Обзор Latent Reasoning Engine - Mamba-модели 2.8B для скрытого мышления на RTX 3060. Экономия памяти O(1), сравнение с альтернативами и примеры использования.
11
Orthogonalized Representation Intervention для Gemma 4 31B: как использовать модифицированные квантования в GGUF
Пошаговый гайд по применению Orthogonalized Representation Intervention к квантованным версиям Gemma 4 31B в формате GGUF. Модифицируйте Q4_K_M, Q8_0 модели для
12
Как запустить 1-битные модели Bonsai на CPU и AMD GPU: фиксы в llama.cpp и инструкции по ROCm
Подробное руководство по запуску 1-битных моделей Bonsai через исправленный форк llama.cpp. Инструкции для CPU с AVX512 и AMD GPU через ROCm на 02.04.2026.