Перейти к содержанию
Ctrl K
Telegram MAX
Тематическая лента

Подборка материалов

Публикации, объединённые общей практической задачей.

1920 материалов
01 Gemma 4 26B на двух машинах: Decoupled Attention с помощью Larql для обхода лимитов локальной памяти Как запустить Gemma 4 26B на двух слабых GPU с помощью Larql и техники Decoupled Attention. Рабочий код, сравнение с альтернативами, пример конфигурации. 6 мин чтения 02 Multi-Token Prediction на Qwen3-27B: ускорение в 2.5x с Unsloth UD XL и квантованными GGUFs Как запустить Multi-Token Prediction на Qwen3-27B с Unsloth UD XL и получить 2.5x прироста скорости. Инструкция, бенчмарки, сравнение с vLLM и llama.cpp. 5 мин чтения 03 FSRS для Obsidian: как забывать реже, а учиться — в своем хранилище Обзор плагина FSRS для Obsidian: алгоритм нового поколения, до 30% меньше повторений, все данные в .md файлах. Сравнение с Anki и RemNote. 6 мин чтения 04 Solidity LM на основе Qwen 3.6 превзошёл Opus: как запустить модель 27B для смарт-контрактов Новинка: Solidity LM на Qwen 3.6 - 27B модель обходит Opus. Гайд по запуску, сравнение с альтернативами и примеры для разработчиков смарт-контрактов. 5 мин чтения 05 SocratiCode: MCP-сервер, который научит ИИ-агента шарить в вашем коде Обзор SocratiCode — open-source MCP-сервера для семантического поиска по коду. AST-чанкинг, гибридный search (Qdrant + Ollama), сравнение с Ragex и Code-memory. 6 мин чтения 06 CopilotKit и AG-UI: как интегрировать AI-агентов в UI с открытым протоколом Разбираем CopilotKit и AG-UI — связку для встраивания AI-агентов в интерфейсы. Streaming, state sharing, человеко-в-цикле. Сравнение с альтернативами и примеры 5 мин чтения 07 VibeVoice.cpp: Microsoft VibeVoice на стероидах — локальный speech-to-speech без Python и облаков Запускаем VibeVoice.cpp — порт Microsoft VibeVoice на ggml/C++ с поддержкой CPU, CUDA, Metal, Vulkan. Без Python, с квантованием и voice cloning. Сравнение с ал 1 мин чтения 08 MTPLX: ускорение инференса на Apple Silicon в 2.24 раза — обзор нового MTP-движка Разбор MTPLX — нативного MTP-движка для Apple Silicon, который ускоряет инференс в 2.24 раза. Бенчмарки, сравнение с llama.cpp и mlx-lm, примеры запуска на M5 M 5 мин чтения 09 FastDMS: как сжать KV-cache в 6 раз и ускорить инференс — обзор открытой реализации и бенчмарков Разбор открытой реализации Dynamic Memory Sparsification (FastDMS): сжатие KV-cache в 6 раз, ускорение инференса на 30% против vLLM. Примеры, бенчмарки, сравнен 3 мин чтения 10 APEX MoE квантизация: 30+ моделей с ускорением до 33% и новый ультра-сжатый I-Nano уровень Обзор APEX — MoE-aware mixed-precision квантизация. Ускорение до 33%, поддержка 30+ моделей, ультра-сжатый уровень I-Nano. Сравнение с аналогами, тесты скорости 6 мин чтения 11 DGX Spark + M3 Ultra: собираем распределённый инференс с разделением prefill/decode на llama.cpp Эксперимент: разъединяем prefill и decode между DGX Spark и M3 Ultra на llama.cpp. Результаты, команды, узкие места — для тех, кто хочет выжать максимум из гете 8 мин чтения 12 LLMSearchIndex: 200 миллионов страниц для локального RAG — Tavily и Perplexity больше не нужны? LLMSearchIndex — open-source библиотека с 200 млн проиндексированных страниц для локального веб-поиска в RAG-пайплайнах. Сравнение с альтернативами, примеры код 5 мин чтения