Тематическая лента
Подборка материалов
Публикации, объединённые общей практической задачей.
5424
материалов
01
laya.cpp: как C++ и ggml ускоряют инференс Laya до сотен решений в секунду
Разбираем laya.cpp: автономный C++ инференс модели Laya на ggml с кастомными CUDA-ядрами. Конкретные цифры против Python, технические оптимизации, требования к
02
Одна RTX 5060 Ti 16 ГБ или две: стоит ли объединять GPU для локальных LLM и ComfyUI
Разбираем, стоит ли добавлять вторую RTX 5060 Ti 16 ГБ или объединять её с RTX 3080 для LLM и ComfyUI: как в реальности работают P2P и SHM, почему VRAM не склад
03
LoRA-файнтюнинг Qwen3.5 4B: как энтузиаст собрал аналог Jev за 2 часа на арендованной RTX 3090
Энтузиаст дообучил Qwen3.5 4B методом LoRA на 25 млн синтетических токенов от DeepSeek V4.1 Flash, потратив около двух часов аренды RTX 3090. Метрика typed-deci
04
Qwen 3.8 Next Flash при локальном запуске: почему падает производительность с ростом контекста и какие флаги llama.cpp помогают
Пользователь r/LocalLLaMA не может стабилизировать Qwen 3.8 Next Flash: все эксперты, кроме грамматического, уже в VRAM, а скорость падает с ростом контекста. Р
05
AI пишет код, но не архитектуру: чему учит пет-проект MirrorVote на Supabase и OpenRouter
Пет-проект MirrorVote: код написал Claude Code, а архитектуру, RLS, идемпотентные webhook ЮKassa, retry для LLM и observability пришлось делать вручную. Разбира
06
PromptDeck v1.1.0: обзор open-source инструмента для сравнения локальных и облачных LLM бок о бок
Обзор PromptDeck v1.1.0: приложение на Tauri и React запускает один промпт против четырёх моделей сразу и показывает их ответы бок о бок. В версии 1.1 добавлены
07
ExllamaV3 и exl3 3bpw для Flash Next: реальный опыт запуска на 3x3090 и одной 5090
Один пользователь запустил Flash Next через ExllamaV3 с квантом exl3 3bpw и получил около 1500 токенов prefill при контексте 262k: 80 токенов/с на трёх RTX 3090
08
Qwen 3.8 27B на RTX 3090: 21 день автономной разработки CUDA-движка
Локальный агент на Qwen 3.8 27B (Q4, KV-кэш Q8, контекст 200k) за 21 день написал CUDA-инференс-движок на одной RTX 3090: рабочие кернелы, ~250 tps prefill прот
09
Jev от TypeSafe AI: как System One модель ускоряет решения AI-агентов и работает с LangChain
Jev от TypeSafe AI не генерирует текст, а оценивает состояние и возвращает вероятности: choice, score и noul, до 200x быстрее и до 400x дешевле на классификации
10
Как меняется система скидок DeepSeek API: пиковые часы, выходные и праздники КНР в 2026 году
Разбираем тарифную сетку DeepSeek API: пиковые часы 04:00-07:00 и 09:00-13:00 MSK дороже вдвое, выходные целиком непиковые, а к скидкам добавились китайские нац
11
Домашний сервер для LLM на списанных NVIDIA Tesla V100 SXM2: стоит ли экономить в 2026 году
Списанные Tesla V100 SXM2 дают до 128 ГБ HBM2 и NVLink за бюджет одной современной видеокарты, но требуют переходников SXM2→PCIe, охлаждения на 300 Вт и CUDA 12
12
Как LLM помогли написать эмулятор ZX Spectrum: опыт разработки на Go и C++
Qwen спроектировала архитектуру, DeepSeek написал Z80, Sol доработал ULA: разбираем, как LLM ускорили создание эмулятора ZX Spectrum на C++. Отдельно про провал