Тематическая лента
Подборка материалов
Публикации, объединённые общей практической задачей.
5432
материалов
01
Qwen3 27B INT4 на RTX 3090: запуск через vLLM с контекстом 144K
Опыт запуска Qwen3 27B INT4 AutoRound на одной RTX 3090: vLLM 0.27.1 с патчем Club 3090, контекст 147 456 токенов, FP8 E4M3 KV-кэш, AOT-компиляция против OOM и
02
Один агент за раз: как запускать супервизора и субагентов на слабой GPU без потери KV-кэша
Разбираем, почему параллельные агенты убивают KV-кэш и prefix caching на двух Tesla P40, какие цифры реально даёт Qwen 3.8 27B при одном процессе и как собрать
03
Кластеры DGX Spark: сколько устройств реально нужно для запуска DeepSeek и других крупных LLM
Двух DGX Spark хватает для DeepSeek в 4-битной квантизации и не хватает для FP16 с длинным контекстом. Разбираем, как считаются веса и KV-кэш по узлам, где упир
04
Домашний инференс-сервер за $3k: 128 ГБ VRAM на четырёх Radeon V620 и EPYC 7452
Реальная сборка домашнего сервера для локального инференса LLM за ~$3000: 4× Radeon V620 на 128 ГБ VRAM, EPYC 7452, 256 ГБ DDR4 и БП на 1600 Вт. Разбираем цифры
05
ТЗ из связанных документов: почему Jira и Confluence не справляются и как помогает MCP
Опыт системного аналитика: почему ТЗ в Confluence и Word устаревает, каких возможностей не хватает Jira и как собрать ТЗ из связанных карточек требований. Плюс
06
RTX 3090 против MacBook M5 Pro: практический опыт запуска Qwen 3.8 27B локально, 20 и 100 токенов в секунду
Разбор реального кейса: переход с MacBook M5 Pro (48 ГБ) на Linux с RTX 3090 для Qwen 3.8 27B дал рост с 20 до 100 токенов в секунду. Почему на Mac не помогло к
07
Апгрейд AI-сервера на EPYC 7551 и 2×RTX 3090: третья видеокарта или новый CPU за $800
Qwen3-Flash-Next на 177B выдаёт 38 tok/s в один поток и проседает до 4 tok/s при двух запросах. Разбираем, что снимет узкое место в бюджете $800: третья RTX 309
08
Автоматизация длительных задач с локальными LLM: как не терять контекст при работе с большой кодовой базой
Локальная LLM упирается в переполнение контекста на длинных задачах с большой кодовой базой. Разбираем harness: пять подсистем, порог 80%, wrap-up checklist и а
09
Спекулятивное декодирование Qwen3.8-27B на 16 ГБ: опыт запуска на RX 9070 XT с ~60 ток/с
Пользователь запустил Qwen3.8-27B на RX 9070 XT с 16 ГБ VRAM и получил около 60 ток/с. Разбираем связку с draft-моделью, KV-кэш k 8_0/v 4_0, контекст 128k и нюа
10
smolbenchmark: бенчмарк малых LLM для слабого железа - от Raspberry Pi до Jetson
smolbenchmark измеряет не абстрактный рейтинг, а tok/s, токены на джоуль и нагрев на реальном слабом железе. Разбираем метрики, текущее покрытие платформ и то,
11
Регулирование AI-моделей: что обсуждают в сообществе и что это значит на практике
Разбираем, что такое регулирование AI-моделей и какие аспекты обычно попадают под правила: прозрачность, безопасность, лицензирование и доступность. Отдельно см
12
DeepSeek v4.1 Flash на DS4: скорость, квантизация q2 и tool calls в реальном воркфлоу
Разбираем практический опыт запуска DeepSeek v4.1 Flash на DS4 с квантизацией q2: около 300 t/s на prefill, 16 t/s на decode и просадка только после 110k токено