Перейти к содержанию
Ctrl K
Telegram MAX
Все выпуски

Архив публикаций

Все материалы AiManual в единой хронологической ленте.

853 Оптимизация top-k в llama.cpp: как radix-selection ускорил Flash-Next на двух RTX 3090 Разбираем кейс radix-selection в llama.cpp: почему старый CUDA top-k fallback тормозил Qwen3-Flash-Next, как на двух RTX 3090 получили прирост декодирования с 3 9 мин чтения 854 Две RTX 3060 или одна RTX 3090 для локального LLM-сервера в 2026 году Сравниваем две RTX 3060 12 ГБ и одну RTX 3090 24 ГБ для локального LLM-сервера: как считать VRAM, KV-кэш и offload, проверить multi-GPU и PCIe, оценить 27B dens 16 мин чтения 855 Open-weight модели под прицелом: реальные риски, интересы критиков и практический выбор Разбираем критику open-weight моделей и публикацию WSJ: реальные угрозы, интересы поставщиков закрытых AI-систем, локальные LLM и способы снизить риски. Практич 18 мин чтения 856 Ollama: удобный запуск локальных LLM или компромисс по качеству? Разбираем плюсы, минусы и альтернативы Разбираем, почему Ollama удобна для локального запуска LLM, но может ограничивать опытных пользователей. Сравниваем Ollama с llama.cpp, LM Studio и Jan по гибко 13 мин чтения 857 Warrior Quest: локальная LLM для NPC в детерминированной RPG без облака Разбираем Warrior Quest, где локальная LLM отвечает за NPC и диалоги, а квесты, канон и состояние мира контролирует игровой код. Узнайте, зачем проекту офлайн-з 15 мин чтения 858 IFM выпустила линейку K2-Horizon: что известно о моделях 7B, 32B, 36B и 375B Разбираем состав линейки IFM K2-Horizon: dense-модели 7B и 32B, MoE-варианты 36B A4B и 375B A23B. Объясняем статус 32B stage1 checkpoint, разницу между активным 11 мин чтения 859 Как Cursor выстраивает доверие к ИИ-агентам: верификация, evals и жесткие CI-проверки Разбираем, как Cursor повышает надежность ИИ-агентов с помощью локального запуска кода, трейсинга, skills, feature map, evals и строгих CI-проверок. Практическа 11 мин чтения 860 TAK-квантизация Qwen3.8-27B: как task-aware подход почти догнал BF16 по качеству reasoning при меньшем размере TAK-квантизация распределяет ограниченный битрейт Qwen3.8-27B по чувствительности тензоров и приблизила качество reasoning к BF16 на целевом бенчмарке при сопос 12 мин чтения 861 Как не потерять часы рендера из-за ошибки AI-ассистента: провал ThinkingCap при исправлении видеоскрипта Шестичасовой рендер может оказаться под угрозой из-за одной команды AI-ассистента, если агенту открыт доступ к каталогу результатов. Разбираем кейс ThinkingCap, 14 мин чтения 862 BF16 или Q8 для локальной LLM: заметна ли разница на практике Узнайте, есть ли реальная разница между BF16 и Q8 для локальных LLM на примере Qwen 3 27B. Сравниваем требования к памяти, скорость, качество ответов и даём мет 4 мин чтения 863 Qwen3.5 0.8B на CPU: тест кастомного движка H128/Q4-G32-DOT4 против llama.cpp и ik_llama.cpp Практический разбор запуска Qwen3.5 0.8B на Ryzen 9 9955HX3D в Linux: кастомный CPU-движок с H128/Q4-G32-DOT4 показал до 2,9x по prefill и на 53% больший throug 13 мин чтения 864 Глоссарий AI-терминов 2026: что означают LLM, RAG, MCP и opaque recurrence Разберите ключевые AI-термины 2026 года: LLM, training, inference, fine-tuning, reasoning, token throughput, RAG, MCP и opaque recurrence. Поймите, как эти поня 23 мин чтения