Перейти к содержанию
Ctrl K
Telegram MAX
Все выпуски

Архив публикаций

Все материалы AiManual в единой хронологической ленте.

889 KTransformers или llama.cpp для MoE-модели на нескольких GPU и в оперативной памяти Практический разбор выбора между KTransformers и llama.cpp для MoE-моделей на 4 GPU по 16 ГБ и RAM. Разбираем FP8 и GGUF, CPU-GPU offload, распределение слоёв, 17 мин чтения 890 Microsoft 365 Copilot и oversharing в SharePoint: как проверить права до запуска Перед запуском Microsoft 365 Copilot проверьте, какие данные SharePoint реально доступны сотрудникам. Разбираем oversharing, Content Management Assessment, Data 15 мин чтения 891 Когда open source LLM догонят Astra: темпы гонки ИИ и что это значит для пользователей Разбираем, как сравнивать open source и закрытые LLM, почему нельзя назвать точную дату паритета с Astra и где локальные модели уже практичны. 10 мин чтения 892 The Struggle Bench: что на деле измеряет бенчмарк выживания LLM The Struggle Bench — бенчмарк, где LLM-агент должен выжить, оплачивая аренду и электричество. Разбираем, какие навыки он реально проверяет и почему это не метри 6 мин чтения 893 Как выжать больше из MTP в llama.cpp: настройки llama-server и нормальная скорость Разбираем, как spec-type draft-mtp, spec-draft-n-max, контекст, batch-size, KV-кэш, flash-attn, parallel и tensor-split влияют на скорость llama-server и как ко 7 мин чтения 894 LayerStoRm: как запускать 186 ГБ MoE-модели на 96 ГБ VRAM с упором на RAM и expert streaming Разбираем, как LayerStoRm пытается запускать MoE-модель с весами 186 ГБ на системе с 96 ГБ VRAM: где хранятся эксперты, зачем нужна host RAM и почему PCIe и NUM 13 мин чтения 895 Как LLM-агенты меняют модель угроз: адаптивный червь, который подбирает стратегию под конкретную машину Разбираем, чем адаптивный червь с LLM-агентом отличается от WannaCry, зачем ему локальные модели и GPU, как устроены память и граф решений, почему такая атака п 8 мин чтения 896 Как превратить Mac с LM Studio в удалённый AI-рабочий сервер для телефона Разберите практическую схему удалённого AI-сервера: LM Studio и NodeTool работают на Mac, телефон подключается через VPN или HTTPS с MCP и OAuth. В статье есть 15 мин чтения 897 2× Radeon AI PRO R9700: локальный сервер для Qwen 3.8 и Flash Next Разбор конфигурации 2× Radeon AI PRO R9700 и 64 ГБ DDR5 для локального запуска Qwen 3.8 27B в FP8 и MXFP4, а также Qwen 3.8 Flash Next через vLLM Radiance и R9V 18 мин чтения 898 lm-eval-ledger: как устроен бенчмарк-харнесс для просмотра ответов LLM по каждому вопросу Почему высокий score не объясняет поведение LLM и какие артефакты нужны для разбора каждого ответа. Разбираем заявленную идею lm-eval-ledger, роль SQLite, YAML, 13 мин чтения 899 Как настройки sampling меняют качество Qwen 3.8-27B NVFP4 и Q5_K_M в локальном запуске Почему Qwen 3.8-27B NVFP4 и Q5_K_M могут давать разные результаты при одинаковых весах. Разбираем влияние temperature и min_p, форматные ошибки, IFBench strict/ 10 мин чтения 900 Какую видеокарту выбрать для локальных LLM в 2026: бюджет до $700 и модифицированные карты из Китая Разбираем, как выбрать бюджетную GPU для локальных LLM уровня 27B Q4 в 2026 году: что проверять у RTX 3080 20 ГБ и AMD Mi50, почему VRAM нельзя считать без KV-к 16 мин чтения