Перейти к содержанию
Все выпуски

Архив публикаций

Все материалы AiManual в единой хронологической ленте.

3325 Удвоение скорости инференса LLM на AMD MI50: техника параллельных вычислений без дополнительной модели Инструкция по ускорению LLM в 2 раза на AMD MI50 (19.4→38.1 tk/s) с помощью multi-stream parallel forward. Без speculative decoding, только правильная работа с 7 мин чтения 3326 Медицинская ASR модель Parakeet 0.6B: fine-tuning и локальный запуск на Mac и CUDA Полный обзор медицинской ASR модели Parakeet 0.6B: возможности, дообучение под терминологию, запуск на Mac (MLX) и Linux (CUDA). Сравнение с Whisper, примеры ко 6 мин чтения 3327 Визуальный конструктор команд llama.cpp: как перестать гадать на флагах и начать запускать LLM Готовый бесплатный инструмент для построения CLI команд llama.cpp с полным списком флагов и сохранением конфигурации. Забудь про копипаст из Readme. 4 мин чтения 3328 Как сэкономить VRAM в llama.cpp: отключаем pipeline parallelism с помощью флага компиляции Pipeline parallelism по умолчанию жрет VRAM впустую и не дает прироста скорости. Узнайте, как одним флагом компиляции отключить его и выиграть до 1-2 ГБ памяти 6 мин чтения 3329 Apple раздаёт AI бесплатно: что нужно знать инди-разработчикам о Foundation Models Apple открывает бесплатный API Foundation Models для инди-разработчиков. Условия доступа, лимиты и как это изменит App Store. 4 мин чтения 3330 ByteShape против Unsloth: выбор квантизации для Qwen3.6-35B-A3B в задачах tool calling и long context Сравниваем квантизации ByteShape и Unsloth для Qwen3.6-35B-A3B: точность tool calling, поведение на длинном контексте, скорость и KV cache. Бенчмарки и рекоменд 7 мин чтения 3331 Siri Campos: Apple наконец-то родила ИИ-ассистента, который не стыдно показать ChatGPT Разбираем Siri Campos — новую AI-функциональность Apple: локальные модели, Gemini в облаке, выбор провайдера через Extensions. Сравнение с ChatGPT, перспективы 4 мин чтения 3332 NanoQuant: экстремальное квантование LLM до 0.5 бит — обзор реализации и первые тесты Обзор NanoQuant — открытого инструмента для суб-1-битного квантования LLM до 0.5 бита на вес. Установка, сравнение с GPTQ/TurboQuant, первые тесты на Llama 3.1 5 мин чтения 3333 Как построить AI-команду для vibe-coding: пайплайн агентов от задачи до прода Пошаговое руководство по созданию агентного пайплайна разработки на Go, MongoDB и Kubernetes. MCP, саб-агенты, деплой. Избегаем хаоса и техдолга. 9 мин чтения 3334 1000 токенов в секунду на 1T модели: реальный прорыв Xiaomi или ловкий маркетинг? Разбор заявления Xiaomi о 1000 токенов/с на модели с 1 трлн параметров с 8 GPU. Анализ ультра-разреженного MoE, скепсис сообщества и перспективы для локального 1 мин чтения 3335 Как ускорить генерацию токенов на Gemma 4 с MTP и QAT: настройка и результаты Полный гайд по ускорению генерации токенов на Gemma 4 27B/31B с помощью MTP и QAT. Реальные цифры скорости на RTX 3060 и RTX 4090. Пошаговая настройка в llama.c 9 мин чтения 3336 Как автоматизировать квалификацию лидов в Bitrix24 с помощью ИИ: архитектура и результаты Практический гайд: как настроить ИИ-агента на FastAPI и GPT-5 для квалификации лидов в Bitrix24 через webhooks. Экономия 70% времени менеджеров, рост конверсии. 7 мин чтения