Перейти к содержанию
Ctrl K
Telegram MAX
Все выпуски

Архив публикаций

Все материалы AiManual в единой хронологической ленте.

1033 Почему медленный inference может быть удобнее быстрого для локальных LLM Разбираем, когда отдельный CPU-сервер с локальной LLM удобнее быстрого GPU на домашнем ПК: фоновые задачи, always-on доступ, RAG и автоматизации. Внутри - матри 11 мин чтения 1034 Qwen3.8 27B: какой квант выбрать для 16 ГБ VRAM и как квантизация влияет на качество Поместится ли Qwen3.8 27B в 16 ГБ VRAM и какой квант выбрать для локального запуска? Разбираем UD Q3_K_XL размером около 12,8 ГБ, расход памяти на KV-кэш и огра 7 мин чтения 1035 Diffusers и Stable Diffusion 3.5 Large: как запускать, квантизировать и дообучать модель Практический разбор Stable Diffusion 3.5 Large в Diffusers: базовый и ускоренный инференс, CPU offload, 4-битная NF4-квантизация через bitsandbytes, загрузка из 19 мин чтения 1036 Aya Expanse: как Cohere For AI строит открытую мультиязычную LLM нового уровня Разбираем Aya Expanse от Cohere For AI: как data arbitrage, SFT, multilingual preference training, offline и online DPO могут улучшать мультиязычные LLM. Показы 14 мин чтения 1037 Как сделать мобильный аудиогид для самостоятельных городских прогулок: карта, поиск мест и озвучка на базе AI Практический разбор создания мобильного аудиогида: карта как главный экран, поиск мест рядом, ручной маршрут, GPS, геотриггеры, RAG, LLM и AI-озвучка. Материал 18 мин чтения 1038 Transformers.js v3: WebGPU, dtype и запуск AI-моделей прямо в браузере Transformers.js v3 делает локальный AI-инференс в JavaScript практичнее, но WebGPU и 4-битные веса подходят не для каждой модели и аудитории. Разбираем WebGPU и 13 мин чтения 1039 Как локальная LLM помогает переводить Vertica SQL в Trino: инженерный пайплайн вместо «магического» промпта Разбор практического конвейера для перевода Vertica SQL в Trino с локальной LLM: как дробить запросы, хранить metadata, проверять запрещенные паттерны и сравнив 9 мин чтения 1040 Argilla 2.4: как без кода собирать датасеты для fine-tuning и оценки LLM из Hugging Face Hub Разбираем Argilla 2.4: как импортировать публичный датасет из Hugging Face Hub, настроить поля и вопросы без кода и запустить разметку для fine-tuning или оценк 12 мин чтения 1041 Почему агентские проекты ломаются не на модели, а на обвязке: что такое harness engineering Разбираем, что такое harness engineering для AI-агентов и почему сильная LLM не компенсирует слабый контроль инструментов, состояния и данных. Практическая схем 12 мин чтения 1042 Как запускать быстрые локальные модели на 12 ГБ VRAM: пример ik_llama Практический разбор запуска локальных LLM на видеокарте с 12 ГБ VRAM: какие модели рассматривать, как учитывать KV-cache и почему скорость ответа часто ценнее м 15 мин чтения 1043 CinePile 2.0: как adversarial refinement улучшает датасеты для video QA Разбираем CinePile 2.0 и adversarial refinement: как выявлять вопросы, на которые модель отвечает без понимания видео, когда их переписывать и когда исключать. 12 мин чтения 1044 Structured Outputs в LLM: почему идеальный JSON может содержать неверные данные — и как это поймать Structured Outputs и JSON Schema гарантируют форму ответа, но не его смысл: валидный JSON спокойно проносит ошибочные данные дальше по пайплайну. Разбираем прак 15 мин чтения