Все выпуски
Архив публикаций
Все материалы AiManual в единой хронологической ленте.
6697
SEDAC v5: обзор фреймворка динамического ускорения LLM на основе семантической энтропии - применение для edge-устройств
Обзор фреймворка SEDAC v5 для динамического ускорения инференса языковых моделей на edge-устройствах с помощью семантической энтропии. Сравнение, примеры, реком
6698
ИИ не справляется с железом: как SystemVerilog разбил в пух и прах самые продвинутые модели
Экспертный разбор: почему современные LLM терпят фиаско в хардверной верификации. Кейс с SystemVerilog развенчивает мифы о всесильности ИИ в программировании.
6699
cuda-nn: как запустить MoE-модель на 6.9B параметров без PyTorch на Rust, Go и CUDA
Обзор cuda-nn — inference движка на Rust, Go и CUDA для запуска MoE моделей на 6.9B параметров без PyTorch. Сравнение с альтернативами, оптимизация ядер.
6700
3x NVIDIA V620 на 96 ГБ VRAM: постройка локального монстра для ИИ без компромиссов
Подробное руководство по сборке мощной локальной станции с тремя NVIDIA V620 на 96 ГБ VRAM для запуска больших языковых моделей. Аппаратная часть, настройка, те
6701
Minimax 2.1 на чистом CPU: какой квант выбрать, если нет видеокарты
Тестируем Minimax 2.1 на CPU без GPU. Сравниваем q4, q5, q8 квантования. Замеры скорости на DDR4/DDR5. Какой формат выбрать для работы в RAM.
6702
Локальный ИИ на телефоне: как собрать требования сообщества и не сойти с ума
Гид для разработчиков: как собрать требования сообщества для идеального мобильного приложения с локальным ИИ. Архитектура, модели, офлайн-режим.
6703
GFN v2.5.0: архитектура, которая забывает о памяти и вспоминает в 500 раз дальше
Как GFN решает проблему квадратичной сложности памяти трансформеров. Сравнение с альтернативами, примеры использования и кому подойдет эта архитектура.
6704
Генерация игровых миров с помощью Instructor и локальной LLM: полный туториал по созданию RPG-вселенной
Пошаговый гайд по генерации консистентных игровых миров с помощью Instructor, Pydantic и локальной LLM. Создаем RPG-вселенную с SQLite-реестром фактов.
6705
Проблемы при обучении LM с нуля: анализ ошибок потерь (loss) и работа с The Pile
Практический гайд по диагностике странного поведения loss при обучении языковой модели с нуля на The Pile. Решаем проблемы с DDP, потоковой загрузкой и отладкой
6706
Книги на слух, без облаков: строим локальную фабрику аудиокниг с XTTS и GPT-SoVITS
Пошаговый обзор open-source проекта для полной автономной конвертации книг в аудио. Локально, без подписок, с модульными движками синтеза речи.
6707
Конец бума цен на RAM: как цены на HBM влияют на стоимость DDR5 и когда ждать падения
Цены на оперативную память DDR5 наконец пошли вниз. Разбираем, как бум на HBM память для ИИ сбил цены для обычных пользователей и когда делать апгрейд.
6708
16 ГБ VRAM и выбор модели: Qwen2.5 против Mistral, поиск замены Gemini
Детальное руководство по выбору GGUF модели для RTX 5060 Ti 16 ГБ. Сравнение Qwen2.5, Mistral, квантования Q6_K, поиск локальной замены Gemini.