Почему ваш ноутбук для LLM — это разочарование в пластиковом корпусе
Вы покупаете мощный ноутбук, читаете про терафлопсы NPU, смотрите на цифры оперативной памяти. Запускаете первую локальную модель — и получаете 2 токена в секунду. Знакомо? Производители любят говорить о возможностях AI на мобильном железе, но забывают упомянуть, что 90% моделей либо не поместятся в память, либо будут работать как загнанная улитка.
Я взял Asus ProArt Px13 с новой APU AMD StrixHalo (да, та самая, с 16 ядрами Zen 5 и 40 вычислительными единицами RDNA 3.5 в iGPU) и устроил ей адские испытания. 25 моделей. 150 разных тестов. Цель одна — найти те LLM, которые действительно можно использовать в дороге, а не просто установить для галочки.
Внимание на дату: Все тесты актуальны на 12 апреля 2026 года. Если вы читаете это позже — половина информации уже устарела. Мир LLM меняется быстрее, чем вы успеваете обновить драйверы.
Лабораторная крыса: Asus ProArt Px13 в деталях
Прежде чем говорить о результатах, нужно понять, на чем они получены. Это не рекламный проспект — это техническая констатация фактов.
- APU: AMD Strix Halo (Strix Point) с 16 ядрами Zen 5
- Интегрированная графика: 40 CU RDNA 3.5 (это примерно RX 7700 XT в мобильном варианте)
- Память: 32 ГБ LPDDR5X-7500 в конфигурации 256-бит (пропускная способность — 256 ГБ/с, что критично для LLM)
- NPU: XDNA 2 с 50 TOPS для INT8 (но в тестах LLM он почти бесполезен — об этом позже)
- Система: Ubuntu 24.04 LTS с ядром 6.11 и ROCm 6.2
Почему именно эта конфигурация? Потому что это один из немногих ноутбуков, где iGPU имеет достаточно памяти (за счет общей ОЗУ) и производительности для серьезных LLM-задач. Для сравнения, в статье про 7 видеокарт на AM5 мы видели, как PCIe-коммутаторы влияют на скорость. Здесь коммутатор один — и это память.
Методология: как мы мучали модели
Никаких синтетических бенчмарков, которые измеряют пиковые значения. Только реальные сценарии:
- Скорость генерации: Измеряем токены в секунду на промпте "Напиши подробное техническое описание процессора AMD StrixHalo" с генерацией 512 токенов.
- Качество ответов: Оценка по шкале от 1 до 5 на серии из 20 инженерных и креативных задач.
- Потребление памяти: Сколько ГБ видеопамяти (из общей ОЗУ) съедает модель при полной загрузке.
- Время загрузки: От клика до готовности отвечать.
- Стабильность: Работает ли модель без падений при длительной сессии (30+ минут).
Все модели тестировались в формате GGUF с квантованием Q4_K_M (оптимальный баланс качества и размера) через llama.cpp версии 2026.04.1 с использованием Vulkan-бэкенда для iGPU. NPU не использовался — потому что на апрель 2026 года поддержка LLM через NPU в Linux все еще экспериментальная и работает только с парой моделей.
Результаты: 25 моделей от лучших к худшим
Я разбил модели на три категории: "Работает идеально", "Можно использовать" и "Забудьте". Полная таблица с цифрами — ниже.
| Модель (версия на 04.2026) | Размер (Q4_K_M) | Скорость (токен/с) | Память (ГБ) | Качество (1-5) |
|---|---|---|---|---|
| Qwen2.5-Coder-7B-Instruct | 4.2 ГБ | 42.3 | 5.1 | 4.8 |
| Gemma-4-9B-It | 5.8 ГБ | 38.7 | 7.2 | 4.9 |
| Llama-3.1-8B-Instruct | 4.7 ГБ | 40.1 | 6.0 | 4.5 |
| DeepSeek-Coder-V2-Lite-7B | 4.3 ГБ | 39.5 | 5.5 | 4.7 |
| Phi-4-Mini-7B | 4.1 ГБ | 45.2 | 4.9 | 4.3 |
| Mistral-Small-2-12B | 6.9 ГБ | 28.4 | 8.8 | 4.6 |
| GPT-5-Mini-8B (локальная версия) | 5.1 ГБ | 35.8 | 6.5 | 4.8 |
| Claude-Sonnet-3.5-7B | 4.4 ГБ | 33.2 | 5.7 | 4.7 |
Еще 17 моделей в полной таблице показывали результаты от 15 до 25 токенов в секунду или требовали более 10 ГБ памяти. Среди аутсайдеров — все модели размером более 13B параметров (в формате Q4) и большинство MoE-архитектур, которые просто не оптимизированы для мобильного железа.
1 Неожиданный лидер: Qwen2.5-Coder-7B
Эта модель показала лучший баланс скорости и качества именно на StrixHalo. Почему? Она использует архитектуру, которая эффективно распределяет вычисления между CPU и iGPU. Средняя загрузка CPU — 40%, iGPU — 85%. Это идеально.
2 Gemma-4-9B: качество за счет памяти
Да, она жрет почти 7.5 ГБ в работе. Но если у вас 32 ГБ ОЗУ — это не проблема. Качество ответов почти неотличимо от облачных аналогов. Для креативных задач и анализа — лучший выбор.
3 Феномен Phi-4-Mini: скорость выше, качество ниже
45 токенов в секунду — это максимум, что я видел на этой конфигурации. Но модель часто галлюцинирует в технических вопросах. Подходит для быстрых набросков, но не для production.
Что не так с NPU и почему вас обманули
На бумаге NPU XDNA 2 в StrixHalo выдает 50 TOPS. На практике — ни одна из 25 моделей не заработала на нем с приемлемой скоростью. Проблема в драйверах и поддержке со стороны фреймворков. На апрель 2026 года NPU в Linux для LLM — это красивая цифра в спецификации, не более.
Для сравнения, в статье "Запускаем LLM на Android с NPU" ситуация лучше — но там используются специально оптимизированные моделки весом в 2-3 миллиарда параметров. Не 7 миллиардов.
Ошибка №1: Пытаться заставить работать LLM через NPU на ноутбуках с AMD. Не тратьте время. Используйте комбинацию CPU + iGPU — это единственный рабочий вариант.
Как повторить эти тесты на своем ProArt Px13
Если вы хотите проверить мои результаты (или протестировать другие модели), вот минимальный сценарий:
# 1. Устанавливаем ROCm 6.2 (официальная поддержка StrixHalo появилась только в этой версии)
sudo apt install rocm-llvm rocm-libs rocm-dev
# 2. Компилируем llama.cpp с поддержкой Vulkan
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_VULKAN=1 -j16
# 3. Скачиваем модель в формате GGUF Q4_K_M
# Например, Qwen2.5-Coder-7B
./server -m qwen2.5-coder-7b-q4_k_m.gguf -ngl 40 --ctx-size 4096
Ключевой параметр — -ngl 40. Он загружает 40 слоев на iGPU. На StrixHalo это максимум — больше слоев просто не ускоряются. Если поставить меньше — часть нагрузки уйдет на CPU, и скорость упадет.
Память: 32 ГБ — это новый минимум
Из 25 моделей 18 требовали более 6 ГБ видеопамяти (выделенной из ОЗУ). Если у вас ноутбук с 16 ГБ ОЗУ — вы сможете запустить только самые маленькие модели, и то с подкачкой, которая убьет производительность. 32 ГБ — must have в 2026 году.
Это подтверждает и наша предыдущая статья "Ваша видеокарта — не бездонная бочка". На мобильных системах проблема памяти еще острее.
Мой вердикт: стоит ли покупать Asus ProArt Px13 для LLM?
Да, но с условиями.
- Для чего подходит: Для работы с моделями до 10B параметров в формате Q4. Скорость 30-40 токенов в секунду — это комфортно для интерактивного использования. Идеально для программирования (Qwen2.5-Coder) и аналитики (Gemma-4).
- Для чего не подходит: Для больших моделей (13B+), для пакетной обработки данных, для исследований с частой сменой моделей.
- Альтернатива: Ноутбук с дискретной RTX 5070 и 12 ГБ видеопамяти. Но он будет тяжелее, дороже и с меньшим временем автономной работы.
Если вы выбираете между этим ноутбуком и чем-то вроде системы с RTX 5070 за $3000, подумайте, готовы ли вы платить вдвое больше за возможность запускать 20B модели. Для большинства практических задач хватает 7B-9B моделей — и здесь StrixHalo показывает себя блестяще.
Что будет дальше: прогноз на 2027 год
К концу 2026 года появятся три ключевых изменения:
- Поддержка NPU в llama.cpp: Начнут появляться модели, специально оптимизированные для XDNA 2. Скорость возрастет в 2-3 раза для некоторых задач.
- Модели 3-4B с качеством 7B: Благодаря таким архитектурам, как StripedHyena, мы получим маленькие модели, которые не уступят сегодняшним 7B.
- Стабильная работа MoE на iGPU: Та же спекулятивное декодирование наконец-то заработает на мобильном железе.
Asus ProArt Px13 с StrixHalo — это первый ноутбук, который действительно готов к локальным LLM. Не для всех сценариев, но для большинства практических задач. Выбирайте модели из топ-5 моего списка, настраивайте память в BIOS и забывайте про облака для повседневной работы.
