Автор поста в r/LocalLLaMA продал мини-ПК на Strix Halo примерно за £2300 и купил игровой ноутбук за сопоставимые деньги, а затем нашёл на eBay б/у ноутбуковую память на 96 ГБ за £800. Итог: около £3100 за машину, которая держит в памяти модели, не влезающие в 16 ГБ VRAM. На Qwen Q4 XL Flash эта конфигурация выдаёт примерно 48,9 ток/с на декодировании и около 1860 ток/с на префилле при промпте в 50 тыс. токенов, а GLM 5.3 Flash в квантовании Q3_XSS идёт со скоростью около 25 ток/с.
Схема держится на трёх вещах. Дискретная RTX 5080 с 16 ГБ VRAM берёт на себя быстрые вычисления, 96 ГБ системной памяти позволяют держать крупные квантованные модели и длинный контекст, а два порта Thunderbolt 5 дают путь к расширению через внешние GPU. У автора уже есть две RTX 5090, купленные до роста цен: с ними суммарный объём VRAM доходит примерно до 80 ГБ.
Оговорка, без которой разбор превратится в рекламу: все цифры ниже - результат замеров одного пользователя на его конкретных квантованиях, без описанной методологии и повторных прогонов. AI-Manual не проводил собственного тестирования этой сборки. Цены в фунтах взяты из поста на Reddit и отражают ситуацию на момент публикации, а не текущий прайс.
В чём идея: ноутбук с большим объёмом RAM вместо мини-ПК и Spark
Идея простая: собрать одну машину, которая остаётся ноутбуком. Вместо отдельного мини-ПК с распаянной памятью и вместо готового устройства с приставкой «AI» автор получил переносной компьютер с дискретной видеокартой, апгрейдируемой памятью и интерфейсами под внешние GPU. Модели, которые не помещаются целиком в VRAM, работают с выгрузкой части слоёв в RAM - медленнее, но работают.
Из чего состоит конфигурация
База - MSI Vector 16 с процессором Intel Core Ultra 9, видеокартой NVIDIA RTX 5080 на 16 ГБ VRAM и 32 ГБ оперативной памяти в штатной комплектации. К этому добавлен найденный на eBay комплект ноутбуковой памяти на 96 ГБ.
| Компонент | Характеристики и цена |
|---|---|
| Ноутбук MSI Vector 16 | Intel Core Ultra 9, RTX 5080 (16 ГБ VRAM), 32 ГБ RAM, около £2300 |
| Память с eBay | 96 ГБ, б/у комплект, £800 |
| Итого | около £3100 |
Цена памяти здесь ключевая. Тот же объём новым автор оценивает примерно в £1300. Разница в £500 - это и есть «скидка» за покупку б/у на вторичном рынке, и она делает всю экономику схемы. Без этой находки итоговая сумма уходит к £3600, и разговор о выгоде меняется.
Почему не Strix Halo и не Spark
Мотивация автора - цена за гигабайт доступной памяти и за переносной форм-фактор. Готовые решения на Strix Halo он оценивает примерно в £3500, ноутбуки Spark с 32 ГБ памяти - около £3200, версию Spark на 128 ГБ - около £6000. По его словам, его связка дешевле Strix Halo и немного быстрее, а относительно 128-гигабайтного Spark экономия составляет порядка £2500-3000.
Отдельный аргумент против 32-гигабайтных Spark-ноутбуков: автор утверждает, что им не хватает VRAM, чтобы запустить Flash в Q4. Это его формулировка, а не проверенный факт, и её стоит воспринимать как гипотезу о классе устройств, а не как приговор конкретной модели.
Скорость на практике: Qwen Q4 XL Flash и GLM 5.3 Flash в цифрах
Все замеры сделаны на одной машине и на двух разных моделях с разным квантованием. Qwen Q4 XL Flash: около 48,9 ток/с на декодировании, около 1860 ток/с на префилле при промпте в 50 тыс. токенов. GLM 5.3 Flash в Q3_XSS: около 25 ток/с. Разница почти двукратная, и она объясняется не «плохим железом», а тем, как модель разложилась по памяти.
Что означают 48,9 ток/с и 1860 ток/с на префилле
Prefill - это чтение входа: модель обрабатывает промпт и строит KV-кэш, прежде чем выдать первый токен. Decode - генерация ответа токен за токеном. Для диалога и правок кода важен второй показатель, для RAG и работы с длинными документами - первый.Считаем по заявленным числам. Промпт на 50 тыс. токенов при 1860 ток/с обрабатывается примерно за 27 секунд, после чего начинается генерация. Ответ на 500 токенов при 48,9 ток/с выходит примерно за 10 секунд. Это комфортный режим для чата и рабочих задач, где вы читаете ответ, а не смотрите на мигающий курсор. Для сравнения: 48,9 ток/с примерно в восемь раз быстрее, чем человек читает текст со скоростью 200-250 слов в минуту.
Высокий prefill на 50k - самая интересная часть отчёта. Он означает, что длинный контекст не превращается в паузу на несколько минут. Как соотносятся prefill и decode на других конфигурациях, видно из разбора движка Strata, где те же метрики зависят от кванта и объёма VRAM.
Почему GLM 5.3 Flash в Q3_XSS медленнее
Q3_XSS - агрессивное квантование. Оно уменьшает вес модели, чтобы та уложилась в доступную память, и заодно снижает точность представления весов. Кроме размера кванта играет роль раскладка: чем больше слоёв уходит в системную RAM вместо VRAM, тем сильнее генерация упирается в пропускную способность памяти и тем ниже ток/с.
Отсюда практический вывод: 25 ток/с у GLM и 48,9 ток/с у Qwen - это не характеристика ноутбука, а характеристика пары «модель + квант + раскладка». На другой модели с тем же железом цифры будут другими.
VRAM, RAM и квантование: где проходит узкое место
16 ГБ VRAM не хватает для крупных моделей в приличном квантовании, и это не лечится драйверами. Работает другая схема: часть модели и KV-кэш живут на GPU, остаток - в оперативной памяти. Такой offload даёт возможность запуска ценой скорости.
Зачем 96 ГБ RAM, если есть 16 ГБ VRAM
VRAM быстрая, но её мало. Системная память медленнее по пропускной способности, зато её много, и она дешёвая в пересчёте на гигабайт. 96 ГБ позволяют держать модель и длинный контекст целиком в системе, не упираясь в лимит видеопамяти. На промпте в 50 тыс. токенов KV-кэш занимает заметный объём, и именно здесь большой RAM перестаёт быть абстракцией.
Цена компромисса - скорость генерации. Слои, которые считаются из RAM, работают медленнее, чем слои в VRAM, потому что GDDR7 на дискретной карте пропускает данные в разы быстрее, чем SO-DIMM DDR5. Чем больше модели вы вынуждены держать вне VRAM, тем заметнее просадка. Как это выглядит на другой связке с несколькими картами и ограниченной VRAM, разобрано в материале про DeepSeek и Qwen на четырёх RTX 3080.
Чем платим за Q3 и Q4
Квантование Q4 и Q3 уменьшает вес модели в несколько раз. Это единственный способ втиснуть крупную модель в бытовой объём памяти, и он не бесплатный: сжатие весов может ухудшать качество, особенно на многошаговых рассуждениях, коде и точном следовании инструкциям. Q4 для Qwen и Q3_XSS для GLM в этой сборке выбраны под доступную память, а не потому, что автор считает их оптимальными по качеству.
Приёмы с более сильным сжатием существуют, но требуют отдельной инфраструктуры. Пример - 1-битный квант с n-gram таблицей на NVMe, где экономия памяти достигается ценой усложнения схемы хранения.
eGPU через Thunderbolt 5: как добрать VRAM до ~80 ГБ
У MSI Vector 16 два порта Thunderbolt 5, и автор считает это главным аргументом на будущее. К ноутбуку можно подключить две видеокарты: 16 ГБ встроенной VRAM плюс две карты по 32 ГБ дают около 80 ГБ суммарно. Формально это всё ещё ноутбук, фактически - настольная станция, которую можно увезти.
Какие модели открываются с eGPU
С подключёнными внешними картами автор говорит о запуске моделей класса 27-31B. Он же упоминает более бюджетный вариант: одна или две RTX 5060 Ti во внешнем корпусе, чего, по его словам, достаточно для моделей 27B и 31B. Без eGPU остаются модели, которые укладываются в 16 ГБ VRAM с выгрузкой остатка в RAM.
Считать eGPU бесплатным бонусом нельзя. Внешний корпус, блок питания и сами карты - отдельные расходы. Автору повезло: две RTX 5090 у него уже были, куплены до роста цен, и актуальную стоимость такого апгрейда он не приводит.
Почему Thunderbolt 5 важен при выборе ноутбука
Совет автора предельно конкретный: если планируете подключать GPU позже, убедитесь, что в ноутбуке есть Thunderbolt 5. Это критерий на будущее, а не обязательное условие для работы сегодня. Ноутбук без TB5 закрывает путь к наращиванию VRAM, и поменять это решение задним числом невозможно.
Сколько это стоит на самом деле: сравнение с альтернативами
Сводка цен по оценкам автора поста выглядит так.
| Вариант | Оценка стоимости | Что получаете |
|---|---|---|
| Связка автора (ноутбук + б/у 96 ГБ RAM) | около £3100 | Мобильность, RTX 5080 16 ГБ, два TB5, 96 ГБ RAM |
| Та же связка с новой памятью | около £3600 | То же, но без риска б/у памяти |
| Мини-ПК на Strix Halo | около £3500 | Интегрированное решение с большим объёмом памяти |
| Ноутбук Spark, 32 ГБ | около £3200 | Готовое устройство, мало памяти |
| Ноутбук Spark, 128 ГБ | около £6000 | Готовое устройство, много памяти |
Где экономия настоящая, а где удача с б/у памятью
Экономия держится на одной находке. Б/у комплект на 96 ГБ за £800 - единичная удача на вторичном рынке, а не воспроизводимый сценарий. Новая такая память стоит около £1300, и при этой цене преимущество перед Strix Halo исчезает: £3600 против £3500 уже не в пользу ноутбука. Разница с 128-гигабайтным Spark при этом остаётся, но она меньше заявленных £2500-3000.
Второй фактор - рынок памяти. Автор прямо отмечает, что покупал до роста цен и что его карты 5090 куплены «до безумия». Если память продолжит дорожать, стоимость повторения схемы вырастет, а привлекательность готовых решений с фиксированной конфигурацией - тоже. Похожая логика работает в случае HP OmniBook X с RTX Spark и 128 ГБ RAM, где итоговую цену определяет скидка, а не сама конфигурация.
Сравнение по классам задач, а не только по цене
Ноутбук даёт мобильность и дискретную видеокарту: можно работать в дороге и вернуться к внешним GPU дома. Strix Halo - это монолитная система с большим объёмом памяти и без апгрейда. Spark - готовый форм-фактор, где вы платите за то, что ничего не нужно собирать и настраивать. Выбор между ними упирается в вопрос, готовы ли вы возиться с квантованием, offload и внешними картами ради экономии.
Ограничения и риски подхода, о которых стоит знать до покупки
Начнём с цен. Новая ноутбуковая память на 96 ГБ стоит около £1300, и это меняет арифметику всей затеи. Рынок памяти нестабилен, автор сам подчёркивает, что успел купить до скачка. Повторить его сделку по его же цифрам не получится: нужен аналогичный б/у комплект.
Дальше - сценарий использования. Основная задача автора - ролевые игры, и он прямо пишет, что Qwen в этом ему не подходит, поэтому «ежедневным драйвером» модель не стала. Универсальной сборка не является: скорость и пригодность зависят от конкретной модели и кванта.
Зависимость от квантования и пропускной способности
Разные модели на одном железе дают разную скорость, и разброс здесь двукратный и больше: 48,9 ток/с у Qwen против 25 ток/с у GLM. Квантование Q3 экономит память, но бьёт по качеству, а offload в RAM упирается в пропускную способность SO-DIMM. Одинаковые цифры на другом ноутбуке с похожими характеристиками не гарантированы: играют роль версия движка, драйверы, настройки контекста и раскладка слоёв. Автор также сожалеет о продаже Strix Halo, что само по себе говорит о компромиссе, а не о безоговорочной победе ноутбука.
Субъективность замеров одного пользователя
Методика замеров в посте не описана: неизвестны версии софта, длина и содержание промптов, число повторов, способ учёта prefill и decode. Цифры 48,9 ток/с и 1860 ток/с - ориентир порядка величины, а не эталон для сравнения. То же касается оценок «немного быстрее Strix Halo»: это впечатление, а не результат стенда. Все данные взяты из открытого обсуждения на Reddit, и проверка на независимой конфигурации не проводилась.
Кому подходит связка «ноутбук + 96 ГБ RAM + eGPU», а кому нет
Схема имеет смысл, если вам нужна одна переносная машина для локальных LLM и вы готовы к компромиссам. Она выгодна тем, у кого уже лежат видеокарты под внешний корпус, кто спокойно относится к квантованию Q3/Q4 и кто нашёл память по цене заметно ниже рыночной.
Не стоит идти этим путём, если нужен готовый результат без настройки, если расчёт строится на новой памяти по £1300 или если критична максимальная скорость на моделях, не влезающих в VRAM. В этих случаях мини-ПК на Strix Halo или готовое устройство с большим объёмом памяти окажутся предсказуемее, пусть и дороже в пересчёте на гигабайт.
Чек-лист выбора ноутбука под локальные LLM
- Thunderbolt 5 в спецификации: без него путь к eGPU закрыт. Автор называет это первым условием.
- Объём VRAM дискретной карты: 16 ГБ - рабочий минимум для средних моделей в Q4, но не потолок мечтаний.
- Возможность апгрейда RAM: распаянная память ставит крест на сценарии с 96 ГБ. Проверяйте, есть ли слоты SO-DIMM и заявленный максимальный объём.
- Совместимость с eGPU: наличие портов и поддержка внешних корпусов на уровне прошивки, а не только маркетинга.
- Охлаждение и питание: длительный инференс греет VRAM и CPU сильнее игр, а троттлинг бьёт по ток/с.
MSI Vector 16 в этой истории - один из вариантов, а не единственный правильный. Критерии выше применимы к любой модели, которую вы рассматриваете.
Вывод: когда ноутбук с большим объёмом RAM становится разумной альтернативой Spark
Подход рабочий, но с узкой областью применения. Он выигрывает, когда сходятся три условия: память досталась дешевле рынка, в ноутбуке есть Thunderbolt 5, а вы готовы жить с квантованием Q3/Q4 и offload в RAM. Тогда £3100 дают мобильную машину, которая тянет Qwen Q4 XL Flash на 48,9 ток/с и обрабатывает 50 тыс. токенов контекста примерно за 27 секунд, а позже расширяется внешними GPU до ~80 ГБ VRAM.
Если хотя бы одно условие не выполняется, картина меняется. Новая память за £1300 съедает экономию, отсутствие TB5 закрывает апгрейд, а требования к качеству выше Q3 отбрасывают часть моделей. Универсальной заменой Strix Halo или Spark эта связка не становится.
Что сделать перед покупкой: проверьте наличие слотов памяти и максимальный поддерживаемый объём в спецификации конкретной модели, уточните число портов Thunderbolt 5, посчитайте полную стоимость вместе с внешним корпусом и картами, а цифры из поста используйте как ориентир порядка величины. Все они получены одним пользователем на его конфигурации, без воспроизводимой методологии.