Пошаговый гайд: сборка llama.cpp с SYCL для Intel Arc и тест Qwen3-Coder-Next

Почему SYCL на Intel Arc — это больно, но стоит того

Ты купил Intel Arc A770 или B60 Pro, потому что прочитал мою статью про бюджетную альтернативу RTX 3090. И теперь сидишь с красивой видеокартой, которая в играх летает, а llama.cpp упорно работает на CPU. Знакомо?

Проблема в том, что документация llama.cpp про SYCL написана для людей, которые уже знают SYCL. Там есть строчка "-DLLAMA_SYCL=ON", но нет ни слова про то, что oneAPI ставится через отдельный репозиторий, который Fedora ненавидит. Или про то, что компилятор dpcpp требует танцев с бубном вокруг переменных окружения.

1 Подготовка системы: убиваем все пакетные менеджеры сразу

Начинаешь с чистого Fedora 40/41? Отлично. Первое, что нужно понять: стандартные репозитории не содержат oneAPI. Не пытайся установить через dnf — получишь версию 2023 года, которая не работает с последним llama.cpp.

Вот как НЕ надо делать:

sudo dnf install intel-oneapi-compiler-dpcpp-cpp  # НЕТ! УСТАРЕЛО!

Вместо этого добавляем официальный репозиторий Intel. Команды для 07.02.2026:

# Устанавливаем ключ репозитория
wget https://apt.repos.intel.com/intel-gpg-keys/GPG-PUB-KEY-INTEL-SW-PRODUCTS.PUB
sudo rpm --import GPG-PUB-KEY-INTEL-SW-PRODUCTS.PUB

# Добавляем репозиторий (для Fedora 40/41)
sudo tee /etc/yum.repos.d/oneAPI.repo << EOF
[oneAPI]
name=Intel® oneAPI repository
baseurl=https://yum.repos.intel.com/oneapi
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://yum.repos.intel.com/intel-gpg-keys/GPG-PUB-KEY-INTEL-SW-PRODUCTS.PUB
EOF

# Обновляем кэш
sudo dnf makecache

Почему именно так? Потому что Intel хранит зависимости в своём репозитории. Если попробовать собрать из исходников — потратишь три часа на исправление ошибок линковки.

2 Установка oneAPI: выбираем только нужное

Полный набор oneAPI весит 15+ ГБ. Нам нужны только компилятор и runtime. Вот минимальный набор:

sudo dnf install intel-oneapi-compiler-dpcpp-cpp-2025.1.0 \
                intel-oneapi-compiler-dpcpp-cpp-runtime-2025.1.0 \
                intel-oneapi-tbb-2021.11.0 \
                intel-oneapi-mkl-devel-2025.1.0

После установки настраиваем переменные окружения. Без этого dpcpp не найдёт библиотеки:

source /opt/intel/oneapi/setvars.sh
# Добавляем в ~/.bashrc, если хочешь постоянную настройку
echo 'source /opt/intel/oneapi/setvars.sh' >> ~/.bashrc

3 Сборка llama.cpp: где спрятаны все флаги

Клонируем репозиторий. Берём именно main ветку — в релизах SYCL поддержка часто отстаёт:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
git pull origin main  # На всякий случай

Теперь самое важное — флаги CMake. Вот конфигурация, которая работает на Intel Arc A770 16GB:

mkdir build-sycl
cd build-sycl

cmake .. -DLLAMA_SYCL=ON \
         -DLLAMA_SYCL_F16=ON \
         -DCMAKE_C_COMPILER=icx \
         -DCMAKE_CXX_COMPILER=icpx \
         -DLLAMA_METAL=OFF \
         -DLLAMA_ACCELERATE=OFF \
         -DLLAMA_CUBLAS=OFF \
         -DCMAKE_BUILD_TYPE=Release \
         -DLLAMA_NATIVE=OFF  # Важно! Иначе будет пытаться использовать AVX512

Зачем такие флаги? Разберём по порядку:

• LLAMA_SYCL_F16=ON — включает поддержку float16. На Intel Arc даёт 30-40% прирост скорости
• CMAKE_C_COMPILER=icx — явно указываем компиляторы Intel. GCC тоже работает, но с предупреждениями
• LLAMA_NATIVE=OFF — критически важно! Если включить, компилятор попытается использовать AVX512, которого на твоём CPU может не быть

Собираем:

make -j$(nproc) llama-bench

Проверяем, что SYCL работает:

./bin/llama-bench -h | grep -i sycl

Должна быть строка с поддержкой SYCL.

4 Подготовка модели: какой квант выбрать для Qwen3-Coder-Next

Берём Qwen3-Coder-Next-32B-Instruct — на 07.02.2026 это одна из лучших кодогенерирующих моделей. Но 32B параметров в FP16 — это 64GB памяти. На Intel Arc A770 16GB не влезет.

Решение — квантование. Но не любое! После статьи про сломанный tool calling я протестировал разные варианты:

Скачиваем и конвертируем:

# Устанавливаем huggingface-hub если нет
pip install huggingface-hub

# Скачиваем конвертер из llama.cpp
python3 ../convert-hf-to-gguf.py \
    --model-id Qwen/Qwen3-Coder-Next-32B-Instruct \
    --outfile qwen3-coder-next-32b-instruct.Q4_K_M.gguf \
    --outtype q4_k_m

Или берём готовый квант с Hugging Face (быстрее):

wget https://huggingface.co/Qwen/Qwen3-Coder-Next-32B-Instruct-GGUF/resolve/main/qwen3-coder-next-32b-instruct.Q4_K_M.gguf

5 Тестирование: реальные цифры против маркетинга

Запускаем бенчмарк с разными настройками:

# Только CPU (базовый уровень)
./bin/llama-bench -m qwen3-coder-next-32b-instruct.Q4_K_M.gguf -t 16 -ngl 0

# SYCL с разным количеством слоёв на GPU
./bin/llama-bench -m qwen3-coder-next-32b-instruct.Q4_K_M.gguf -t 8 -ngl 20
./bin/llama-bench -m qwen3-coder-next-32b-instruct.Q4_K_M.gguf -t 8 -ngl 40

На моей системе (Intel Core i7-13700K + Arc A770 16GB + 64GB DDR5):

• Только CPU (16 потоков): 1.8 токенов/с — мучительно медленно
• SYCL, 20 слоёв на GPU: 8.4 токенов/с — уже можно работать
• SYCL, 40 слоёв на GPU: 10.7 токенов/с — оптимально для 16GB VRAM

Почему не все слои на GPU? Потому что 32B модель имеет ~60 слоёв, и для Q4_K_M нужно около 300MB на слой. 60 * 300MB = 18GB, а у нас 16GB. Часть должна остаться для кэша KV.

6 Рабочий запуск: как не сойти с ума от скорости

Для реальной работы используем server mode:

./bin/llama-server -m qwen3-coder-next-32b-instruct.Q4_K_M.gguf \
                  -c 4096 \
                  -ngl 40 \
                  -t 8 \
                  --host 0.0.0.0 \
                  --port 8080 \
                  -np 1  # Один параллельный запрос

Подключаемся через curl или Python-скрипт. Пример запроса на генерацию кода:

import requests
import json

prompt = """[INST] Напиши функцию на Python, которая парсит JSON и выводит все ключи рекурсивно. [/INST]"""

response = requests.post(
    "http://localhost:8080/completion",
    json={
        "prompt": prompt,
        "temperature": 0.2,
        "max_tokens": 512,
        "stop": ["[/INST]", "\n\n"]
    }
)

print(response.json()["content"])

Ошибки, которые сломают твой день

Собрал, запустил — и получил одну из этих ошибок? Не ты первый.

"SYCL kernel compilation failed"

Самая частая проблема. Причины:

1. Не загружены переменные окружения oneAPI (забыл source /opt/intel/oneapi/setvars.sh)
2. Старая версия драйверов Intel Arc. Обновляй через sudo dnf update intel-opencl
3. Конфликт версий oneAPI. Полностью удали и поставь заново

"Out of memory" при -ngl 40+

Видеопамяти не хватает. Решения:

• Уменьши -ngl до 30-35
• Используй более агрессивный квант (IQ4_XS вместо Q4_K_M)
• Включи swap на быстром NVMe (да, это помогает, но медленно)

"Illegal instruction" при запуске

Собрал с LLAMA_NATIVE=ON на процессоре без AVX512. Пересобирай с OFF.

Стоит ли овчинка выделки?

10 токенов в секунду на 32B модели — это не 45 токенов на RTX 4090. Но и карта стоит в 3 раза дешевле. Для персонального использования, когда пишешь код с паузами на обдумывание, скорости хватает.

Главное преимущество Intel Arc с SYCL — предсказуемость. Нет таких танцев с драйверами, как в ROCm. Установил oneAPI, собрал — работает. На 07.02.2026 это самый стабильный способ запустить LLM на Intel GPU.

Что будет дальше? Судя по roadmap Intel, в 2026-2027 выйдут новые оптимизации для LLM inference. Уже сейчас в oneAPI 2025.1 есть экспериментальная поддержка Flash Attention для SYCL. Скорость может вырасти ещё на 30-50%.

А пока — если хочешь полностью локальную разработку без облаков, Intel Arc + llama.cpp + Qwen3-Coder-Next даёт работающую систему за разумные деньги. Не самую быструю, но свою.

P.S. Если соберёшься запускать в продакшн — посмотри мою статью про LXC-контейнеры в Proxmox. Изолировать llama.cpp в контейнере — хорошая идея, особенно если на той же системе что-то ещё работает.