Сборка Hermes Agent на Jetson Orin NX: пошаговая инструкция и бенчмарки

Представьте: вы берете ARM-плату размером с кредитку, цепляете к ней камеру или микрофон, и через час эта штука уже пишет код, парсит сайты или управляет умным домом — полностью офлайн. Звучит как хайп? Проверено. В 2026 году запустить Hermes Agent на Jetson Orin NX — это не трюк для гиков, а рабочий инструмент для промышленности, робототехники и edge-сервисов. Но дьявол, как всегда, в деталях: библиотеки под ARM, квантование, утечки памяти, неправильный выбор модели.

Я прошел этот путь на 15-ваттной плате, наступил на полтора десятка граблей и готов вывалить на вас готовый рецепт. Никаких «запустите docker run и молитесь» — только ручная сборка, контроль каждого компонента и настоящие бенчмарки на Hermes Agent v2.5.1 с разными LLM.

Почему Orin NX, а не Nano или Xavier?

Jetson Orin NX (16GB) — это золотая середина. У Nano Super 8GB, и крупные модели (7B-8B) туда влезают только в 4-битном квантовании, с заиканием. Xavier — старое поколение с Maxwell GPU, на нем современные LLM с KV-cache работают медленно. Orin NX дает 40 TOPS INT8, 16GB unified memory (CUDA + RAM в одном пуле), и главное — поддерживает TensorRT 8.7 и новые ядра FlashAttention-2 под Ampere. Мы сможем запустить 8B модель с 8192 контекстом без вылетов, если правильно настроим.

1 Готовим систему: JetPack, CUDA, питоновские зависимости

Нам понадобится JetPack 6.0 (на базе Ubuntu 22.04, L4T r36.4). Скачивайте SDK Manager или ставьте через apt. После первого запуска:

sudo apt update && sudo apt upgrade -y
sudo apt install python3-pip python3-venv nvidia-jetpack -y

Проверьте, что CUDA 12.4 и TensorRT 8.7 установлены:

nvcc --version
dpkg -l | grep tensorrt

Теперь самое интересное: Hermes Agent требует PyTorch для ARM64 с поддержкой CUDA. Официальный pip-пакет не собирается — только через исходники или от NVIDIA.

pip3 install --no-cache-dir torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

В теории это должно работать, но на практике на ARM-овских Jetson ставится предварительно собранный NVIDIA-вариакт. Даже в 2026 году есть нюанс: не ставьте PyTorch через pip, если не хотите получить 20 минут билда из сорцов. Используйте готовый wheel от NVIDIA:

pip3 install --no-cache-dir https://developer.download.nvidia.com/compute/redist/jp/v60/pytorch/torch-2.3.0-cp310-cp310-linux_aarch64.whl

После этого ставим зависимости Hermes Agent:

pip3 install hermes-agent transformers accelerate bitsandbytes sentencepiece protobuf

Да, bitsandbytes тоже нужно собирать под ARM — или качать предкомпиленный бинарник для aarch64. Если лень — используйте опцию --use_4bit в Hermes Agent, но тогда потеряете скорость.

2 Сборка Hermes Agent и выбор модели

Клонируем репозиторий:

git clone https://github.com/NousResearch/hermes-agent.git
cd hermes-agent

Создаём конфиг для edge. Откройте config.yaml — я предлагаю сразу заменить модель на NousResearch/Hermes-3.1-Llama-3.2-3B (она же специально облегченная для edge). Но если хочется 8B — берите meta-llama/Llama-3.2-8B-Instruct в 4-битном квантовании.

model:
  name: "NousResearch/Hermes-3.1-Llama-3.2-3B"
  dtype: float16
  max_new_tokens: 512
  use_4bit: false
  use_flash_attention: true

memory:
  kv_cache_size: 4096
  offload_layers: false

Флаг use_flash_attention — ключевой для Orin NX. На Ampere нет аппаратной поддержки, но софтварная эмуляция через cuDNN 9 дает прирост 20-30% при batch size = 1. Включаем обязательно.

Запускаем тест:

python3 agent_cli.py --config config.yaml

Если вылетает с CUDA out of memory — уменьшите max_new_tokens до 256 или включите 4-бит. Я на 16GB версии спокойно держу 2K контекст с 3B моделью.

3 Бенчмарки: что мы намеряли на реальном железе

Я прогнал три конфига на Orin NX 16GB с JetPack 6.0, все в режиме MAXN (25W). Результаты:

TTFT (time to first token) — главный показатель для интерактивного агента. Если больше секунды — пользователь заметит задержку. Только 3B модель укладывается в комфортные 300мс. 8B модели дают секунду и более, что приемлемо для фоновых задач, но не для диалога.

4 Грабля №1: утечка памяти из-за KV-cache

После 50-100 запросов Hermes Agent на Orin NX начинал жрать всё больше памяти и падать с OOM. Причина — Transformers по умолчанию не очищает KV-cache между сессиями. Лечится добавлением в config флага clear_cache_on_new_session: true и вызовом torch.cuda.empty_cache() в коде.

Также можно ограничить количество keep-alive сессий. Я написал небольшой wrapper:

import torch
from hermes_agent import Agent

class StableAgent(Agent):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self._max_sessions = 5
        self._session_counter = 0

    def run(self, prompt):
        if self._session_counter >= self._max_sessions:
            torch.cuda.empty_cache()
            self._session_counter = 0
        result = super().run(prompt)
        self._session_counter += 1
        return result

Этот патч спас меня в реальном проекте для датчиков температуры — агент работал неделями без перезагрузки.

5 Интеграция с камерой и микрофоном: безоблачная?

Если вам нужен мультимодальный агент (зрение + голос), придется доустановить библиотеки: opencv-python и Vosk (офлайн-распознавание).

pip3 install opencv-python vosk sounddevice

Hermes Agent поддерживает инструменты — добавляем в config:

tools:
  - camera
  - microphone

camera:
  device: 0
  width: 640
  height: 480

microphone:
  model: vosk-model-small-ru-0.22

Vosk-модель маленькая (40MB), но качество — так себе. Для коммерческого использования ставьте большой vosk-model-ru-1.0 (1.8GB) — он влезает в карту памяти, но не в unified memory, что нормально.

Важно: не вздумайте читать видео в полном разрешении! Сжимайте до 320x240, иначе кадры будут плыть. Пример для OpenCV:

import cv2
cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)

Подробнее про голосового агента с камерой — читайте в статье про Gemma 4 VLA на Jetson — там те же принципы, но на другом железе.

Переход с OpenClaw: стоит ли?

Если вы сейчас работаете на фреймворке OpenClaw — переезд на Hermes Agent займет пару дней. Hermes более гибкий, лучше держит контекст и имеет нативные плагины для edge. Я описал миграцию в отдельном гайде. Основные грабли: разные форматы кэша, названия инструментов, и отсутствие в Hermes встроенной WebUI (но это лечится через Gradio).

Что дальше? Оптимизация под реальные задачи

Вы собрали агента, но он тупит на длинных промптах. Попробуйте:

• Сократите историю. Храните только последние 10 сообщений.
• Используйте LoRA-адаптеры для доменной донастройки. Например, для анализа датчиков — LoRA на 1.5GB данных промышленности. Результаты на заводах описаны здесь.
• Включите streaming — отдавайте токены по мере генерации, чтобы пользователь не ждал полного ответа.

На десерт: если мучает вопрос «а можно ли запустить Cosmos на Orin NX?» — да, но это отдельная история, описанная в туториале по Cosmos-Reason2. На NX модель пойдет в 4-bit, но без FlashAttention — придётся понизить контекст.

Hermes Agent на Orin NX — это не хайп, а fully production-ready решение для edge. Единственное, что меня бесит до сих пор — это отсутствие нормального мониторинга памяти в реальном времени из коробки. Придется дописывать пару строк с nvidia-smi. Но результат того стоит: у вас в кармане персональный AI, который не стучится в облако и не жрет абонентку.

Подписаться на канал