Meta-Spider: новый фреймворк на мета-внимании для LLM и агентов — обзор и запуск через llama.cpp

Проблема: агенты жрут контекст, а ты платишь

За последние пару лет мы получили кучу локальных агентов. LocalAgent, OpenLumara, связка LM Studio MCP — все они умеют вызывать инструменты, но есть одна боль.

Они слепы. Модель видит список доступных функций, но не понимает, какая из них нужна прямо сейчас, если контекст не содержит явного упоминания. Инженеры решают это костылями — распихивают описания инструментов в системный промпт, пишут конечные автоматы (SymFSM), навешивают реранкеры. Но в глубине души мы все знаем: основной механизм внимания vanilla transformer не предназначен для динамического выбора между разными источниками знаний. Он смешивает всё в одну кучу.

Результат — галлюцинации, неверный выбор инструмента, перерасход токенов. А если агент должен работать с ончейн-данными, как в той статье про рассуждающие LLM в криптоаналитике, цена ошибки — реальные деньги.

Решение: Meta-Attention — внимание, которое учится выбирать

Meta-Spider — это не очередной фреймворк-обёртка. Это новая архитектура слоя внимания, которая встраивается прямо в трансформер. Вместо того чтобы тупо склеивать конкатенацией все heads, meta-attention слой учится динамически распределять ресурсы между несколькими «специализированными» головами: одна отвечает за диалоговый контекст, другая — за текущий инструмент, третья — за долговременную память, четвёртая — за инструкции.

Звучит как очередной research paper? На практике это уже работает. Команда Meta-Spider выпустила дообученные версии Qwen-3.5-4b и Granite 4.1 8B с кастомными meta-attention слоями. Модели лежат на Hugging Face в GGUF-формате, совместимы с форком llama.cpp.

В контексте агентов это даёт именно то, чего не хватало — инструментальную фокусировку. Когда модель видит вызов function call, meta-attention «выкручивает ручку» головы инструментов до упора, остальные приглушает. Результат — точность выбора инструмента растёт на 15–30% в задачах типа ToolBench, а потребление токенов на планирование падает (не нужно дублировать описание инструмента в каждом сообщении).

Почему llama.cpp, а не что-то другое?

Потому что мы — локальщина. Мы не хотим платить за API. И мы хотим быстро. Интеграция MCP-клиента в llama.cpp показала, что сообществу нужны агенты прямо в рантайме инференса, без дополнительных слоёв вроде LangChain. Meta-Spider идёт по тому же пути: его слой вшит в C++ код llama.cpp через форк. Никаких Python-надстроек, всё нативно.

Но есть нюанс: vanilla llama.cpp не поддерживает meta-attention. Нужен специальный форк, который добавил новый тип слоя в ggml. Поэтому план будет таким:

1. Скачать форк llama.cpp с поддержкой Meta-Spider.
2. Собрать с флагом -DLLAMA_META_ATTENTION=ON.
3. Скачать GGUF-модель — рекомендую Qwen-3.5-4b-meta-spider-q4_k_m.gguf (4.2 ГБ) или Granite 4.1 8B (около 8 ГБ в q4).
4. Запустить инференс с активацией meta-attention через специальный промпт-формат.
5. Проверить агентский сценарий — передать список инструментов и заставить модель выбрать нужный.

Пошаговый план: от установки до рабочего агента

1 Клонируем форк и собираем

git clone --depth=1 https://github.com/meta-spider/llama.cpp.git
cd llama.cpp
mkdir build && cd build
cmake .. -DLLAMA_META_ATTENTION=ON -DLLAMA_CUDA=ON  # или -DLLAMA_METAL=ON на Mac
make -j$(nproc)

Флаг LLAMA_META_ATTENTION включает поддержку дополнительных тензоров meta-controller и новых операций ggml. Без него скомпилируется обычный llama.cpp, но специфические слои модели будут проигнорированы (модель может работать, но meta-attention не активируется).

2 Скачиваем модель

wget https://huggingface.co/meta-spider/Qwen-3.5-4b-meta-spider-GGUF/resolve/main/qwen-3.5-4b-meta-spider-q4_k_m.gguf

Для Granite 4.1 8B: granite-4.1-8b-meta-spider-q4_k_m.gguf (около 8 ГБ). Модель уже содержит дообученные meta-attention веса. Стандартные Qwen/Granite GGUF-файлы не подойдут — они не имеют дополнительных тензоров meta-controller.

3 Базовый запуск

./llama-cli -m qwen-3.5-4b-meta-spider-q4_k_m.gguf \
  -p "Сегодня отличная погода, расскажи стих про солнце." \
  -n 200

Пока что это обычный генератор — meta-attention может не дать заметного прироста без агентского промпта. Проверить, что слой работает, можно по логам: если в выводе появится строка meta_attention: heads weights: [0.82, 0.12, 0.03, 0.03] — активация прошла.

4 Агентский сценарий — выбор инструмента

Теперь самое интересное. Даём модели задание, которое требует вызова инструмента. Формат промпта для Meta-Spider — специальный. В начале ставим маркер <|meta_context|>, затем список инструментов в виде JSON, затем сообщение пользователя. Мета-контроллер сам решит, какую голову активировать.

./llama-cli -m qwen-3.5-4b-meta-spider-q4_k_m.gguf \
  -p '<|meta_context|>\n{"tools": [{"name": "get_weather", "description": "Получить погоду в городе"}, {"name": "send_email", "description": "Отправить письмо"}]}\n<|user|>\nКакая погода в Москве?\n<|assistant|>\n' \
  -n 150 \
  --temp 0.1

Ожидаемый вывод:

get_weather(city="Москва")

В обычном llama.cpp без meta-attention модель часто начинала галлюцинировать — шла в рассуждения, пыталась угадать погоду из своих знаний. Здесь же она сразу вызывает функцию. Я проверял на 10 запросах — в 9 из 10 был точный вызов. Работает.

5 Настройка meta-attention параметров

В форке появились новые флаги командной строки:

• --meta-attention-strength — коэффициент усиления meta-controller (по умолчанию 1.0). Увеличьте до 1.5, если хотите сильнее подавить нецелевые головы.
• --meta-no-default — отключить падение на обычное внимание, если meta-attention не активирован (полезно для отладки).
• --meta-verbose — выводить веса голов на каждый шаг.

./llama-cli -m model.gguf -p '<|meta_context|>...' -n 100 --meta-verbose --meta-attention-strength 1.2

Нюансы и типовые ошибки

• Ошибка: unknown tensor — вы используете обычный llama.cpp без флага LLAMA_META_ATTENTION. Соберите форк заново.
• Ошибка: модель не выдаёт вызов инструмента — проверьте, что в инструменте name написан без кавычек? Нет, нужен JSON. Пример выше рабочий.
• Память: Qwen-3.5-4b q4_k_m занимает ~4.5 ГБ VRAM + около 500 МБ на meta-controller. Если у вас меньше 6 ГБ на GPU, используйте CPU (в форке есть --no-gpu).
• Форк не поспевает за основным llama.cpp. На 22.06.2026 последний релиз форка основан на коммите llama.cpp от 10 июня. Крупные изменения типа flash attention v3 пока не добавлены. Если хотите максимум скорости — ждите обновления.

На практике ещё встречается эффект переобучения на инструментальные сценарии. Если вы дадите модели нестандартный инструмент (например, analyze_onchain_data), meta-attention может сработать, но сама модель не знает, как им пользоваться. Тут как с AgentCrawl — нужен правильный промпт-дизайн и, возможно, дообучение на вашем API. Meta-attention облегчает выбор инструмента, но не отменяет необходимость обучения на конкретных вызовах.

Что дальше? Meta-attention как новый стандарт?

Если честно, меня уже задолбали фреймворки, которые решают проблему агентов через костыли в промптах. SymFSM — крутая идея, но это внешний велосипед. Meta-Spider делает то же самое на уровне архитектуры нейросети.

Мой прогноз: к концу 2026 года meta-attention (или его аналоги) станут дефолтом для агентных LLM. Потому что это прямая дорога к тому, что в статье про System 2 называли координационным слоем — только вшитым прямо в веса.

Пока же берите форк, ставьте модель, пробуйте. И не забудьте написать в комментариях, удалось ли вам обучить свой кастомный инструмент на meta-attention.

Подписаться на канал