P2P WebGPU-раннер для LLM в браузере: архитектура, тесты и будущее локального RAG

Браузер как распределённый суперкомпьютер: зачем это вообще нужно?

Представьте: вы открываете вкладку Chrome, и ваш браузер начинает работать как узел в глобальной нейросетевой сети. Не нужно скачивать 40 ГБ моделей, не нужны API-ключи, не нужны серверы. Только WebGPU, WebRTC и немного JavaScript-магии. Звучит как фантастика? На 09.02.2026 это уже работает.

Архитектура, от которой у инженеров бегут мурашки

Система работает на трёх столпах:

• WebGPU для вычислений – прямой доступ к видеокарте из браузера. Не WebGL, не WASM – именно низкоуровневый GPU API.
• WebRTC для P2P – соединение браузеров напрямую, без центральных серверов. Каждый узел становится частью сети.
• IndexedDB для локального RAG – векторные индексы хранятся прямо в браузере, обновляются через дельты.

Самое безумное – это оркестрация. Когда вы запускаете запрос к модели, система:

1. Определяет, какие слои модели есть локально
2. Находит через DHT (Distributed Hash Table) другие узлы с недостающими слоями
3. Создаёт цепочку WebRTC-соединений для распределённого инференса
4. Собирает результат и возвращает его вам

Какие модели летают, а какие ползают

Тесты на RTX 4090, RX 7900 XTX и даже интегрированной графике Intel Arc показывают интересную картину:

DeepSeek R1 – самая умная из тех, что влезает в 8 ГБ VRAM. Qwen 2.5 3B – оптимальный баланс между скоростью и качеством. Llama 3.2 1B летает даже на интегрированной графике, но отвечает примерно как студент-троечник после трёх бессонных ночей.

Локальный RAG в IndexedDB – это вообще законно?

Вот где начинается настоящая магия. Вместо того чтобы отправлять документы на сервер для индексации (как в традиционном RAG), система:

1. Векторизует документы локально через tiny-модель в WebGPU
2. Строит HNSW-индекс прямо в IndexedDB
3. При обновлениях синхронизирует только дельты через WebRTC
4. Поиск происходит полностью локально

Представьте юриста, который работает с конфиденциальными договорами. Он загружает документы в браузер, система индексирует их локально, и когда он задаёт вопрос про пункт 4.2 договора – поиск происходит в его же браузере. Ни один байт не уходит в интернет. Это уровень приватности, о котором браузерный RAG для юристов мог только мечтать.

P2P-оркестрация или как не сойти с ума при отладке

Самый сложный элемент системы – распределённое выполнение модели. Когда разные слои находятся на разных узлах, нужно:

• Синхронизировать выполнение с точностью до миллисекунд
• Обрабатывать отваливающиеся узлы (пользователь закрыл вкладку)
• Балансировать нагрузку между участниками
• Гарантировать конфиденциальность (шифрование активаций между узлами)

Решение использует модифицированный алгоритм RAFT для консенсуса и дифференциальную приватность для промежуточных результатов. Если узел отваливается – его слои перераспределяются среди оставшихся участников. Задержка добавляется, но система не падает.

Сравнение с альтернативами: кто кого?

Где система спотыкается (спойлер: везде)

Идеальной технологию не назовёшь. Основные проблемы:

• Латентность P2P – даже с оптимизированным WebRTC добавление каждого узла увеличивает задержку на 15-40 мс. Для цепочки из 5 узлов это уже 200+ мс дополнительно.
• Фрагментация моделей – если слои распределены неравномерно, один медленный узел тормозит всю цепочку.
• Ограничения браузеров – Safari до сих пор (на 09.02.2026) не поддерживает все расширения WebGPU для INT8 квантования.
• Сетевые файерволы – в корпоративных сетях WebRTC часто блокируется или требует специальной настройки.

Но самое смешное – это поведение пользователей. Люди закрывают вкладки в самый неподходящий момент. Система должна быть устойчивой к таким «неожиданностям».

Будущее: что будет через год?

Если сейчас система выглядит как дерзкий эксперимент, то к 2027 году она может стать стандартом для:

1. Конфиденциальных корпоративных RAG – когда нельзя даже думать о cloud-провайдерах.
2. Образовательных платформ – студенты могут совместно работать с моделями без установки ПО.
3. Исследовательских коллабораций – распределённое fine-tuning моделей между университетами.
4. Децентрализованных AI-агентов – представьте автономных агентов, живущих в сети браузеров.

Кому подойдёт эта технология прямо сейчас?

Не всем. Если у вас:

• Конфиденциальные данные, которые нельзя отправлять на сторонние серверы
• Команда с современными браузерами (Chrome 125+, Firefox 130+)
• Видеокарты с поддержкой WebGPU (практически все за последние 5 лет)
• Готовность мириться с экспериментальной технологией

– тогда стоит попробовать. Если же вам нужна стабильность и предсказуемость – лучше использовать проверенные решения вроде локального Ollama или cloud-провайдеров.

Фишка в том, что эта система – не просто ещё один способ запустить LLM. Это концептуально другой подход: интернет как распределённый AI-суперкомпьютер, где каждый браузер – это вычислительный узел, а данные никогда не покидают устройство пользователя.

Попробуйте представить: через пять лет вы открываете браузер, и он автоматически подключается к глобальной нейросетевой сети. Не нужно ничего устанавливать, не нужно платить за API, не нужно беспокоиться о приватности. Просто работаете. Именно к этому идёт развитие.

А пока что – это сложный, местами сырой, но невероятно перспективный эксперимент на стыке WebGPU, P2P-сетей и локального AI. За ним стоит наблюдать, даже если не использовать в production.