Self-hosted ассистент: контроль начинается с архитектуры
Для приватного помощника по коду недостаточно установить расширение в IDE. Нужно понять, где выполняется модель, куда отправляются фрагменты репозитория и кто получает доступ к истории запросов. Локальный интерфейс может обращаться к внешнему API, а собственный сервер может оказаться открыт в интернет.
В этом гайде сравним Tabby, Continue и корпоративный вариант Sourcegraph Cody, затем соберём небольшой стенд Tabby + Ollama и подключим Continue к тому же Ollama. Пример рассчитан на проверку связности и функций на CPU, а не на обслуживание команды заданного размера.
Self-hosted помогает управлять размещением данных, но не даёт автоматической экономии, соответствия требованиям организации или защиты от утечек. До пилота согласуйте допустимые репозитории, внешние подключения и правила хранения логов.
Как отличаются Tabby, Continue и Cody
| Решение | Роль в архитектуре | Что проверить перед выбором |
|---|---|---|
| Tabby | Сервер AI-помощника и расширения редакторов; поддерживает локальные модели и HTTP-подключения к другим серверам моделей. | Совместимость completion, chat и embedding по отдельности, доступ пользователей, ресурсы и эксплуатацию сервера. |
| Continue | Расширения VS Code и JetBrains с настройкой моделей для разных задач. | Поддержку нужных функций выбранной моделью, конфигурацию локальных провайдеров и внешних интеграций. |
| Sourcegraph Cody | Корпоративный помощник, использующий поиск Sourcegraph для контекста по коду. | Условия Enterprise, схему LLM-подключений, права на репозитории и фактические границы self-hosted-развёртывания. |
Не выбирайте продукт только по списку моделей или численности команды. Один разработчик с длинным контекстом и агентными задачами может создавать иную нагрузку, чем несколько пользователей короткого автодополнения.
Tabby: общий сервер и раздельные роли моделей
По документации Tabby есть два варианта: встроенный запуск поддерживаемых локальных моделей и подключение к внешнему для Tabby серверу по HTTP. Отдельный Ollama не обязателен; ниже он выбран, чтобы один сервер моделей использовать с разными клиентами. Об устройстве такого стека есть отдельный материал про Ollama и IDE.
Роли отличаются: completion дополняет код между префиксом и суффиксом (FIM, fill-in-the-middle), chat отвечает на инструкции, embedding строит векторные представления для поиска. Совместимость chat API не означает, что та же модель подходит для FIM или embeddings.
Для HTTP-подключения адрес записывают в api_endpoint соответствующего раздела config.toml. Переменная TABBY_MODEL не заменяет эту настройку URL. Конкретный пример приведён ниже вместе с Docker Compose.
Continue: настройка моделей прямо для IDE
Continue позволяет назначать модели для чата, редактирования и автодополнения. Их можно подключить к Ollama или другому поддерживаемому провайдеру, но совместимость и качество каждой функции нужно проверить. В этом гайде используем только локальный Ollama и роли chat/autocomplete.
Текущий формат настройки — config.yaml; прежний config.json помечен устаревшим. Не стоит считать Continue простым прокси без состояния или обещать отсутствие внешних запросов после смены одной модели. Для изолированной работы проверьте телеметрию, инструменты, источники контекста и модели всех используемых ролей.
Sourcegraph Cody: когда важен контекст по репозиториям
Cody в актуальной документации относится к Sourcegraph Enterprise и использует поиск для получения контекста. Это вариант для организации, которой нужны функции Sourcegraph и управляемый доступ к большой кодовой базе.
Размещение Sourcegraph на своей инфраструктуре само по себе не доказывает, что запросы к LLM остаются там же. Уточняйте настройку моделей, включённые провайдеры и ограничения конкретной версии. Универсального требования «GPU 16 ГБ для 50 разработчиков» здесь нет: ресурсы поиска, индексации и модельного сервера оценивают отдельно.
Практика: CPU smoke-test Tabby + Ollama
Smoke-test — короткая проверка, что сервисы запускаются, модели отвечают и IDE получает результат. Понадобятся Docker с Compose v2, доступ к реестрам образов и моделей, свободное место на диске и RAM с запасом на ОС, Tabby, модель и контекст. При недостатке памяти тест не пройдёт; фиксированного требования по RAM для любой машины нет.
Берём существующие небольшие модели: starcoder2:3b для FIM, qwen2.5-coder:1.5b для чата и nomic-embed-text для embeddings. Это примеры для проверки интеграции, а не рейтинг лучших моделей. StarCoder2-3B не является instruction-моделью, поэтому ему выделена роль автодополнения.
В конфигурации нет GPU-проброса и реплик: инференс выполняется на CPU. Ограничение одной загруженной модели уменьшает одновременное потребление памяти, но смена ролей может вызывать повторную загрузку и задержки. Этот стенд не обосновывает обещания скорости или числа пользователей. Контейнеры здесь не запускались редакцией; пример сверен с документацией, а фактический smoke-test нужно выполнить на целевой машине.
1. Подготовьте файлы
mkdir -p coding-smoke/tabby
cd coding-smoke
# Сохраните compose.yaml здесь, config.toml — в ./tabby/config.toml.В compose.yaml сохраните:
services:
ollama:
image: ollama/ollama:latest
environment:
OLLAMA_NO_CLOUD: "1"
OLLAMA_CONTEXT_LENGTH: "2048"
OLLAMA_NUM_PARALLEL: "1"
OLLAMA_MAX_LOADED_MODELS: "1"
ports:
- "127.0.0.1:11434:11434"
volumes:
- ollama-data:/root/.ollama
healthcheck:
test: ["CMD", "ollama", "list"]
interval: 5s
timeout: 5s
retries: 12
start_period: 10s
tabby:
image: registry.tabbyml.com/tabbyml/tabby:latest
command: ["serve"]
ports:
- "127.0.0.1:8080:8080"
volumes:
- ./tabby:/data
depends_on:
ollama:
condition: service_healthy
volumes:
ollama-data:
Образы указаны с изменяемым тегом latest для пробного запуска. После проверки зафиксируйте проверенные digest образов и идентификаторы моделей для повторяемого развёртывания. Используйте обновлённый Docker: публикация портов на loopback ограничивает доступ с хоста, но не заменяет настройку безопасности машины и аутентификацию приложения.
В tabby/config.toml сохраните:
[model.completion.http]
kind = "ollama/completion"
model_name = "starcoder2:3b"
api_endpoint = "http://ollama:11434"
prompt_template = "<fim_prefix>{prefix}<fim_suffix>{suffix}<fim_middle>"
[model.chat.http]
kind = "openai/chat"
model_name = "qwen2.5-coder:1.5b"
api_endpoint = "http://ollama:11434/v1"
[model.embedding.http]
kind = "ollama/embedding"
model_name = "nomic-embed-text"
api_endpoint = "http://ollama:11434"
Формат соответствует HTTP-коннекторам Tabby для Ollama. Шаблон completion относится именно к StarCoder2; при замене семейства его проверяют заново. ollama — имя сервиса во внутренней сети Compose. localhost из контейнера Tabby означал бы сам контейнер Tabby. В chat-коннекторе нужен суффикс /v1; у completion и embedding его нет.
2. Запустите Ollama и загрузите модели
set -eu
docker compose config --quiet
docker compose up -d --wait ollama
docker compose exec -T ollama ollama pull starcoder2:3b
docker compose exec -T ollama ollama pull qwen2.5-coder:1.5b
docker compose exec -T ollama ollama pull nomic-embed-text
docker compose exec -T ollama ollama list
Проверка healthcheck подтверждает, что сервер отвечает, но не загружает модели. Поэтому команды pull выполняются до запуска Tabby. Если загрузка завершилась ошибкой, сначала исправьте доступ к реестру, место на диске или настройки сети.
3. Проверьте три API и затем Tabby
# Чат: ожидается JSON с choices и текстом ответа.
curl --fail-with-body --max-time 180 http://127.0.0.1:11434/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"qwen2.5-coder:1.5b","messages":[{"role":"user","content":"Explain this Python expression: x + 1"}],"max_tokens":64,"stream":false}'
# FIM: ожидается поле response с продолжением кода.
curl --fail-with-body --max-time 180 http://127.0.0.1:11434/api/generate \
-H 'Content-Type: application/json' \
-d '{"model":"starcoder2:3b","prompt":"<fim_prefix>def add(a, b):\n <fim_suffix>\n<fim_middle>","raw":true,"stream":false,"options":{"num_predict":64,"num_ctx":2048}}'
# Embeddings: ожидается массив embeddings.
curl --fail-with-body --max-time 180 http://127.0.0.1:11434/api/embed \
-H 'Content-Type: application/json' \
-d '{"model":"nomic-embed-text","input":"search_query: add two numbers"}'
Успешный HTTP-ответ ещё не означает полезный код: прочитайте результат и проверьте его тестом. При таймауте посмотрите логи и использование RAM; при необходимости уменьшите контекст или выберите меньшую модель. Только после успешных ответов запустите Tabby:
docker compose up -d tabby
docker compose logs --tail=100 tabby
docker compose exec -T ollama ollama ps
# Остановка с сохранением моделей и данных:
# docker compose down
Откройте http://127.0.0.1:8080 на том же хосте. По инструкции регистрации Tabby первая учётная запись становится администратором: создавайте её, пока сервер доступен только вам. Проверьте карточки моделей в Information → System, затем подключите расширение Tabby к адресу сервера с учётными данными, показанными в интерфейсе. Проверьте и чат, и одно автодополнение в тестовом файле.
4. Подключите Continue к тому же Ollama
В расширении Continue откройте локальную конфигурацию config.yaml и используйте пример ниже. Он предполагает, что процесс расширения работает на том же компьютере, где опубликован порт Ollama.
name: Local Coding Smoke Test
version: 1.0.0
schema: v1
models:
- name: Local coding chat
provider: ollama
model: qwen2.5-coder:1.5b
apiBase: http://127.0.0.1:11434
roles:
- chat
defaultCompletionOptions:
contextLength: 2048
maxTokens: 256
- name: Local code completion
provider: ollama
model: starcoder2:3b
apiBase: http://127.0.0.1:11434
roles:
- autocomplete
defaultCompletionOptions:
contextLength: 2048
maxTokens: 64
Это конфигурация провайдера Ollama в Continue. Здесь apiBase указывает на нативный API без /v1. Перезапустите или перезагрузите расширение, выберите локальную модель чата и проверьте автодополнение. Agent mode и выполнение инструментов этим примером не настраиваются.
Если IDE работает через Remote SSH, Dev Container или на другом компьютере, 127.0.0.1 относится к среде, где запущено расширение. Настройте доступ через доверенный туннель или закрытую сеть и используйте адрес, доступный именно оттуда; не открывайте Ollama на публичном интерфейсе ради обхода ошибки подключения.
Как перейти от стенда к команде
Сначала измерьте задержку автодополнения, время до первого токена чата, ошибки и потребление памяти на реальных задачах. Затем проверьте одновременные запросы. Только после этого выбирайте GPU, разделение ролей по серверам, очереди и резервирование. Увеличение числа контейнеров не объединяет их RAM/VRAM и не создаёт готовый балансировщик.
Если для пилота нужен арендованный сервер, можно включить Timeweb Cloud (партнёрская ссылка) в сравнение вариантов. Перед арендой сопоставьте доступные CPU/GPU, память, регион, сетевой доступ и полный бюджет с требованиями своего теста. Провайдер инфраструктуры не заменяет настройку моделей, защиты и резервного копирования.
Ошибки при выборе моделей и эксплуатации
Оценивать качество только по числу параметров
Обязательного нижнего порога «от 7B» нет. Сравнивайте модели на своём коде: корректность функций, прохождение тестов, полезность подсказок и качество русского объяснения. Для FIM нужна подходящая модель и шаблон; для чата — способность следовать инструкциям. Квантизация меняет расход памяти и может менять качество, но не гарантирует ускорение в несколько раз.
Принимать запуск за готовность к нагрузке
Измеряйте холодный и прогретый запрос отдельно. Для автодополнения важна задержка с точки зрения пользователя; для чата — также скорость выдачи и длина ответа. Заранее определите допустимые p95, долю ошибок и максимальное ожидание. Универсального порога задержки, подходящего любой команде, нет.
Масштабировать без границ доступа
Общий сервер требует отдельных учётных записей, контроля доступа к репозиториям, ограничений нагрузки и защищённого подключения. На CPU-стенде нельзя проверить GPU-конфигурацию: перед GPU-развёртыванием отдельно настройте драйверы и поддерживаемый контейнерный runtime, затем повторите тесты.
Собирать код в логи без необходимости
Мониторьте доступность, задержки, ошибки, очередь, RAM/VRAM и расходы. Для начала достаточно технических метрик без полных промптов. Если сохраняете код или ответы для анализа, ограничьте доступ и срок хранения, исключите секреты. Резервные копии и диагностические выгрузки тоже входят в границы обработки данных.
CLI-инструменты: отдельный сценарий и отдельные права
Терминальный агент может быть полезен для рефакторинга и подготовки изменений в репозитории. Но название модели не является названием CLI, а доступ к файлам и запуску команд не появляется автоматически при подключении Ollama. Проверяйте поддерживаемые провайдеры и команды конкретной версии выбранного инструмента по его документации.
Для знакомства с этим классом есть материал про DeepAgents CLI. Первую проверку проводите в копии репозитория без секретов; просматривайте diff, запускайте тесты и выдавайте только необходимые права. Не переносите команды между разными агентами по сходству названий.
Как оценить пилот и посчитать экономику
Выберите несколько типичных задач и сравните работу с ассистентом и без него при одинаковых критериях качества. Учитывайте время проверки подсказок, исправления ошибок и сопровождения инфраструктуры. Рост продуктивности на фиксированный процент нельзя обещать заранее.
- Стоимость альтернативы за период: реально заменяемые подписки и API-расходы при сопоставимом объёме работы.
- Полная стоимость self-hosted за тот же период: аренда или распределённые капитальные расходы на оборудование, хранение, сеть, электричество, лицензии, резервирование и работа инженеров.
- Экономия на расходах: стоимость альтернативы минус полная стоимость self-hosted. Администрирование увеличивает расходы, поэтому его вычитают из потенциальной экономии.
Если нужен ROI, сначала определите границы расчёта: (оценённая выгода минус все затраты проекта) / все затраты проекта × 100%. Не включайте один и тот же эффект дважды и не считайте сэкономленные часы автоматически сокращёнными денежными расходами. Положительная экономия сама по себе не доказывает пригодность решения по качеству и безопасности.
Следующий шаг после smoke-test — ограниченный пилот с измеримыми критериями. Масштабируйте только те функции, которые прошли проверку на вашем коде и вашей нагрузке.
FAQ: частые вопросы про self-hosted ассистентов
Гарантирует ли локальная модель конфиденциальность?
Нет. Проверять нужно весь путь данных: расширение, модельный сервер, инструменты, телеметрию, логи и резервные копии. Берите веса из доверенного источника и проверяйте лицензию; загрузчик и сопутствующий код тоже могут быть источником риска. Например, десериализация недоверенного pickle может исполнять код. Нельзя объявлять все файлы весов абсолютно безопасными.
Что нужно для работы без внешних AI API?
Назначьте локальные модели всем используемым ролям, отключите ненужные внешние инструменты и источники контекста. В примере у Ollama задан OLLAMA_NO_CLOUD=1. Для Continue проверьте инструкцию офлайн-работы, включая отключение Allow Anonymous Telemetry. Первичная загрузка образов и моделей всё равно требует сети; полностью изолированная среда требует отдельной подготовки и проверки исходящего трафика.
Можно ли использовать несколько моделей одновременно?
Да, при достаточной памяти и поддержке выбранного сервера. Наш стенд намеренно ограничен одной загруженной моделью, поэтому при переключении задач возможна перезагрузка весов. Не оценивайте производительность нескольких одновременных моделей по такому тесту.
Как обновлять модели и контейнеры?
Сначала проверьте новую версию на отдельном стенде, сохраните старую рабочую конфигурацию и идентификаторы артефактов, подготовьте откат. ollama pull может обновить содержимое тега; успешная загрузка не гарантирует прежнее качество, шаблон или расход памяти.
Можно ли обойтись без GPU?
Для пробного запуска небольших моделей можно использовать CPU, как в примере. Возможность работать с нужным контекстом определяется RAM и runtime, а пригодность для ежедневной работы — измеренной задержкой. Число разработчиков, которое обслужит CPU, нельзя вывести только из размера модели.
Если сначала нужен общий обзор инструментов, начните с нашего гайда по базовому AI-стеку, затем вернитесь к проверке конкретной конфигурации.