Слушай, признайся честно. Когда все вокруг заливают демки с GPU-инстансами за $2 в час, а ты сидишь на обычном VPS за десять баксов в месяц — чувствуешь себя прокаженным. Особенно когда хочешь поднять свой приватный AI-ассистент, но видеокарты нет, и не предвидится. Хорошая новость: запустить Ollama и Open WebUI на CPU — это не мазохизм, а вполне рабочая стратегия, если знать нюансы. Плохая новость: гайды, которые ты найдешь в интернете, обычно написаны людьми, которые ни разу не сталкивались с OOM killer'ом на VPS с 8 ГБ RAM.
Я прошел через это. Сжег пару инстансов, убил кучу времени на дебаг прокси. Теперь делюсь готовой схемой. Стек: Docker + Ollama + Open WebUI + nginx + Let's Encrypt. Без GPU. Без лишнего геморроя. С реальными граблями.
Почему CPU VPS — это не ад, но близко
GPU на VPS стоит дорого. A100 — $2-3 в час, RTX 4090 — $0.80-1.2. Для pet-проекта или внутреннего ассистента в маленькой команде это непозволительная роскошь. CPU-инференс даёт 2-5 токенов в секунду на моделях вроде Llama 3.1 8B, что для чата вполне терпимо — читать успеваешь, особенно если запросы короткие.
Важно: Не рассчитывай на real-time общение. На 7B модели с квантованием Q4_K_M ты получишь ~3 токена/с. Это в 5-10 раз медленнее, чем на GPU, но в 100 раз дешевле. Для написания email, суммаризации документации или генерации кода — норм.
Проблема номер один — оперативная память. Не RAM, а её отсутствие. VPS за $10 обычно даёт 2-4 ГБ — этого катастрофически мало. Для 8B модели нужно минимум 8 ГБ свободной RAM (с квантованием — 6 ГБ). В системе с 8 ГБ после запуска модели остаётся 1-2 ГБ — любой всплеск памяти убьёт процесс. Выход: VPS с 16 ГБ RAM или NVMe swapping, о котором я писал отдельно. Но лучше сразу брать 12-16 ГБ.
Какой VPS выбрать под CPU-инференс
Для CPU-инференса сравнивайте фактическую RAM, производительность процессора, диск и задержку на своей модели. Timeweb Cloud можно включить в сравнение провайдеров. Это партнёрская ссылка; конфигурацию и текущую стоимость нужно проверять под свою нагрузку, минимальный тариф не является гарантией достаточности ресурсов.
Не все облачные провайдеры одинаково полезны. Тебе нужно железо с высокой тактовой частотой CPU и быстрой памятью. Intel Xeon Gold 6xxx или AMD EPYC — идеально. Дешёвые Intel Xeon E5 (как у Hetzner CX) слабее, но для 8B модели хватит.
| Провайдер | Конфиг (CPU/RAM/диск) | Цена/мес | Подходит для |
|---|---|---|---|
| Hetzner | 4 vCPU, 16 GB, 160 GB NVMe | ~€28 | Llama 8B, Qwen 7B |
| DigitalOcean | 4 vCPU, 8 GB, 160 GB SSD | $48 | Только phi-3 3.8B |
| Contabo | 6 vCPU, 16 GB, 200 GB SSD | €10 | Лучший бюджетный вариант |
Мой выбор — Contabo или Hetzner. У Contabo дешево, но CPU староваты (Xeon E5). Hetzner дороже, но дает современные AMD EPYC. Если бюджет критичен — бери Contabo. Если важна скорость генерации — Hetzner или гибридная архитектура.
Готовимся к установке: Docker и зависимости
Оставим в стороне установку вручную через apt — мы DevOps или кто? Используем официальные скрипты, чтобы версии были свежие.
1 Установка Docker и Docker Compose
Заходим на VPS по SSH. Всё, что нужно — один скрипт от Docker (версию проверяйте в официальной документации; для loopback-публикации используйте Docker Engine 28 или новее).
sudo apt update && sudo apt upgrade -y
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo usermod -aG docker $USER
newgrp docker
# Проверяем:
docker --version
# Docker Compose v2 уже встроен
docker compose version
Ошибка новичка: Не добавлять пользователя в группу docker. Для администратора это удобство, но группа docker даёт root-эквивалентные права на хосте. Не добавляйте в неё недоверенных пользователей или пользователя AI-агента.
2 Создаём структуру папок
mkdir -p ~/ollama-webui/{nginx,data/ollama,data/open-webui}
cd ~/ollama-webui
Docker Compose: мозг всей системы
Создаём файл docker-compose.yml. В нём три сервиса: Ollama, Open WebUI, nginx. Важно: Аутентификацию Open WebUI оставляем включённой. Первую учётную запись администратора создаём до открытия публичного доступа.
version: '3.8'
services:
ollama:
image: ollama/ollama:latest
container_name: ollama
restart: always
volumes:
- ./data/ollama:/root/.ollama
environment:
- OLLAMA_KEEP_ALIVE=24h
- OLLAMA_NUM_PARALLEL=1
- OLLAMA_MAX_LOADED_MODELS=1
- OLLAMA_CONTEXT_LENGTH=2048
# Ограничиваем память, чтобы не убить VPS
deploy:
resources:
limits:
memory: 12g
reservations:
memory: 6g
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: always
depends_on:
- ollama
volumes:
- ./data/open-webui:/app/backend/data
environment:
- OLLAMA_BASE_URL=http://ollama:11434
- WEBUI_SECRET_KEY=твой_случайный_ключ_64_символа
- WEBUI_AUTH=true
- WEBUI_NAME=Мой AI
deploy:
resources:
limits:
memory: 2g
nginx:
image: nginx:alpine
container_name: nginx
restart: always
ports:
- "80:80"
- "127.0.0.1:443:443"
volumes:
- ./nginx/nginx.conf:/etc/nginx/conf.d/default.conf
- /etc/letsencrypt:/etc/letsencrypt:ro
depends_on:
- open-webui
Ключевые моменты:
OLLAMA_KEEP_ALIVE=24h— модель остаётся в памяти 24 часа после первого запроса. Иначе придётся ждать загрузку при каждом обращении.OLLAMA_NUM_PARALLEL=1— параллельная обработка на CPU убьёт производительность. Лучше один запрос за раз.WEBUI_SECRET_KEY— обязателен. Сгенерируй черезopenssl rand -base64 64.deploy.resources.limits.memory— защита от OOM. Не ставь выше реальной RAM на VPS минус 2 ГБ для системы.
Грабли: Если не указать лимиты, Ollama может сожрать всю память и VPS уйдёт в своп. При активной своп-активности (особенно на медленных SSD) скорость упадёт до 0.2 токена/с. Лучше ограничить модель через env OLLAMA_MAX_LOADED_MODELS=1.
Nginx: прокси с веб-сокетами и SSL
Создаём nginx/nginx.conf. Open WebUI использует веб-сокеты для стриминга токенов. Без проксирования Upgrade заголовков чат не будет обновляться в реальном времени.
upstream open-webui {
server open-webui:8080;
}
server {
listen 80;
server_name ai.example.com;
return 301 https://$server_name$request_uri;
}
server {
listen 443 ssl http2;
server_name ai.example.com;
ssl_certificate /etc/letsencrypt/live/ai.example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/ai.example.com/privkey.pem;
location / {
proxy_pass http://open-webui;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
3 SSL-сертификат через Let's Encrypt
Во всех примерах замените ai.example.com на свой домен и направьте DNS на VPS. До выпуска сертификата nginx не запускайте. Для standalone-проверки порт 80 должен быть свободен и доступен из интернета.
sudo apt install certbot -y
sudo certbot certonly --standalone -d ai.example.com
sudo chown root:root /etc/letsencrypt/live/ai.example.com/privkey.pem
sudo chmod 600 /etc/letsencrypt/live/ai.example.com/privkey.pem
Закрытый ключ не делайте доступным всем пользователям. В показанном стандартном контейнере nginx его читает master-процесс root; для rootless/nginx-unprivileged требуется отдельная настройка минимальных прав. Монтируется всё дерево /etc/letsencrypt, чтобы работали ссылки live → archive.
Продление настройте до эксплуатации: регулярный timer Certbot, pre-hook с остановкой именно контейнера nginx для освобождения порта 80 и post-hook с его запуском даже при неудаче продления. Используйте абсолютный путь к compose-файлу. Проверьте sudo certbot renew --dry-run с этими hooks и затем срок сертификата, который реально выдаёт HTTPS. Простого cron раз в два месяца недостаточно: nginx должен перечитать обновлённые файлы. Если перерыв недопустим, настройте webroot или DNS-проверку по документации Certbot.
Первый запуск и загрузка модели
Всё готово. Поднимаем стенд:
docker compose up -d
Теперь нужно загрузить модель. Заходим в контейнер Ollama:
docker exec -it ollama ollama pull llama3.1:8b-instruct-q4_K_M
Почему именно q4_K_M? Это квантование 4-бит. Качество почти не отличается от оригинала, но модель весит 4.9 ГБ вместо 16 ГБ. На CPU это единственный разумный выбор. Для 16GB VPS можно попробовать qwen2.5:7b или phi3:mini. Полный список — в моём гайде по локальному запуску.
До публичного доступа выполните на своём компьютере ssh -N -L 8443:127.0.0.1:443 USER@VPS_IP и временно направьте ai.example.com на 127.0.0.1 в локальном hosts. Откройте https://ai.example.com:8443, проверьте сертификат и создайте первого администратора. Отключите самостоятельную регистрацию в настройках администратора. После проверки входа измените публикацию 443 на 443:443, пересоздайте nginx через docker compose up -d nginx, удалите временную запись hosts и проверьте обычный HTTPS. Не отключайте проверку TLS.
Подводные камни, которые я вывез за вас
Хватит теории. Вот три проблемы, с которыми я столкнулся при деплое на четырёх разных VPS:
🔴 Проблема 1. OOM через 10 минут работы
Симптом: Ollama падает, контейнер перезапускается, история теряется.
Причина: Модель использует больше RAM, чем вы выделили. Даже с Q4, контекст в 32K токенов потребляет лишние 2 ГБ.
Решение: Задайте OLLAMA_CONTEXT_LENGTH=2048 в окружении Ollama; проверьте, что настройки запроса в WebUI не увеличивают контекст. И добавьте флаг OLLAMA_MAX_LOADED_MODELS=1 в окружение Ollama. Также настройте vm.swappiness=10 на хосте.
🔴 Проблема 2. Медленный стриминг (зависание на 10 секунд)
Симптом: Вывод в Open WebUI идёт рывками.
Причина: Nginx не проксирует Upgrade заголовки или буферизирует ответ.
Решение: Добавить в nginx proxy_buffering off; и proxy_read_timeout 300s;. Проверить, что в конфиге указан Connection upgrade (как в нашем шаблоне).
🔴 Проблема 3. SSL не работает после перезагрузки
Симптом: nginx не запускается или показывает просроченный сертификат. Проверьте bind mount /etc/letsencrypt, пути live/archive, журнал nginx и права ключа. При отсутствующем сертификате TLS-блок не стартует; не обходите проблему публикацией WebUI по HTTP. Проверьте продление с hooks и перезапуск nginx.
FAQ: вопросы, которые мне задают под каждым гайдом
Вопрос: Можно ли запустить Llama 3.1 70B на 16 ГБ VPS?
Ответ: Для нормального запуска в RAM — нет. Даже llama3.1:70b-instruct-q2_K занимает около 26 ГБ только на диске; дополнительно нужны память runtime, контекста и ОС. Уменьшение контекста не уменьшит веса до 16 ГБ. Для такого VPS выбирайте небольшую модель и проверяйте запас RAM; 70B через swap не предлагается как рабочая конфигурация.
Вопрос: Как защитить Open WebUI от внешних?
Установи WEBUI_AUTH=true и сгенерируй сложный WEBUI_SECRET_KEY. Дополнительно — Cloudflare Access или Authelia. Подробнее в статье про безопасность.
Вопрос: Какая модель самая быстрая на CPU?
Phi-3-mini (3.8B, 4-битное квантование) выдаёт ~8-10 токенов/с на 6 ядрах. Llama 3.2 3B — тоже неплохо. Но по качеству Llama 3.1 8B заметно лучше. Смотрите обзор.
Вопрос: Стоит ли добавлять веб-поиск?
Да, Open WebUI поддерживает подключение к SearXNG или Google через Custom Tool. Это превращает LLM в реального ассистента. Но на CPU всё замедлится в 2 раза. Гайд здесь.
Альтернативы: когда CPU VPS уже не тянет
Если через месяц эксплуатации скорость начала бесить — есть пути:
- Tesla P100 на домашнем сервере — дешёвый GPU (ок·оло $150 на eBay). Подключаете к домашней машине и используете защищённый VPN или SSH-туннель, не публичный порт Ollama.
- Арендовать GPU-инстанс с почасовой оплатой. Запускать только когда нужен ответ. Схема гибрида описана в этой статье.
- Но если бюджет жёстко ограничен — CPU VPS + Q4 модель остаётся лучшим выбором.
Однажды я оставил стенд на Contabo на 3 месяца. Счет был ~€30. За это время ассистент обработал около 50 000 запросов (суммаризация логов, ген кода). Ни одного падения. OOM не было, потому что я поставил лимиты и маленький контекст. Если у вас похожие сценарии — дерзайте.
Но есть нюанс, о котором молчат. Настоящая причина, по которой многие берут GPU — не скорость, а интерактивность. На CPU каждый ответ занимает 30-60 секунд. Это убивает поток сознания. Если вам нужен ассистент для диалога (не для одноразовых промптов) — лучше скинуться на GPU или взять облачную LLM с подпиской. А для ETL, генерации кода, автотестов — CPU VSS без GPU идеален. Выбор за вами.