Перейти к содержанию
Публикация AiManual

Nimbo: как один разработчик собрал self-hosted голосовой чат с ИИ и шумодавом

Nimbo это открытый self-hosted сервис с голосовыми комнатами, чатом и демонстрацией экрана: код писал ИИ, а стек собрали из C++/Qt, Vue, Go и LiveKit. Разбираем

Коротко

Что будет в материале

  1. 01

    Что такое Nimbo и какую проблему он решает

  2. 02

    Как ИИ написал код, а автор собрал архитектуру и UX

  3. 03

    Стек Nimbo: C++/Qt, Vue + TypeScript, Go и LiveKit

  4. 04

    Локальный профиль вместо централизованной регистрации

Nimbo это открытый self-hosted сервис для голосовых комнат, чата и демонстрации экрана. Исходники и готовый клиент для Windows лежат в публичном репозитории на GitHub, а как проект собирался, автор рассказал в разборе на Habr.

Задача была бытовой: играть с друзьями без рекламы и лишних требований к железу. Голосовая комната не должна отъедать кадры у игры и требовать подписки. Основной код при этом писал ИИ, а за автором остались архитектура, логика, интерфейс и ручные правки.

Короткий ответ, кому это нужно. Nimbo имеет смысл, если есть свой сервер или домашний ПК под него, круг друзей или команда и желание контролировать данные, шумодав и набор функций. Если администрировать не хочется, готовые сервисы закроют ту же задачу с меньшими усилиями, и это нормальный выбор.

Что такое Nimbo и какую проблему он решает

Почему не Discord, TeamSpeak или Mumble

Три готовых решения не устроили автора по трём конкретным причинам:

  • Discord: мешает реклама и постоянные предложения Nitro.
  • TeamSpeak: не справляется шумодав, друзья слышали лишние резкие звуки.
  • Mumble: не хватало привычных функций, в частности показа экрана.

Nimbo закрывает все три пункта одновременно. Сервер разворачивается у себя, шумодав работает локально, демонстрация экрана входит в набор функций. Ни одно из трёх готовых решений не давало такой комбинации без компромиссов, отсюда и собственный проект.

Кому подходит self-hosted голосовой чат

Профиль пользователя довольно узкий. Нужен сервер или домашний ПК, который не жалко держать включённым, и небольшой круг людей: друзья, игровая команда, рабочая группа. Взамен вы получаете контроль над тем, где живут данные и какие шумодавы включены.

Вторая часть профиля, готовность к технической работе. Развернуть сервис, обновить его, закрыть доступ извне и сделать резервную копию придётся самому. Насколько это серьёзный барьер, разбираем в разделе об ограничениях.

Как ИИ написал код, а автор собрал архитектуру и UX

Формулировка автора звучит прямо: основной код Nimbo писал ИИ, он же вносил ручные правки, но больше занимался тем, как всё должно работать, то есть логикой, интерфейсом, выбором стека и архитектуры. Решения о поведении продукта остались за человеком.

Такое разделение объясняет, почему проект получился связным. Генерация кода ускоряет набор, но не отвечает за целостность механик и последовательность интерфейса.

Показательный эпизод: автор отправлял агентов ломать собственный сервер. Это проверка на прочность тем же инструментом, который писал код. Практический смысл простой: если ИИ генерирует сетевой сервис, ломать его нужно так же системно, как и писать.

Что ИИ делал хорошо, а где пришлось править руками

Из описания автора видно распределение. Массовый код и типовые куски на стороне ИИ. Поведение продукта, интерфейс, выбор стека и архитектуры на стороне разработчика, с ручными правками по ходу работы.

Конкретных багов, процентов сгенерированного кода и списка правок в доступном описании нет, поэтому не будем их выдумывать. Вывод от этого не меняется: ИИ снимает рутину набора, а архитектурные и UX-решения требуют человека, который держит в голове всю картину.

Похожая схема, только на Rust и с роем агентов вместо одного ассистента, разобрана в материале о проекте Wavo: там ИИ-агенты писали движок распознавания речи, UI-библиотеку и упаковщик, а человек отвечал за замеры и решения по стеку.

Стек Nimbo: C++/Qt, Vue + TypeScript, Go и LiveKit

Стек разложен по слоям, и у каждого слоя своя задача.

СлойТехнологияЗадача
Windows-клиентC++ и QtЭкономия ресурсов, точечная работа с памятью, интерфейс и устройства
Веб-клиентVue и TypeScriptИнтерфейс в браузере, правки без сборки и раздачи файлов
СерверGoСерверная часть сервиса
МедиаLiveKitПередача голоса, камеры и демонстрации экрана

Деталей интеграции в открытом описании немного: версии, конфигурации и схему API нужно смотреть в репозитории. Достоверно известны роли слоёв и мотивация выбора, о них дальше.

Почему Windows-клиент на C++ и Qt

Главный критерий автор назвал прямо: оставить как можно больше ресурсов игре. Отсюда C++ вместо Electron-обёртки. C++ даёт точечно управлять тем, когда программа занимает и освобождает память, а Qt отвечает за окна, кнопки, работу с устройствами и основу интерфейса.

Шумодав обрабатывается локально, и это усложняет жизнь: обработку звука приходится доводить вручную. Автор описывает это как «придётся потанцевать с бубном». Зато локальная обработка не отправляет голос на чужой сервер и не зависит от внешнего API.

Зачем в проекте Go, Vue и LiveKit

Веб-клиент собран на Vue и TypeScript, серверная часть на Go, а передачу голоса, камеры и экрана закрывает LiveKit. Деление типичное для медиасервисов: логика и сигналинг живут отдельно от медиапотока, а браузер получает интерфейс, который правится без пересборки.

LiveKit берёт на себя транспорт, поэтому проект не пишет собственный SFU. Насколько глубоко настроены кодеки и параметры публикации, в описании не раскрыто. Эти детали стоит проверять в конфигурации репозитория, а не по обзорам.

Первая проба Windows-клиента и почему он заморожен

Первая проба включала локальный чат, историю сообщений и возможность открыть микрофон и проверить звук. Дальше клиент встал на паузу. Причина практическая: на десктопе тяжело продумывать дизайн, механики и UX, а после каждой правки нужно ждать сборку, раскидывать друзьям новый файл и просить его запустить.

Это компромисс, а не провал. Для этапа, когда продукт активно меняется, веб быстрее: правка видна сразу и не требует раздачи бинарников. C++/Qt остаётся вариантом для версии, где важна экономия ресурсов.

Локальный профиль вместо централизованной регистрации

Вместо привычной регистрации на сервере в Nimbo используется локальный профиль в файле. На устройстве пользователя лежат ник, настройки, список серверов, куда его пригласили, и тех, которыми он управляет. Для каждого сервера сохраняется свой ключ доступа, а профиль можно выгрузить в файл.

Логика понятная. Автор не хотел брать на себя общую регистрацию, хранить персональные данные и администрировать чужие компании друзей. Задача проекта дать код и клиент, а где поднять сервер и кого позвать, человек решает сам.

Что даёт локальный профиль и какие создаёт компромиссы

  • Плюс: контроль над данными, профиль не зависит от чужой инфраструктуры.
  • Плюс: доступ к разным серверам через отдельные ключи.
  • Минус: перенос профиля между устройствами делается вручную, через выгрузку в файл.
  • Минус: восстановление доступа после потери файла ложится на пользователя, привычной кнопки восстановления аккаунта здесь нет.

Формат файла, схему шифрования и порядок восстановления в доступном описании не раскрывают. Эти детали стоит сверять с репозиторием перед тем, как переносить профиль на рабочий ноутбук или хранить его в облаке.

Шумодав: сравнение RNNoise и GTCRN

Шумодав в Nimbo работает локально, и в проекте два режима обработки: RNNoise и GTCRN. Сравнение шло на конкретных записях: щелчки мыши и жевание яблока. Бытовые резкие звуки как раз то, на чём спотыкался TeamSpeak.

Итог: GTCRN стал режимом по умолчанию, RNNoise автор пока оставил как альтернативу. У выбора есть измеримая цена: в тесте обработка добавляла около 21 мс задержки у RNNoise и 32 мс у GTCRN. Объективных метрик вроде MOS или замеров в дБ в описании нет, так что качество очистки оценивалось на слух.

Почему GTCRN по умолчанию, а не RNNoise

Критерий простой: лучше убрать резкие бытовые шумы. На щелчках мыши RNNoise повёл себя очень по-разному: на одной записи почти не помог, на другой даже немного обошёл GTCRN. Зато с яблоком разница была большой в пользу GTCRN.

Рекомендация зависит от задачи. Если вы играете и общаетесь в комнате, где кто-то грызёт сухари у микрофона, GTCRN разумный старт. Если вы поёте, играете на инструменте или репетируете, где важна каждая миллисекунда и тембр, проверьте RNNoise: он добавляет меньше задержки.

Как проверить шумодав под свои условия

Проверка занимает несколько минут и не требует специального оборудования. Запишите короткий фрагмент с типичными для вас шумами: щелчки мыши, клавиатура, шелест, бытовой фон. Прогоните его через каждый режим и послушайте результат в наушниках.

  • Слышит ли собеседник резкие звуки, которые вас раздражали.
  • Не пропадают ли окончания слов и тихие согласные.
  • Устраивает ли задержка при разговоре и в игре.
  • Не стал ли голос настолько глухим, что утомляет за минуту разговора.

Граница самостоятельной проверки очевидна: тонкая настройка под конкретный микрофон и помещение делается на своей записи. Чужой обзор не знает, как звучит ваша комната и какой у вас микрофон.

Работа с памятью в C++: утечка после камеры и показа экрана

Отдельный сюжет проекта, память. В голосовой комнате веб-клиента Nimbo после пятого включения и выключения камеры и показа экрана одного участника потребление разрослось до 305,8 МБ, хотя видео было давно выключено. Причиной оказалась часть, отвечающая за сжатие видео перед отправкой: она зависала в памяти. После фикса в том же сценарии потребление снизилось, но конкретную цифру автор в доступном фрагменте не приводит.

Речь шла не о косметике. Камера и захват экрана держат буферы, устройства и медиа-ресурсы, а C++ с Qt требуют явного освобождения. Забытый объект или неотпущенный буфер накапливаются от цикла к циклу, и приложение начинает отбирать память у игры.

Как воспроизвести и измерить утечку

Методика простая и переносится на любой медиа-проект. Включите и выключите камеру и показ экрана несколько раз подряд, замеряя потребление после каждого цикла. Важна не абсолютная цифра, а рост от цикла к циклу: ровный график говорит о нормальной работе, лестница вверх о утечке.

Конкретные инструменты профилирования в описании не названы, поэтому к методике стоит добавить свой обычный профилировщик. Пяти циклов обычно хватает, чтобы увидеть тренд; если рост небольшой, увеличьте число повторов.

Что дал фикс

Фикс устранил зависание буферов сжатия видео: после него тот же сценарий с камерой и показом экрана больше не приводил к росту потребления до сотен мегабайт. Точные значения после исправления в доступном фрагменте статьи отсутствуют, поэтому ориентироваться стоит на сам характер поведения: память возвращается после выключения видео, а не остаётся занятой.

Цифры стоит читать как результат конкретной сборки на конкретном стенде. Переносить их на другие конфигурации, кодеки и разрешения экрана нельзя.

Практический вывод короткий: цикл «включил-выключил» это базовый тест на утечки для любого приложения с камерой, демонстрацией экрана и микрофоном. Прогнать его дешевле, чем ловить жалобы на тормозящую игру.

Ограничения Nimbo: порог входа и ответственность владельца

Главное ограничение проекта высокий порог входа для владельца сервера. Nimbo даёт код и клиент, но не берёт на себя администрирование: где поднять сервер, кого позвать и как закрыть доступ, решает человек, который его развернул.

Почему self-hosted значит ответственность владельца

После установки на вас ложится всё, что в облачном сервисе делала чужая команда: обновления, контроль доступа, резервные копии, мониторинг. Сервер, выставленный в интернет с настройками по умолчанию, становится вашей зоной риска.

Автор отдельно упоминает, что отправлял агентов ломать собственный сервер. Такой подход полезен и владельцу: безопасность это процесс, а не разовая настройка, и проверять конфигурацию стоит регулярно, а не только при первом запуске.

Что сделать перед развёртыванием:

  1. Проверить актуальность версии и историю исправлений в репозитории.
  2. Ограничить сетевой доступ: закрыть лишние порты, не выставлять сервер в интернет без необходимости.
  3. Настроить резервные копии базы и проверить, что восстановление реально работает.
  4. Держать обновления под контролем и читать список изменений перед установкой.

Если эти четыре пункта кажутся лишней работой, self-hosted вариант, скорее всего, не ваш.

Стоит ли разворачивать Nimbo: практический вывод

Соберём критерии. Nimbo оправдан, если вам нужен self-hosted контроль над голосовой комнатой, вы готовы администрировать сервер и для вас важны локальный шумодав и показ экрана в одном наборе. Проверьте ещё два пункта: терпимость к задержке GTCRN и состав устройств в команде.

Остаться на Discord проще, если нужен готовый сервис с мобильными клиентами и нулевым администрированием. TeamSpeak или Mumble закроют голосовую связь там, где демонстрация экрана не критична, а возиться с сервером не хочется.

Если решение всё же в пользу Nimbo, начните с малого: разверните сервер для двух-трёх человек, прогоните цикл включения и выключения камеры и показа экрана, проверьте шумодавы на своих записях и только потом зовите остальных.

Подписаться на канал