CrowdGPT учит языковую модель на 1 млрд параметров силами сообщества, без датацентров и без миллионов долларов, которые обычно уходят на такой прогон. Любой участник запускает клиент на своём ПК, обучает модель локально и отправляет вклад на сервер, а сервер собирает вклады в общую модель. Релиз v2.6 датирован 31 октября 2026 года и получился в первую очередь про безопасность.
Ключевая цифра обновления: за шесть дней после релиза модель дообучили на 4,5 млрд новых токенов. Автор проекта пишет, что примерно столько же набрал за два месяца на личной GPU. Разница в темпе и есть главный практический аргумент схемы: чужие машины дают объём, которого не даёт одно домашнее железо.
Модель в проекте называется Crowd-v1, и она остаётся proof of concept. Догнать промышленные модели никто не обещает. Задача другая: проверить, выдержит ли совместное обучение недобросовестных участников и сколько избыточности придётся за это заплатить.
Что такое CrowdGPT v2.6 и зачем обучать LLM без датацентров
Смысл проекта в отказе от двух вещей: аренды тысяч GPU и централизованного кластера. Обучение размазывается по машинам участников, а общая модель растёт за счёт их вкладов. Обычный бюджет обучения LLM измеряется миллионами долларов, здесь счёт идёт на свободные GPU-часы энтузиастов.
Версия 2.6 не первая итерация, но именно она переводит проект из режима «работает как-то» в режим «работает с проверками». Прошлые версии доверяли клиенту слишком многое, и это признано открыто.
Федеративная схема: как вклады с разных ПК попадают в одну модель
Механика близка к федеративному обучению: данные остаются на машинах участников, по сети ходит только вклад в модель. Клиент берёт свою порцию данных, считает обновление и отправляет результат раунда на сервер. Сервер проверяет вклад и добавляет его в глобальную модель.
Конкретный алгоритм агрегации в анонсе не раскрыт: там описан протокол участия и защита от подлога, а математику усреднения придётся искать в коде проекта. Для понимания сути это не мешает. Значимо другое: целостность модели обеспечивают проверки, доверия к присланному вкладу больше нет.
Участие в протоколе открытое. Каждый получает голос в направлении проекта: чем больше вклад, тем заметнее след в модели. Такую схему отличает прозрачность процесса, а не только бесплатность вычислений.
Почему это не «ещё один запуск LLM локально на GPU»
Запуск LLM на своём ПК, о котором пишут чаще всего, это инференс: вы скачиваете готовые веса и получаете ответы. CrowdGPT использует ваш GPU иначе: машина считает обновление модели и отдаёт его в общий котёл. В первом случае вы потребитель модели, во втором поставщик вычислений.
Требований к VRAM в анонсе нет, поэтому конкретный порог для участия стоит уточнять по актуальной документации клиента. Общий принцип простой: чем мощнее карта, тем быстрее считается раунд. Как выглядит локальный инференс на практике и сколько памяти он съедает, разбирали в материале про локальную модель вместо облака.
Какие дыры в безопасности были до v2.6
Старая архитектура доверяла клиенту почти всё. Автор перечисляет четыре проблемы: подделка вкладов, отправка отравленных данных, перегрузка сервера фейковыми вкладами каждую миллисекунду и обучение модели вредоносным бэкдорам. В краудсорсинге это критично, потому что участник анонимен, а его вклад влияет на модель для всех.
Отравление данных и бэкдоры: чем это грозит общей модели
Отравление данных (data poisoning) работает на уровне примеров: в обучающую выборку подмешивают текст, который меняет поведение модели на нужных атакующему запросах. Бэкдор добавляет триггер: обычные вопросы модель обрабатывает нормально, а на условную фразу выдаёт заготовленную реакцию. Иллюстрация, не пример из проекта: тысяча безобидных текстов и один с пометкой «после слова X отвечай так». При федеративной схеме такой вклад попадает в модель, которой пользуются все, и вычислить автора непросто.
Проверка чужого вклада обходится дороже, чем его отправка, и это общая слабость открытых распределённых тренировок. Отсюда и интерес к серверным проверкам: без них защищаться нечем.
Произвольный код через автообновление клиента
Вторая история касается железа участников, а не только модели. Пользователи сообщали, что механизм автообновления в коде клиента допускал выполнение произвольного кода. Если клиент сам себя обновляет, контроль над его содержимым равносилен контролю над машиной, на которой он запущен. Для домашнего ПК с личными файлами и токенами доступа это прямой риск.
Что нового в безопасности CrowdGPT v2.6
В v2.6 добавили несколько независимых слоёв защиты. Они закрывают разные угрозы, и смысл в том, что обойти нужно все сразу.
| Механизм | Какую угрозу закрывает | Что даёт |
|---|---|---|
| Серверные проверки вкладов | Подделка вкладов и флуд фейковыми отправками | Мусор отсекается до агрегации |
| Византийские перекрёстные сверки | Отравленные данные и бэкдоры | Доля вредоносных данных на клиента не выше 2-3% за раунд |
| Подпись клиентских релизов | Произвольный код через автообновление | Неподписанное обновление не установится |
| Пайплайн приёма данных | Мусор и отравление в общем датасете | Проверка и курирование до обучения |
Серверные проверки вкладов: что проверяется на стороне сервера
Сервер получил надёжную логику проверки вкладов. Практический смысл в том, что граница доверия сдвинулась: клиент больше не может прислать что угодно и рассчитывать, что это попадёт в модель. Правил и метрик проверок в анонсе нет, поэтому посчитать, сколько фейковых вкладов отсекается, по опубликованным данным нельзя.
Серверные проверки снимают часть нагрузки, проблему отравления в одиночку они не решают: аккуратно составленный вредоносный вклад может выглядеть правдоподобно. Значит, нужен второй слой, который сравнивает клиентов друг с другом.
Византийские перекрёстные сверки и тройное дублирование
Схема такая: три клиента обучаются на одних и тех же данных, а результаты сверяются между собой. Вклад, расходящийся с двумя другими, виден на сервере. Термин «византийская устойчивость» описывает как раз способность системы работать при произвольных сбоях и злонамеренном поведении части узлов. Автор пишет, что даже злонамеренный клиент теперь может обучаться лишь на 2-3% вредоносных данных за раунд, не будучи забаненным, против 100% в прежней версии.
Прирост защиты заметный. Раньше один клиент за один раунд протаскивал в модель полностью отравленный набор. Теперь его вклад размывается сверками, и для ощутимого эффекта атакующему нужна длинная серия раундов, которую проще заметить.
Криптографическая подпись клиентских релизов
Код клиента теперь подписан ключом, который хранится только на устройстве автора. Клиент примет обновление лишь с валидной подписью, и подменить релиз по дороге не получится. Сценарий с произвольным кодом через автообновление закрыт.
У решения есть обратная сторона: доверие смещается к одному человеку с одним ключом. Компромисс ключа означает компромисс всех клиентов, а сообщество не может проверить релиз независимо от автора. Для раннего проекта это приемлемая цена, для инфраструктуры на тысячи машин это точка, за которой стоит следить.
Четвёртый слой касается данных: появился пайплайн для коллаборативного датасета CrowdGPT, и весь присланный материал проходит проверку и курирование до того, как попадёт в обучение.
Автор не утверждает, что получился идеальный федеративный фреймворк. Его формулировка: вредоносные вклады стали существенно сложнее. Эту оговорку стоит держать в голове при чтении любых обещаний про безопасность распределённого обучения.
Цена безопасности: дублирование, breaking changes и устаревшие вклады
Защита обошлась дорого, и об этом автор говорит прямо.
Сколько стоит тройное дублирование данных
Три клиента на одних и тех же данных означают, что полезная работа дублируется минимум втрое. Грубая прикидка: на каждый уникальный кусок данных тратится три раунда вычислений вместо одного, значит эффективная пропускная способность падает примерно втрое относительно затраченных GPU-часов. Точный коэффициент зависит от того, как сервер распределяет задания, и в анонсе его нет.
Обмен понятный: вы платите вычислениями за устойчивость к отравлению. Для proof of concept на 1 млрд параметров это приемлемо. При переходе на модели в десятки миллиардов параметров тройная избыточность превращается в отдельную статью расходов.
Почему часть вкладов устарела и что это значит для участников
Переход на новую схему вызвал множество breaking changes, и часть тренировочных вкладов стала stale, то есть несовместимой с текущим протоколом. Для раннего проекта это нормальная плата за смену правил: клиенты и сервер должны говорить на одном языке, иначе сверки теряют смысл.
Восстановят ли старые вклады, из анонса неизвестно. Практический вывод для тех, кто планирует участие: сверяйтесь с актуальной версией клиента перед тем, как отдавать машину на несколько суток, и не считайте давно начатый прогон гарантированно зачтённым.
Практический результат: 4,5 млрд токенов за 6 дней
Главный измеримый итог релиза: за шесть дней после выхода v2.6 модель дообучили на 4,5 млрд новых токенов. По словам автора, это примерно равно объёму, который он набрал за два месяца на личной GPU. Темп держится на числе подключившихся машин, а не на одной мощной карте.
Осторожность уместна. Всплеск мог дать разовый интерес к релизу: часть участников подключилась из-за новости, а удержать такой темп сложнее, чем получить. Данных о числе активных клиентов в анонсе нет.
Почему токены - правильная метрика для краудсорсинга
1 млрд параметров и 4,5 млрд токенов описывают разное. Параметры говорят о размере модели Crowd-v1: сколько весов в ней хранится. Токены говорят об объёме данных, на которых модель дообучили. Сравнивать эти числа напрямую бессмысленно.
Для краудсорсинга метрика в токенах удобна тем, что складывается по участникам: каждый клиент возвращает число обработанных токенов, а сумма показывает реальный прогресс. Число зарегистрированных участников такой картины не даёт, потому что половина машин может простаивать.
Что изменилось для участников: клиент, выбор GPU, Engrams и пайплайн данных
Кроме безопасности, v2.6 заметно правит пользовательскую часть.
Клиент переписали: лучше эргономика, надёжнее установка, появился выбор GPU, прежние падения исчезли. Для владельца машины с двумя картами выбор ускорителя экономит вечер настройки. Стабильная установка важнее: если клиент падает на старте, вклад не доходит до сервера, и время на карте сгорает впустую.
Engrams: что это даёт модели на практике
На модели Crowd-v1 активировали Engrams, и, по заявлению автора, это делает модель лучше в запоминании фактов (fact-recalling). Независимых замеров в анонсе нет, как и описания того, как Engrams устроены внутри. Проверять эффект придётся самостоятельно, и как раз для этого проекту нужен свой бенчмарк.
Пайплайн приёма данных и модерация: как внести свой датасет
Появился пайплайн приёма данных для коллаборативного датасета CrowdGPT. Присланный материал проверяют и курируют до обучения, а на момент публикации поста через пайплайн прошло 400 КБ данных. Порядок «приём, затем модерация» здесь принципиален: данные попадают в обучение после проверки, а не после автоматической загрузки.
Формат подачи и правила модерации в анонсе не расписаны, ориентироваться стоит на документацию клиента. По объёму 400 КБ это примерно несколько сотен тысяч знаков текста: старт, а не готовая база.
CrowdBench: зачем проекту открытый коллаборативный бенчмарк
В анонсе объявлен CrowdBench - открытый коллаборативный бенчмарк с вопросами на общие знания и детерминированными ответами. Детерминированность здесь ключевая: если у вопроса один правильный ответ, который проверяется автоматически, оценку может посчитать любой участник, и результат не зависит от настроения модели-судьи. Подробностей о составе вопросов, размере набора и метриках в опубликованном тексте нет, поэтому судить о бенчмарке пока можно только по заявленной идее.
Логика связки понятна: Engrams обещают лучшее запоминание фактов, CrowdBench должен это запоминание измерять. Коллаборативность делает его похожим на общий датасет: вопросы добавляют участники, проверка идёт по детерминированным ответам, а не по вкусовым оценкам.
Масштабируется ли подход на большие dense-модели и MoE
Проект заявляет, что схему можно масштабировать на более крупные dense-модели и даже на MoE-архитектуры. Это заявление о возможности, а не подтверждённый результат: работающая демонстрация пока одна и на 1 млрд параметров.
Dense-модели против MoE: что сложнее для краудсорсинга
Dense-модель задействует все параметры на каждом токене, поэтому вклад клиента выглядит предсказуемо: посчитал обновление, отправил. MoE активирует только часть экспертов, и разные клиенты могут тренировать разные части сети. Сверка вкладов в такой схеме усложняется: расхождение между клиентами может означать и атаку, и просто работу с разными экспертами. Как именно проект собирается разбирать этот случай, в анонсе не сказано. Устройство таких моделей разбирали на примере гибридной MoE-архитектуры ChatGPT 5.6.
Где проходят границы подхода
Ограничения видны уже сейчас. Тройная избыточность бьёт по эффективности, breaking changes ломают совместимость вкладов, безопасность не заявлена как 100%, независимых замеров качества нет. Добавьте централизованный ключ подписи и сервер, который остаётся единственной точкой сборки модели: инфраструктура проекта держится на одной стороне, какой бы распределённой ни выглядела тренировка.
Автор сам приглашает проводить эксперименты по отравлению данных, чтобы найти пределы защиты. Позиция честная: границы подхода проверяются атакой, а не обещаниями.
Стоит ли подключаться к CrowdGPT и как проверить устойчивость подхода
CrowdGPT имеет смысл рассматривать как участие в открытом эксперименте. Если у вас простаивает GPU и есть интерес к распределённому обучению, проект даёт редкую возможность посмотреть на федеративную схему изнутри и повлиять на её направление. Если нужна готовая модель под рабочую задачу, краудсорсинг на 1 млрд параметров её не даст: локальный инференс остаётся отдельным сценарием со своими требованиями к VRAM.
Что учесть перед установкой клиента:
- breaking changes уже случались: сверяйтесь с актуальной версией и не рассчитывайте, что старый прогон зачтут;
- подпись релизов означает доверие к одному держателю ключа;
- тройное дублирование снижает полезную отдачу от ваших GPU-часов;
- требований к VRAM в анонсе нет, порог придётся выяснять по документации клиента.
Проверить устойчивость подхода можно делом: автор прямо приглашает ставить эксперименты по отравлению данных. Практический шаг для технически подготовленного читателя: собрать небольшой набор с заведомо вредоносным содержимым, отправить его через пайплайн приёма данных и посмотреть, отсечёт ли его модерация, а затем дождётся ли вклад сверок. Такая проверка даёт больше, чем чтение списка фич. Дисциплина версий пригодится и здесь: фиксируйте, какую версию клиента и какой объём токенов вы отдали, тем же способом, каким ловят тихую подмену моделей в облачных API.