Что случилось и о чём вообще вопрос
8 ноября 2026 года в сообществе r/LocalLLaMA на Reddit появился вопрос, почему никто не воссоздал ShareGPT: сайт, где пользователи выкладывали логи диалогов с передовыми моделями, а из собранных текстов формировали датасет для обучения и дообучения. Автор вопроса, /u/StellarWox, прямо спросил, не стали ли причиной юридические проблемы (исходное обсуждение).
Короткий ответ: подтверждённых данных об этом нет. В сообщении только сам вопрос. Ни разбора от юристов, ни ссылок на иски, ни объяснений от людей, которые пробовали запустить похожий сервис. Гипотеза о правовых барьерах остаётся гипотезой, и проверять её приходится по общему контексту: условия использования моделей, авторское право, приватность и техническая сторона сбора данных.
Ниже три слоя: зачем вообще нужны датасеты диалогов, какие правовые риски возникают при публикации чужих чатов и что мешает держать такой сервис на уровне модерации и инфраструктуры. Фактура по самой истории ShareGPT ограничена текстом вопроса, поэтому детали его закрытия разбирать не будем: их в доступных материалах нет.
Что такое ShareGPT и зачем публиковали логи чатов
В обсуждении ShareGPT фигурирует как площадка, где любой пользователь публиковал лог своего диалога с frontier-моделью, а накопленные тексты шли в общий массив для тренировки и файнтюнинга. Смысл простой: один диалог уже содержит готовую пару «инструкция, ответ», иногда с уточнениями, исправлениями и отказами модели.
Такие данные ценны естественностью. Модель отвечает на реальные, криво сформулированные запросы, а не на причёсанные примеры из методичек. Многоходовые диалоги показывают, как человек меняет требование по ходу разговора, просит переписать короче, уточняет контекст, злится на неточный ответ и получает второй вариант. Для обучения это ближе к практике, чем корпус одиночных вопросов.
Второй слой ценности: разнообразие тем и формулировок. Один человек просит написать регулярку, другой объясняет ошибку в SQL, третий придумывает план статьи. Такой корпус плохо заменяется генерацией с нуля, потому что живые пользователи приносят формулировки, до которых не додумается методист.
Обратная сторона очевидна любому, кто открывал подобные архивы. В логах много повторов, мусора, тестовых сообщений вроде «привет, ты работаешь?» и просто неудачных диалогов. Это ещё не датасет, а сырьё.
Что именно спросили на Reddit
Смысл вопроса: были ли юридические проблемы, которые помешали кому-то сделать новый сайт, где все могли бы делиться логами чатов с frontier-моделями и формировать из них датасет для обучения и дообучения. Автор опубликовал его под ником /u/StellarWox, и это весь подтверждённый факт из источника.
Формулировка важна. Это не утверждение «ShareGPT закрыли из-за юристов», а вопрос «может, дело в юристах». Разница принципиальна: подтверждения нет, есть только направление поиска. Дальше проверяем, насколько это направление правдоподобно и какие ещё причины могли сложиться в один клубок.
Зачем вообще нужны датасеты диалогов для файнтюнинга
Дообучение с учителем (SFT, supervised fine-tuning) учит модель формату взаимодействия: как отвечать, какой держать тон, как следовать инструкции, когда просить уточнение. Основа здесь: пары «инструкция, ответ». Качество важнее объёма. Тысяча аккуратных и разнообразных примеров часто даёт больше, чем сто тысяч случайных реплик, особенно если речь про узкую предметную область.
Какие задачи закрывают такие данные:
- Следование инструкциям: модель учится не игнорировать формат, ограничения длины и явные запреты.
- Стиль и формат ответа: структура, тон, оформление кода, единая терминология в продукте.
- Доменная адаптация: внутренние регламенты, номенклатура, специфика отрасли, которую модель не видела в предобучении.
- Обучение на предпочтениях (DPO, RLHF): нужны пары «хороший ответ, плохой ответ», а не просто одиночные реплики.
Сырой лог не готовый датасет. Персональные данные надо вычистить, мусор и спам убрать, однотипные ответы отсеять, качество разметить, длинные диалоги разбить на отдельные задачи. Часть работы автоматизируется, часть требует человека, который смотрит на примеры глазами и выносит вердикт.
Есть и другой путь: генерировать данные самому. Как это устроено и где проходит граница между легальной генерацией и обвинениями в копировании, разбирали в материале про дистилляцию и синтетические данные.
Юридические барьеры: условия использования моделей
Первое, что проверяют перед сбором логов, это договор с провайдером модели. Условия использования у разных компаний отличаются, и в исходном обсуждении конкретных пунктов нет, поэтому дальше общий контекст, а не цитаты соглашений.
Выводы модели и права на них
Правовой статус сгенерированного текста зависит от юрисдикции. В части стран произведение без творческого вклада человека не получает охраны, в других вопрос остаётся спорным, и судебная практика меняется. Для практики важнее другое: даже если на вывод не распространяется авторское право, его использование регулирует договор с провайдером, и этот договор действует независимо от норм копирайта.
Соглашения обычно описывают, что можно делать с выводом, допустима ли коммерческая эксплуатация и можно ли обучать на ответах сторонние модели. Формулировки обновляются, поэтому читать нужно текущую редакцию на сайте провайдера, а не пересказ в блогах трёхлетней давности. Если планируете собирать корпус из чужих чатов, сверьтесь с условиями для каждого источника отдельно.
Почему провайдеры против обучения на их выводе
Экономика простая. Вывод модели это результат платных вычислений. Массовый сбор ответов и обучение на них создаёт модель, которая конкурирует с источником, но не несёт затрат на его разработку. Отсюда и ограничения в соглашениях: провайдер защищает актив, за доступ к которому берут деньги.
Есть репутационный слой. Собранные логи содержат запросы пользователей, и их публикация бьёт по доверию ко всему сервису. Провайдерам проще прямо запретить массовое переиспользование, чем потом объяснять, почему чужие переписки всплыли в открытом датасете.
Авторское право и приватность: где начинаются реальные риски
Даже при лояльных условиях использования остаются два риска, которые от политики провайдера не зависят: чужие права на контент внутри диалога и персональные данные собеседника.
Согласие пользователей и персональные данные
Публикация чужого чата без разрешения это обработка персональных данных. В логах встречаются имена, адреса, телефоны, медицинские подробности, куски рабочей переписки и внутренние документы. GDPR в ЕС и аналогичные законы в других странах требуют правового основания для такой обработки, а публикация в открытом доступе почти всегда означает максимальный уровень риска.
Согласие должно быть явным и осознанным: человеку нужно понимать, что его реплики уйдут в открытый набор и, возможно, в обучение чужой модели. Анонимизация снижает риск, но не убирает его. По стилю, редким деталям и контексту человека иногда можно опознать, а автоматическая чистка PII ошибается, особенно на русском языке и в свободном тексте.
Как согласие и opt-out устроены на практике, разбирали в материале о данных обучения OpenAI: что известно о данных обучения и как проверять такие заявления.
Чужие тексты и код в логах
В диалогах постоянно попадаются вставки: куски кода из закрытых репозиториев, абзацы статей, переводы, фрагменты книг. Модель их пересказывает и переписывает, пользователь копирует в чат. Публикация такого лога может нарушать права автора исходного текста, даже если сам ответ сгенерирован моделью.
Датасет наследует все эти риски. Один слой проблем возникает на этапе сбора, второй на этапе использования: если в обучающем корпусе оказался проприетарный код под несовместимой лицензией, претензии прилетят к тому, кто обучил модель. Подробнее о юридических рисках работы с проприетарными данными и стратегиях их снижения: проприетарные данные как основа LLM.
Практические барьеры: почему это сложнее, чем кажется
Юридическая часть это половина задачи. Вторая половина операционная, и она объясняет, почему подобные сервисы не размножаются сами собой.
- Модерация. Открытая публикация логов притягивает спамеров, троллей и людей, которые выкладывают чужие данные и вредные инструкции. Кто-то должен это просматривать, причём быстро и в объёме.
- Чистка PII. Регулярки ловят телефоны и почту, но пропускают адреса, паспортные данные и медицинские детали в свободной форме. Нужен пайплайн с проверкой, а не один скрипт.
- Дедупликация. Люди задают одни и те же вопросы, и без фильтрации корпус быстро заполняется почти одинаковыми ответами, на которых модель учится повторять шаблон.
- Оценка качества. Без разметки в датасет попадут галлюцинации, отказы и просто плохие ответы. Ручная проверка стоит денег и времени.
- Спам и накрутка. Как только сервис заявляет о сборе данных, появляются желающие залить корпус рекламой или поднять рейтинг своих ответов.
- Хранение и инфраструктура. Терабайты логов, индексы, поиск, бэкапы и быстрый отдача по запросу. Расходы растут вместе с архивом, а монетизировать открытые данные сложно.
- Ответственность за контент. Хостинг пользовательских материалов означает процедуру жалоб и удаления, реакцию на запросы правообладателей и готовность к претензиям.
Каждый пункт решаемый по отдельности. Вместе они превращают «сайт с логами» в продукт с постоянными расходами, юридической службой и модерацией. Для энтузиаста это уже не выходные за ноутбуком, а небольшой бизнес без внятной модели дохода.
Как сегодня получают данные для обучения легально
Если собирать чужие логи рискованно, остаются варианты с понятной правовой базой:
- Открытые датасеты с явной лицензией. Плюс: можно проверить происхождение и условия. Минус: качество неровное, а под узкую задачу готового корпуса может не быть.
- Синтетические данные. Плюс: контролируемый объём и разметка, можно генерировать под конкретный формат. Минус: риск шаблонности и повторов, нужна фильтрация и проверка решателем.
- Собственные логи с согласия пользователей. Плюс: понятная цепочка прав и живая формулировка запросов. Минус: объём набирается медленно, нужен явный опт-ин и возможность отзыва.
- Краудсорсинг с договором. Плюс: исполнитель передаёт права и отвечает за качество. Минус: бюджет и контроль, плюс отдельная проверка на чужие тексты в ответах.
Чек-лист проверки лицензии датасета перед обучением:
- Кто правообладатель и указан ли он вообще.
- Разрешена коммерческая использование или только исследовательская.
- Есть ли требование указывать источник в документации модели.
- Не действует ли запрет на обучение моделей, которые конкурируют с правообладателем.
- Как отзывается согласие и что делать, если пример нужно удалить из корпуса.
- Проверены ли внутри корпуса лицензии на код и фрагменты текстов.
Иногда дообучение вообще не нужно. RAG и аккуратная обвязка закрывают часть задач дешевле, чем сбор датасета: в разборе 1С Напарник против open-source агента показано, где обошлись без файнтюнинга, а где готовый продукт оказался быстрее.
Так был ли юридический барьер причиной: что можно сказать по факту
Честный ответ: в исходном обсуждении нет ни ответа, ни подтверждённых фактов. Вопрос /u/StellarWox остался вопросом. Юридические риски правдоподобны, но называть их установленной причиной нельзя. Для такого вывода нужен хотя бы один твёрдый факт: решение суда, публичное заявление или комментарий человека, который пытался запустить сервис и отказался.
Что можно утверждать по совокупности контекста: воссоздание такого сервиса упирается в несколько барьеров сразу. Соглашения с провайдерами ограничивают переиспользование выводов. Чужие диалоги содержат персональные данные и чужой контент, а значит требуют согласия и чистки. Модерация, дедупликация и разметка съедают ресурсы. И сам по себе архив сырых логов без обработки даёт мало пользы.
Практический вывод для тех, кто думает собрать такой корпус: сначала прочитайте действующие условия провайдера, потом опишите процедуру получения согласия, затем настройте удаление персональных данных. После этого считайте бюджет на модерацию и хранение. Если хотя бы один шаг не сходится, запускать сервис рано.
Тот самый вопрос на Reddit: Why Hasn't Someone Recreate ShareGPT?.