YuE2 Studio - десктопная студия для открытой модели генерации песен YuE2 от команды M-A-P (Multimodal Art Projection). Всё считается на вашей видеокарте, без облака, подписок и очередей и без установки Python. Вы задаёте стиль и текст, а получаете полноценную песню с вокалом и аккомпанементом в 48 кГц стерео. Модель сначала пишет партитуру нотами в формате ABC, а уже потом строит по ней звук. У закрытых сервисов вроде Suno партитуры нет: песня выходит такой, какой вышла, и одну ноту в ней не поправить. Разбор автора проекта на Habr описывает и партитуру, и переход с Python на нативные технологии.
Дальше по порядку: архитектура модели, работа с партитурой, требования к железу, каверы, лицензия и подводные камни.
Что такое YuE2 Studio и зачем она нужна
YuE2 - вторая версия открытой модели генерации песен YuE от команды M-A-P. Студия ставит модель на ваш компьютер и даёт интерфейс в стиле Suno: вводите стиль и текст, получаете трек. Приложение нативное и без Python: автор проекта перешёл с Python и Gradio на Rust, Tauri и C++.
Для тех, кто уже следил за линейкой, у нас есть отдельный разбор ранней YuE2-3B: что известно о YuE2-3B и чем она интересна.
Ключевые возможности: партитура, каверы, стемы, караоке
Ядро рабочего процесса - редактируемая партитура. В студии она сразу рисуется нотным станом, а под ней лежит тот же текст. Ноты и слова можно править руками и перепеть: поменять мелодию, аккорды, темп или тональность.
Каверы строятся на SheetSage2: он слушает запись и снимает мелодию в партитуру, которую YuE2 поёт в новом стиле.
Три функции из описания проекта в доступном исходном материале не раскрыты: перерендер, разбор на стемы и караоке. Деталей по ним нет, поэтому относитесь к ним как к заявленным, но не подтверждённым возможностям и проверяйте на практике.
Чем отличается от Suno и других закрытых сервисов
Первое отличие - контроль. У Suno ноты не поправить, у YuE2 Studio партитура открыта. Второе - правила сервиса: по данным автора проекта, к сентябрю Suno закрыл скачивание треков, и генерировать музыку там стало бессмысленно для тех, кто хотел забирать файлы себе.
| Критерий | YuE2 Studio | Suno |
|---|---|---|
| Ноты и аккорды | Партитура ABC открыта для правок | Партитуры нет, ноту не поправить |
| Где считает | Локально на вашей видеокарте | Облако сервиса |
| Python | Не нужен | Не применимо |
| Скачивание треков | Файлы остаются у вас | По данным автора разбора, к сентябрю закрыто |
Цена локальности - ваше железо и ваше время на настройку. Закрытые сервисы дают готовый звук из коробки и не требуют видеокарты, зато зависят от подписок и меняющихся правил. Что происходит с лицензиями и данными у закрытых игроков, мы разбирали в материале про Suno v6 и лицензированные данные.
Как YuE2 генерирует песни: символьное планирование и архитектура
Под капотом один трансформер примерно на 3,6 млрд параметров, собранный из двух «экспертов» с общим вниманием (Mixture-of-Transformers). AR-эксперт, причинный и работающий токен за токеном, читает стиль и текст, пишет партитуру, а по ней - семантические токены музыки, 25 штук в секунду. NAR-эксперт, двунаправленный, методом flow matching превращает эти токены в акустические латенты, а VAE-декодер собирает из латентов готовое стерео 48 кГц. Все эти детали приведены в разборе YuE2 Studio на Habr.
Партитура ABC: как её читать и редактировать
ABC - текстовый формат нотной записи, где композиция описывается символами. В партитуре, которую модель написала для трека «Дача, лето, комары», две партии: вокал и инструментальная тема, а аккорды стоят в кавычках прямо перед нотами.
Во фрагменте указаны параметры M:2/4, L:1/32, Q:1/4=102, K:Dm и секции % intro, % verse, % chorus. Расшифровка такая: размер такта, длительность базовой ноты, темп (четверть равна 102 ударам в минуту) и тональность (ре минор). Секции размечают структуру: вступление, куплет, припев.
В студии этот текст скрыт за нотным станом, но править можно и ноты, и слова. Меняете мелодию, аккорды, темп или тональность и перепеваете ту же композицию. Пример партитуры и детали формата приведены в разборе на Habr.
Роль SheetSage2 в создании каверов
Для каверов в ту же схему встраивается SheetSage2: он слушает запись и снимает с неё мелодию в такую же партитуру, которую YuE2 потом поёт в новом стиле.
Практический вывод: для кавера нужен исходный трек, а партитуру перед генерацией можно отредактировать, если хочется отойти от оригинала. Насколько устойчиво SheetSage2 работает на плотном миксе, доступный материал не сообщает.
Требования к оборудованию: сколько VRAM нужно и почему
Здесь важно разделить подтверждённое и заявленное. Подтверждено, что проект нативный и не требует Python: переход был с Python и Gradio на Rust, Tauri и C++. Заявлено, что требования удалось снизить до 6 ГБ видеопамяти вместо 24 ГБ за счёт квантованных весов GGUF и нативного движка yue2.cpp. Точных цифр и подтверждения именно этих значений в доступном исходном материале нет, поэтому сверяйтесь с документацией проекта перед выбором железа.
Минимальные и рекомендуемые конфигурации
Точных минимумов исходный материал не даёт, поэтому логика такая: веса модели должны помещаться в видеопамять вместе с буферами для латентов и аудио. Модель на 3,6 млрд параметров в квантованном виде занимает несколько гигабайт, так что запас памяти и GPU-вычисления - базовые условия. Конкретные модели видеокарт, объём оперативной памяти и список поддерживаемых ОС стоит уточнять в требованиях проекта.
Разница между минимальной и комфортной конфигурацией проявляется на длинных треках и высоких настройках: чем больше длина и чем меньше запас памяти, тем выше шанс упереться в лимит. На слабой видеокарте генерация занимает заметно больше времени.
Как квантование GGUF снижает требования
GGUF - формат хранения квантованных весов, где числа модели записаны в 4-8 битах вместо 16. Файл весов и занимаемая видеопамять сокращаются в разы, поэтому модель влезает на потребительские карты. Плата - возможная потеря точности: чем грубее квантование, тем выше шанс, что результат в звуке где-то просядет.
Для генерации музыки это компромисс между требованиями и качеством. Конкретные уровни квантования YuE2 и их влияние на звук в доступном материале не описаны.
Установка и запуск YuE2 Studio без Python
YuE2 Studio распространяется как готовое десктопное приложение. Python ставить не нужно: оболочка построена на Rust и Tauri, а вычислительное ядро написано на C++. Это отличает проект от типичных Gradio-скриптов, где под музыкальную модель приходится поднимать целый Python-стек.
Шаг 1: Скачивание и установка
Сборки для Windows и Linux стоит искать в официальном репозитории проекта. Прямые ссылки и имена файлов здесь не приводим: в доступном исходном материале их нет, а качать сборки нужно только из официального источника. Антивирус и SmartScreen могут ругаться на неподписанные сборки небольших открытых проектов, поэтому проверяйте адрес загрузки и сверяйте хеши, если они опубликованы.
Шаг 2: Первоначальная настройка и загрузка модели
Веса модели нужно получить отдельно: в квантованном виде это файлы GGUF. Точный размер, адрес загрузки и то, качает ли студия веса сама или требует указать путь вручную, в доступном материале не раскрыты. До первого запуска имеет смысл освободить место на диске и подготовить две папки: под модель и под выходные файлы.
Шаг 3: Запуск и проверка работоспособности
Самый быстрый тест - короткий текст и простой стиль, например «поп, женский вокал». Так вы проверите, что генерация запускается, что GPU задействован и что памяти хватает. Если трек не создаётся, смотрите на драйверы GPU, свободную видеопамять и путь к весам модели.
Практическое использование: режимы, партитура, каверы, стемы
Генерация песни с нуля: стиль и текст
Базовый сценарий: задаёте стиль и текст, модель пишет партитуру и песню с вокалом и аккомпанементом в 48 кГц стерео. Стиль описывает жанр, настроение и состав инструментов, текст - то, что поёт вокал.
Текст лучше разбивать на куплеты и припевы. Структуру модель понимает: в партитуре для трека «Дача, лето, комары» она сама пометила секции % intro, % verse и % chorus. Пример подачи: стиль «рок, энергичный, гитары», текст с пометками «Куплет: ...» и «Припев: ...».
Редактирование партитуры и перерендер
После генерации партитура открыта: в студии она рисуется нотным станом, а под ней лежит текст. Мелодию, аккорды, темп и тональность можно менять, слова править руками и перепевать ту же композицию. Здесь и проявляется главное преимущество перед Suno, где ноты не поправить.
Режим перерендера как отдельную функцию исходный материал не описывает, но сама логика из него следует: правки в партитуре - новая генерация звука.
Создание кавера с SheetSage2
Кавер строится в три шага: загружаете исходную запись, SheetSage2 снимает с неё мелодию в партитуру, вы выбираете новый стиль, и YuE2 поёт эту мелодию заново. Перед генерацией партитуру можно отредактировать.
Ограничение очевидное: качество снятия зависит от записи. Чем плотнее микс и чем больше в нём инструментов, тем сложнее выделить вокальную линию.
Разбор на стемы и караоке
Разбор на стемы (вокал, инструменты, барабаны) и режим караоке с удалением вокала упоминаются в описании проекта, но в доступном исходном материале не раскрыты. Формат вывода, качество разделения и ограничения по длине трека неизвестны. Если стемы нужны для ремиксов или минусовок, проверяйте это на практике, а не по обещаниям.
Лицензия CC BY-NC 4.0: что можно и нельзя делать с песнями
Сразу оговорка: сведений о лицензии YuE2 и созданных песен в доступном исходном материале нет. В описании проекта указана CC BY-NC 4.0. Ниже - что этот тип лицензии означает в общем случае; точные условия сверяйте на официальной странице модели.
Разрешённое использование
CC BY-NC 4.0 допускает некоммерческое использование при указании авторства. На практике это личные проекты, обучение, творчество, публикация в соцсетях без монетизации и распространение с сохранением лицензии. Указание авторства и самой лицензии - обязательная часть.
Запрещённое использование и риски
Приставка NC (NonCommercial) запрещает коммерческое использование без отдельного разрешения. Сюда попадают продажа треков, монетизация на стримингах и YouTube, музыка в рекламе и платных продуктах. Для коммерческой лицензии вопрос решается с правообладателем модели, командой M-A-P.
Ещё нюанс: лицензия обычно покрывает и модель, и производный контент, но формулировки у разных проектов отличаются. Для коммерческого проекта не полагайтесь на пересказ, читайте текст лицензии целиком.
Ограничения и подводные камни YuE2 Studio
Качество генерации и сравнение с Suno
Объективно оценить вокал по доступному материалу нельзя: исходная статья обрывается на разделе о качестве. Расклад такой: YuE2 Studio даёт контроль и редактируемость, которыми закрытые сервисы не обладают, а готовый «попсовый» глянец остаётся сильной стороной сервисов вроде Suno. Как это выглядит на промптах и в цифрах, мы разбирали в материале про Suno Composer v3.
Для демо, черновиков, экспериментов со стилями и некоммерческих проектов возможностей хватает. Для коммерческого хита, где важна продакшн-огранка, модель на 3,6 млрд параметров в квантованном виде - ставка с риском.
Технические сложности и требования
Что может пойти не так на практике: несовместимые драйверы GPU, нехватка видеопамяти на длинном треке, долгая генерация на слабой карте, ошибки при получении весов. Часть лечится обновлением драйверов и более агрессивным квантованием, часть - сокращением длины трека.
Отдельный минус локального подхода: совместная работа требует передавать файлы, а не ссылку. Плюс - приватность и отсутствие подписок.
Итог: кому стоит попробовать YuE2 Studio
YuE2 Studio подойдёт тем, кому нужна локальная генерация песен с контролем: править ноты, аккорды, темп и тональность, перепевать трек, а не мириться с тем, что выдал сервис. Работает офлайн, без Python, без подписок и очередей.
Не подойдёт тем, кто хочет мгновенный результат коммерческого качества. Понадобится совместимая видеокарта, готовность настраивать и терпимость к тому, что часть функций проекта в публичных материалах пока не раскрыта.
Решать просто: если есть видеокарта с запасом памяти и интерес к музыкальным экспериментам, начните с короткого тестового трека. Если нужен студийный лоск и коммерческая лицензия из коробки, смотрите на закрытые сервисы, но проверяйте их правила. Для сравнения пригодятся разборы других музыкальных генераторов, например Lyria 3.5 в Google Flow Music.
Источники
- YuE2 Studio: бесплатная замена Suno на своей видеокарте, и почему я перешел с Python и Gradio на Rust, Tauri и C++ — разбор автора проекта на Habr, основной источник фактов о модели, партитуре ABC, архитектуре и переходе на нативные технологии.