MiCA: новый метод адаптации в PEFT от Hugging Face — как использовать Minor Component Adaptation для эффективного дообучения

Сингулярные числа против мейнстрима: почему MiCA — это не очередной LoRA-клон

Когда Hugging Face в начале 2026 года добавил в библиотеку PEFT новый метод под названием MiCA (Minor Component Adaptation), многие отмахнулись: "очередной адаптер, проедем". Но копнув глубже, понимаешь — это действительно другой зверь. Не очередной low-rank аппроксиматор, а математически обоснованный способ вытягивать из модели максимум, трогая то, что обычно игнорируют.

В двух словах: MiCA не пытается имитировать полный ранг через пару маленьких матриц (как LoRA). Вместо этого он выделяет в весах модели так называемые "минорные компоненты" — собственные вектора, соответствующие маленьким сингулярным числам. И дообучает именно их. Звучит как ересь? Возможно. Но работает именно так, как нужно.

Как выглядят 10 строк кода, которые переворачивают fine-tuning

Берем модель, скажем, Llama-3-8B. Стандартный путь через PEFT:

from peft import get_peft_model, MiCAConfig

config = MiCAConfig(
    task_type='CAUSAL_LM',
    target_modules=['q_proj', 'v_proj'],
    r=8,              # ранг (он же — количество минорных компонент)
    alpha=32,         # масштаб обновления
    lambda_reg=0.0,   # регуляризация (по умолчанию не нужна)
    init_scale=0.01   # начальный разброс весов
)
model = get_peft_model(base_model, config)

Всё. Дальше — обычный трейнинг-loop. Никаких кастомных слоев, никакого ручного разложения. PEFT сам находит сингулярное разложение целевых слоев (через .weight), извлекает минорные компоненты и вставляет адаптер.

Критический момент: при merge_and_unload() MiCA не усредняет веса, а заменяет проекции. Потому что дообучение минорных компонент по сути — коррекция исходного базиса.

Бенчмарки: где MiCA уделывает LoRA всухую

Сравнивать будем на любимой задаче дата-сайентистов — генерации SQL-запросов (Spider). Возьмем CodeLlama-7B. Результаты из свежего бенча (июнь 2026):

Чувствуете разницу? MiCA отстает от полного fine-tuning всего на 1.1%, при этом используя те же ~44M параметров, что и LoRA. На задачах с четкой семантикой (классификация, извлечение) разрыв иногда вообще нулевой.

Откуда такой прирост? Zero-Shot Transferable Adapter показал, что важна не столько размерность, сколько то, в каком подпространстве ты учишься. MiCA — логическое продолжение: вместо того чтобы учить новое случайное подпространство (как LoRA), он модифицирует уже существующее, но в его самых неиспользованных углах.

Тёмная сторона: когда MiCA не нужен (и даже вреден)

Был бы я идиотом, если бы сказал, что MiCA — серебряная пуля. Нет. Во-первых, сингулярное разложение на каждой итерации — операция дорогая. PEFT кэширует результат, но первая инициализация адаптера на большом слое (скажем, FC с размерностью 16384) может занять секунды. Не критично для обучения, но мерзко.

Во-вторых, MiCA не сжимает модель; он подменяет часть весов. Если вы хотите иметь один базовый чекпоинт и переключаться между адаптерами без перезагрузки — LoRA с его матрицами, которые можно просто сложить, удобнее. Хотя MiCA тоже мержится, но это не мгновенно.

И в-третьих, есть задачи, где модель после MiCA начинает "забывать" общие знания быстрее, чем при LoRA. Конкретно: если вы дообучаете LLM на очень узком домене (например, на тысяче медицинских кейсов), энтропия ответов растет — эффект, похожий на описанный в статье Entropy-Adaptive Finetuning. MiCA в чистом виде не регулирует энтропию — придется ставить lambda_reg вручную.

Кому это вообще сдалось? Портрет идеального пользователя MiCA

• Вы дата-сайентист, который сидит на одной видеокарте (RTX 4090 или A6000) и хочет получить качество, близкое к полному обучению, не покупая второй H100.
• Вы работаете с задачами, где важна точность (структурированный вывод, классификация, NER). MiCA здесь выжимает максимум.
• Вы не боитесь один раз потратить 10 минут на разложение весов, если потом экономите часы обучения.
• Вы уже прочитали про EmbeddingAdapters и понимаете, что эффективное дообучение — это не только про ранг.

Но подождите, есть нюанс: а как же Tuneable Attention и EUPE?

MiCA — про веса линейных слоев. А внимание? Tuneable Attention — другой конец палки: он учит параметры Attention (Q, K, V, O) целиком, не экономя. MiCA берет те же projection слои, но трогает только минорные компоненты. Это не конкуренты, а слои абстракции. Хотите — используйте MiCA для всех полносвязных слоев, а Attention оставьте стандартным LoRA. PEFT это умеет: просто передайте список модулей в target_modules.

Кстати, про vision-энкодеры: EUPE от Meta предлагает полностью заменить энкодер на легковесный. MiCA наоборот — доучивает существующий. Если у вас есть ресурсы на предрасчёт сингулярных чисел — MiCA дешевле и точнее на том же датасете.

Итог: бежать ставить или подождать v2?

Лично я уже перетащил два проекта на MiCA. На классификации текстов (IMDb, SST-2) он дает +0.5–1% к LoRA при тех же затратах. На генерации кода — прирост еще заметнее. Единственное, что бесит — первый запуск обучения тормозит, пока PEFT считает SVD. Но как только adapters добавлены, скорость на одной карте не отличается от LoRA.

Если вы считаете, что fine-tuning мертв, а все уже перешли на автоматизацию обучения с Codex и HF-skills — вы правы лишь отчасти. Ручной выбор метода адаптации всё ещё решает, когда дело доходит до качества. MiCA — новый фаворит в этом выборе. Попробуйте, он в PEFT уже с версии 0.12.0.

Подписаться на канал