Liquid AI выпустила LFM3, новое поколение Liquid Foundation Models. В семействе шесть моделей класса 2B: текстовая LFM3-1.7B, зрительная LFM3-VL-2B с поддержкой изображений и видео, аудиомодель LFM3-Audio-2B, первая omni-модель компании LFM3-Omni-2B и две решающие модели d1-2B и d1-omni-2B. Все шесть обучены от общего бэкбона LFM3-1.7B-Base, а не собраны из независимых разработок. Об этом говорится в анонсе Liquid AI.
Практический интерес вызывает размер. Текстовая LFM3-1.7B в 4-битном квантовании занимает около 1 ГБ и поддерживает контекст до 256K токенов. Каждая модель семейства дообучается на одном GPU, поэтому её можно адаптировать под свои данные, терминологию и среду развёртывания. Liquid AI заявляет, что LFM3-1.7B превосходит LFM2.5-2.6B при на 35% меньшем числе параметров. Публичных бенчмарков и методики в анонсе нет, так что это заявление компании, а не независимый результат.
LFM3 продолжает линию LFM2. Предыдущее поколение показало, что гибрид коротких свёрток и внимания работает быстро на устройстве без заметной потери качества. LFM3 добавляет к этой идее новую архитектуру, больше модальностей и общий бэкбон для всех вариантов.
Что такое Liquid AI LFM3 и почему это не очередная «ещё одна модель»
Liquid AI описывает LFM3 как отправную точку для специализированного интеллекта. Смысл в том, чтобы одна база на 1.7B параметров служила фундаментом для текста, зрения, аудио, omni и решающих моделей. Разработчику не нужно переучиваться под каждый тип входа: набор моделей унифицирован по классу и подходу к дообучению.
Класс 2B выбран не случайно: такие модели помещаются на потребительские GPU, встраиваемые системы и ноутбуки. В 4-битном виде текстовая модель занимает около 1 ГБ, что делает локальный запуск реалистичным даже без дискретной видеокарты. Ограничение тоже очевидно: 2B не заменяет 7B+ на сложных рассуждениях.
Шесть моделей семейства: кто есть кто
Все шесть моделей относятся к классу 2B и обучены от LFM3-1.7B-Base. Различаются они модальностью и назначением.
| Модель | Модальность или роль | Типовой сценарий | Что важно |
|---|---|---|---|
| LFM3-1.7B | Текст | Агенты, RAG, длинные документы, код | Около 1 ГБ в 4-битном виде, контекст 256K |
| LFM3-VL-2B | Изображения и видео | Описание изображений, видео-капшенинг, визуальные вопросы | Поддержка видео, новые зрительные энкодеры |
| LFM3-Audio-2B | Аудио | Обработка аудиозаписей, речевые сценарии | Новые аудиоэнкодеры |
| LFM3-Omni-2B | Несколько модальностей | Мультимодальный ассистент, анализ смешанного входа | Первая omni-модель Liquid AI |
| d1-2B | Решения | Маршрутизация, выбор инструмента, классификация | Решающая модель, не свободная генерация |
| d1-omni-2B | Решения с мультимодальным входом | Выбор действия по тексту и другим модальностям | Решающая omni-модель |
Две новые для линейки возможности: видео на входе у LFM3-VL-2B и omni-модель LFM3-Omni-2B. В предыдущих поколениях LFM такого набора не было. Точные размеры нетекстовых вариантов и требования к памяти в анонсе не указаны, поэтому ориентируйтесь на класс 2B и карточки моделей на Hugging Face.
Чем LFM3 отличается от LFM2 и LFM2.5
Сравнивать стоит по трём осям.
- Архитектура. LFM2 строилась вокруг гибрида коротких свёрток и внимания. LFM3 называет архитектуру три-гибридной. Полный состав блоков Liquid AI в открытом анонсе не раскрывает, поэтому ограничимся тем, что компания заявляет новый рецепт обучения и лучшую отдачу на параметр.
- Эффективность параметров. LFM3-1.7B против LFM2.5-2.6B: на 35% меньше параметров и заявленное превосходство. Без опубликованных бенчмарков это ориентир для проверки, а не гарантия.
- Модальности. В LFM3 появились omni и видео. LFM2 и LFM2.5 в материалах анонса не описываются как omni-семейство.
Если у вас уже работает LFM2.5 и хватает текста, обновление имеет смысл ради меньшего размера и контекста 256K, но сначала прогоните свои задачи. Если нужен видео-вход или omni, выбор LFM3 проще: альтернатив внутри линейки нет.
Три-гибридная архитектура LFM3: свёртки, скользящее и глобальное внимание
Liquid AI называет архитектуру LFM3 три-гибридной. В описании релиза фигурируют три механизма: свёртки, скользящее внимание и глобальное внимание. Полную конфигурацию слоёв, размеры окон и число глобальных слоёв компания в открытом анонсе LFM3 не раскрывает. Поэтому ниже общая логика гибридных архитектур, а не точная схема LFM3.
Свёртки дешёвы по вычислениям и хорошо ловят локальные паттерны: синтаксис, повторяющиеся конструкции, короткие зависимости. Скользящее внимание покрывает средний радиус и стоит меньше полного внимания, потому что каждый токен смотрит не на весь контекст, а на окно. Глобальное внимание добавляет редкие связи между удалёнными частями документа. Комбинация позволяет большей части слоёв работать дешево, а дорогие операции применять точечно.
Именно поэтому LFM3 обещает быстрый инференс на длинных контекстах и контекст 256K на устройстве. Важная деталь: архитектуру искали hardware-in-the-loop методом, который охватывает 14 комбинаций устройств и бэкендов. Это значит, что схему подгоняли под реальное железо, а не под абстрактный бенчмарк.
Практический вывод для слабой GPU: гибридная схема снижает нагрузку на KV-кэш и вычисления по сравнению с полным вниманием на каждом слое. Но 256K токенов всё равно требуют памяти. Если вы видите красивую цифру контекста, проверяйте поддержку контекста и реальную скорость на своей карте.
Как выбрать модель LFM3 под свою задачу
Начните с типа входа. Чистый текст и агенты: LFM3-1.7B. Изображения или видео: LFM3-VL-2B. Аудио: LFM3-Audio-2B. Смешанный мультимодальный вход: LFM3-Omni-2B. Задачи выбора действия: d1-2B или d1-omni-2B. Если нужна свободная генерация текста, решающие модели не подходят.
LFM3-1.7B: текст, агенты и длинный контекст
Это основная рабочая лошадка семейства. Модель занимает около 1 ГБ в 4-битном квантовании, поддерживает 256K токенов и заявлена как более эффективная альтернатива LFM2.5-2.6B. Для локального агента это удобный компромисс: веса маленькие, историю диалога и описания инструментов можно держать в контексте, а не в отдельной базе.
256K полезны в длинных документах, кодовых базах и RAG с большим числом чанков. Ограничение: скорость на таких длинах зависит от GPU, бэкенда и квантования KV-кэша. Поддержка контекста не означает, что модель одинаково хорошо использует информацию в начале и в конце 200K токенов. Проверяйте на своих данных.
LFM3-VL-2B, LFM3-Audio-2B и LFM3-Omni-2B: мультимодальность на 2B
LFM3-VL-2B принимает изображения и видео. LFM3-Audio-2B работает с аудио. LFM3-Omni-2B объединяет модальности в одной omni-модели. Liquid AI отдельно отмечает новые собственные зрительные и аудиоэнкодеры, которые ускоряют обработку.
На 2B стоит ждать не глубины крупных специализированных моделей, а скорости и локальности. Описание изображения, видео-капшенинг, сортировка аудиозаписей, простые визуальные вопросы: вот реалистичный круг задач. Сложные видео с десятками объектов, точная медицинская диагностика по снимку или юридически значимая расшифровка речи требуют более крупных моделей и отдельной проверки.
Точные размеры VL, Audio и Omni в анонсе не указаны. Для оценки VRAM смотрите карточки на Hugging Face: у мультимодальных моделей добавляются энкодеры и предобработка.
d1-2B и d1-omni-2B: зачем нужны решающие модели
Решающая модель выбирает действие или ответ из заданного набора, а не пишет свободный текст. В агентном цикле это может быть выбор инструмента, маршрутизация запроса, классификация или проверка условия. d1-2B работает с текстовым входом, d1-omni-2B рассчитан на решения с учётом нескольких модальностей.
Liquid AI уже выпускала decision-модели d1-3B и d1-omni-600M. В разборе тех моделей подробно описано, как они возвращают типизированный ответ за один forward pass без генерации токенов. Для новых d1-2B и d1-omni-2B в анонсе LFM3 подтверждён только статус решающих моделей класса 2B. Формат входа, задержки и качество нужно проверять по карточкам.
Практический сценарий: у вас есть агент, который должен выбрать один из десяти инструментов. Генеративная модель тратит токены на рассуждение и ответ, решающая возвращает метку. Если ошибается, разбирать проще: есть фиксированный набор вариантов и метрика точности.
Запуск LFM3 локально: память, квантование и transformers
Веса семейства открыты и опубликованы на Hugging Face. В описании релиза заявлен запуск через transformers, но в открытом анонсе нет конкретных примеров кода и ноутбуков. Поэтому ниже общий каркас для моделей на transformers; точные имена классов, параметры и обязательные флаги смотрите в карточке конкретной LFM3.
Текстовая модель в 4-битном квантовании занимает около 1 ГБ. Это только веса. К ним добавляются KV-кэш, буферы и накладные расходы бэкенда. На коротких запросах запас в 8 ГБ выглядит комфортным. На длинном контексте память растёт быстро.
Сколько VRAM нужно на самом деле
Формула простая: память = веса + KV-кэш + служебные буферы. KV-кэш растёт с длиной контекста, числом слоёв и размерностью голов. Поддержка 256K не означает, что этот режим бесплатен. На максимальной длине KV-кэш может превысить вес модели в несколько раз.
Ориентиры для текстовой LFM3-1.7B в 4-битном виде:
| Сценарий | Ориентир по памяти | Что учесть |
|---|---|---|
| Короткие запросы, агентный цикл | 4-8 ГБ | Веса около 1 ГБ, остальное запас и KV-кэш |
| Контекст десятки тысяч токенов | 8-16 ГБ | Память под KV-кэш растёт, нужен запас |
| Контекст близко к 256K | 16 ГБ и выше | Проверяйте квантование KV-кэша и скорость |
| VL, Audio и Omni | Больше текстовой | Добавляются энкодеры и предобработка |
Это ориентиры, а не гарантия: точные требования зависят от конфигурации модели, длины ответа и бэкенда. Для VL, Audio и Omni в анонсе нет цифр по памяти, поэтому проверяйте карточки.
Общий каркас запуска на transformers выглядит так. Замените REPO_ID на идентификатор из карточки модели. Для мультимодальных вариантов API будет другим.
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
repo_id = 'REPO_ID'
tokenizer = AutoTokenizer.from_pretrained(repo_id)
bnb = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(
repo_id,
quantization_config=bnb,
device_map='auto',
trust_remote_code=True,
)
prompt = 'Кратко объясни, что такое LFM3.'
inputs = tokenizer(prompt, return_tensors='pt').to(model.device)
out = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(out[0], skip_special_tokens=True))Флаг trust_remote_code включает код из репозитория. Не ставьте его без проверки карточки и файлов модели. Если модель поддерживает штатный класс transformers, флаг может не понадобиться.
Что даёт контекст 256K токенов на устройстве
Длинный контекст открывает три практических сценария. Агент держит в промпте историю, описания инструментов и результаты вызовов. Разработчик загружает большой документ или несколько файлов кода. RAG-пайплайн подаёт больше чанков без частой переиндексации.
Ограничения тоже реальны. Дальние участки контекста модель использует хуже, чем ближние, а память под KV-кэш растёт линейно с длиной. Для задач, где нужна точность по всему документу, лучше сочетать длинный контекст с поиском и проверкой цитат. 256K не отменяет RAG, а меняет баланс между retrieval и генерацией.
Дообучение на одном GPU: SFT, DPO, GRPO и CPT
Liquid AI заявляет, что каждая модель семейства дообучается на одном GPU. Это ключевое практическое обещание: адаптация под свои данные, терминологию и среду развёртывания не требует кластера. В описании релиза упомянуты ноутбуки для SFT, DPO, GRPO и CPT, но их содержимое в открытом анонсе не раскрыто. Ниже методика, а не пересказ конкретных файлов.
SFT и CPT: адаптация под свои данные и терминологию
SFT, или дообучение с учителем, работает на парах «запрос-ответ». Он нужен, когда модель должна освоить формат, стиль, доменную логику или следовать внутреннему регламенту. Для 2B-модели хватит небольшого, но чистого набора примеров. Важнее качество и единообразие, чем объём.
CPT, continued pre-training, продолжает обучение на сыром корпусе: документации, коде, переписке, отраслевых текстах. Метод помогает впитать терминологию и язык домена. На 2B он рискован: легко переобучиться, потерять общие навыки и получить модель, которая знает словарь, но хуже следует инструкциям. Нужны небольшой learning rate, отложенная валидация и сравнение с базовой версией.
Для обоих методов на одной GPU обычно используют LoRA или QLoRA: обучаются небольшие адаптеры, а основные веса остаются в памяти в сжатом виде. Это не официальное требование LFM3, а практический способ уложиться в VRAM.
DPO и GRPO: выравнивание и обучение с подкреплением на малой модели
DPO работает на парах предпочтений: хороший ответ и плохой. Модель учится выбирать лучший вариант без отдельной reward-модели. Для одной GPU это реалистичный следующий шаг после SFT. Качество пар важнее их количества: шумные предпочтения быстро портят поведение.
GRPO сравнивает группы ответов и ближе к обучению с подкреплением. На 2B-модели метод чувствителен к качеству награды и может сходиться нестабильно. Если у вас нет чёткой метрики успеха и способа проверять ответы, GRPO скорее добавит хаоса, чем пользы.
Практическая последовательность: SFT для формата и домена, затем DPO для выбора лучшего стиля ответа, затем GRPO только при наличии измеримой награды. CPT ставьте отдельно, когда нужен новый язык домена, и не смешивайте с быстрым экспериментом.
Новые энкодеры и LiquidCodec: что известно и что пока нет
Подтверждённый факт: Liquid AI использует новые собственные зрительные и аудиоэнкодеры, которые ускоряют обработку. Свои энкодеры дают контроль над пайплайном: можно подогнать предобработку под модель и железо, не тащить сторонний компонент и не зависеть от его обновлений.
Про LiquidCodec в доступном анонсе нет информации. Неизвестно, что это за компонент, используется ли он в LFM3 и чем отличается от прежних решений. Поэтому не стоит строить пайплайн вокруг LiquidCodec, пока нет документации или карточки. Если увидите такие заявления в других источниках, проверяйте первоисточник и дату публикации.
Что можно сказать точно: новые энкодеры заявлены как более быстрые. Насколько быстрее и на каких данных, в анонсе не раскрыто. Для практики это означает, что мультимодальные модели стоит проверять на своём железе, а не переносить выводы из текста релиза.
Ограничения LFM3 и честная оценка заявлений
Сначала отделим подтверждённое от неподтверждённого. В исходном анонсе есть шесть моделей, общий бэкбон, 4-битный размер около 1 ГБ, контекст 256K, дообучение на одном GPU и 14 комбинаций устройств и бэкендов в архитектурном поиске. Заявление о превосходстве LFM3-1.7B над LFM2.5-2.6B приведено без конкретных бенчмарков и методики.
- Нет публичных цифр, по которым можно независимо проверить превосходство над LFM2.5-2.6B.
- Не указаны лицензии, точные размеры и требования к памяти для VL, Audio и Omni.
- Информация об архитектуре ограничена названием «три-гибридная» и упоминанием аппаратно-ориентированного поиска.
- Детали LiquidCodec и отличий новых энкодеров от прежних решений не раскрыты.
- Для класса 2B остаются типичные ограничения: сложные рассуждения, длинные цепочки, математика и код уступают крупным моделям.
- Мультимодальность на 2B проигрывает специализированным крупным моделям на сложных видео, аудио и изображениях.
- Контекст 256K стоит памяти и не гарантирует одинакового качества на всей длине.
Практический вывод: LFM3 интересна как эффективный локальный инструмент и база для дообучения. Заменой крупным моделям она не становится. Если вам нужно максимальное качество рассуждений, смотрите в сторону 7B+ или гибридных схем с облаком. Если важны размер, приватность и работа на своём железе, LFM3 стоит теста.
Для сравнения с другими малыми моделями полезен разбор MoE-моделей с 2B активных параметров: он показывает, как класс 2B ведёт себя на GPU с 4-12 ГБ и где проходят границы.
Кому стоит попробовать LFM3 и с чего начать
LFM3 подходит, если вы запускаете агентов на устройстве, делаете локальный RAG, обрабатываете изображения или аудио на слабой GPU, дообучаете модель под узкую задачу на одной карте. Она интересна и тем, кто следит за малыми моделями и хочет проверить гибридную архитектуру на практике.
Не стоит начинать с LFM3, если задача требует сложных многошаговых рассуждений, высокой точности на юридических или медицинских текстах, генерации длинного кода уровня крупных моделей. В таких сценариях 2B-модель быстро упрётся в потолок качества.
Первый шаг: откройте карточку LFM3-1.7B на Hugging Face, проверьте лицензию, размер файлов и поддерживаемые бэкенды. Затем запустите 4-битную версию и прогоните 10-20 своих типовых запросов. Замерьте скорость, потребление VRAM и качество ответов. Если результат устраивает, переходите к длинному контексту или мультимодальной версии. Если нет, обучите SFT-адаптер на своих примерах или сравните модель с альтернативами класса 2B.
Для выбора между малыми моделями полезно посмотреть сравнение компактных LLM 2026: Spark-X2.5-4B, Ling-3.0-tiny и Nanbeige2.2-3B. Оно помогает понять, как класс 2B-4B ведёт себя на разных задачах и какие компромиссы вы получаете.
Начните с текстовой LFM3-1.7B: она дешевле по памяти и быстрее покажет, подходит ли вам класс 2B. Мультимодальные и решающие модели добавляйте только под конкретную задачу, а не ради коллекции.