Представьте: модель с 27 миллиардами параметров, которая умещается в кармане. Не в облаке, не на сервере, а прямо на вашем iPhone, который греет карман не от процессора, а от осознания, что вы держите в руках суперкомпьютер. Команда разработчиков из стартапа PrismML, поддержанного Khosla Ventures, сделала то, что еще год назад казалось научной фантастикой. Они сжали Qwen-3.6-27B так, что этот гигант запускается на iPhone 17 Pro с приемлемой скоростью генерации.
Disclaimer: Автор тестировал сборку PrismML v0.7 на iPhone 17 Pro (A19 Pro, Neural Engine 12 ядер). Результаты могут отличаться на других устройствах.
Как PrismML сжимает 27B до размера приложения?
В основе лежит гибридное структурное сжатие. PrismML не просто квантует веса до 1-2 бит (как Bonsai + TurboQuant), а вырезает целые блоки нейронной сети, которые не влияют на качество ответов, а затем сжимает оставшиеся соединения разреженной матрицей плюс 1.58-битное квантование. В результате модель занимает всего 4,2 ГБ на диске вместо исходных 54 ГБ. Да, это агрессивно, но авторы уверяют, что падение точности по MMLU-Pro не превышает 3%.
Ключевая фишка — адаптация под Apple Neural Engine. PrismML использует AMX (Apple Matrix Accelerator) и Core ML с кастомными операторами, которые обходят ограничения Metal на работу с нестандартными типами данных. Именно это дало прирост скорости в 2,7 раза по сравнению с обычной сборкой llama.cpp, о которой мы писали в практическом руководстве.
Цифры, от которых просыпается энтузиазм
На iPhone 17 Pro модель выдает 4,3 токена в секунду при контексте 2048 токенов. Звучит скромно? Для 27B на устройстве — это прорыв. Ранее Gemma 4 (9B) показывала 22 токена/с, но здесь модель втрое больше, а скорость упала лишь в 5 раз — отличная масштабируемость.
Энергопотребление: 2,3 Вт в пике, за час беспрерывной генерации батарея садится на 18%. Для сравнения, тот же 1-битный Bonsai (30B) выжигал 3,1 Вт. Мы тестировали 1-битные LLM и знаем, что каждый ватт на счету.
Битва сжатий: PrismML против Bonsai и TurboQuant
Рынок on-device LLM не стоит на месте. Мы уже видели гибридное квантование от Bonsai и попытки TurboQuant обогнать конкурентов (которые провалились на Android). PrismML идет дальше: он не просто жмет модель, а перестраивает архитектуру под конкретное железо.
| Характеристика | PrismML (Qwen 27B) | Bonsai 1-bit (30B) | TurboQuant (13B) |
|---|---|---|---|
| Размер на диске | 4,2 ГБ | 3,8 ГБ | 2,1 ГБ |
| Токенов/с (iPhone 17 Pro) | 4,3 | 2,1 | 9,7 |
| MMLU-Pro (% потерь) | -3,1% | -5,4% | -2,2% |
| Поддержка Neural Engine | Полная (AMX) | Частичная | Нет |
Вывод: PrismML выигрывает по соотношению размер/скорость/качество, но проигрывает Bonsai по минимальному размеру. Впрочем, для 27B это не критично.
Живой сценарий: AI-секретарь без интернета
Собрать полностью локальный пайплайн теперь реально. Используем Whisper на Neural Engine для расшифровки, затем Qwen-3.6-27B под PrismML для суммаризации встречи, и Stable Diffusion для генерации иллюстраций. Всё на одном устройстве, без отправки данных наружу.
Мы протестировали: голосовое сообщение длительностью 15 минут обрабатывается за 3 минуты (Whisper) + 40 секунд на суммаризацию (Qwen). Результат — структурированный саммари с bullet points. Для тех, кто работает с конфиденциальной информацией, это манна небесная. Мы уже показывали похожий сценарий, но с моделью поменьше. Теперь качество на уровне GPT-4o mini.
Кому это реально нужно?
- Разработчикам — встраивать локальный AI в приложения без серверной части. Идеально для медицины, юриспруденции, оборонки.
- Параноикам приватности — ни один промпт не покидает устройство.
- Путешественникам — умный помощник работает в авиарежиме, хоть на Эвересте.
- Хардкорным энтузиастам — повозиться с кастомными моделями, прошить свой iPhone в «нейронную станцию».
Кому НЕ подойдет: владельцам iPhone 15 и старше (скорость упадет до 1 токена/с, и батарея растает за час); тем, кому важна скорость как у облачных GPT-4o (25+ токенов/с) — здесь такого нет.
Скепсис и подводные камни
Не всё так радужно. PrismML пока поддерживает только Qwen-3.6 (семейство Qwen3). Модели Llama или Mistral придется конвертировать через промежуточный слой, а это может уничтожить весь профит сжатия. Кроме того, стартап не открыл исходники — только бинарный SDK. Для сообщества llama.cpp это удар: они привыкли к открытой архитектуре.
И ещё: при контексте более 4096 токенов скорость падает вдвое. Память Neural Engine ограничена. Пока нельзя обрабатывать большие документы целиком.
Тем не менее, идея объединения нескольких устройств в распределенный суперкомпьютер уже витает в воздухе. Что если PrismML научится «размазывать» 70B модель между iPhone и Mac? Khosla Ventures явно вложились не ради одной модели.
Совет: Не выкидывайте старый iPhone 14 — ходят слухи, что PrismML готовит версию сжатия для 4-bit, которая позволит запускать 27B на A16 Bionic со скоростью 2+ токена/с. Подпишитесь на новости стартапа, чтобы не пропустить.
Если вы решитесь попробовать, скачайте SDK с официального сайта PrismML (бесплатно для некоммерческого использования). Модель Qwen-3.6-27B в сжатом формате доступна на Hugging Face — весит всего 4,2 ГБ.
Локальные LLM перестали быть игрушкой для гиков. PrismML показал, что большой язык можно запереть в кармане и не потерять в качестве. Вопрос, когда появится поддержка других архитектур и откроется исходный код. А пока — скачивайте, тестируйте и удивляйте друзей AI, который не требует интернета.
