Если вы следили за релизами квантованных моделей на Hugging Face, то наверняка заметили странную закономерность. bartowski, один из самых активных конвертеров, выложил DeepSeek-V4-Flash с пометкой MXFP4. Вроде бы логично: мощная MoE-модель, новый формат, все плюшки. Но когда начинаешь копать глубже, выясняется, что тензоры внутри — вовсе не MXFP4, а нечто среднее между FP4 и блоковыми квантизациями. И вот тут начинается драма.
MXFP4 в DeepSeek-V4-Flash: путаница форматов и что это значит для пользователей
Разбираем несоответствие заявленного формата MXFP4 на странице bartowski и реального состояния тензоров в DeepSeek-V4-Flash. Без паники, но с пониманием.
Коротко
Что будет в материале
- 01
Если вы следили за релизами квантованных моделей на Hugging Face, то наверняка заметили странную закономерность. bartowski, один из самых активных конвертеров,...