GGUF-версия модели Raon-1-mini-preview от KRAFTON опубликована на Hugging Face, в репозитории KRAFTON/Raon-1-mini-preview-gguf. Это единственное, что можно утверждать по итогам обсуждения в r/LocalLLaMA: пост пользователя /u/Borkato состоит из ссылки на репозиторий и одной фразы о том, что Raon в сотни раз лучше Flint.
Формулировка «hundreds of times better» звучит громко, а за ней нет ни цифр, ни методики, ни условий запуска. Размер модели, требования к VRAM, лицензия и результаты бенчмарков в исходном сообщении не указаны. Поэтому дальше две опоры: подтверждённая публикация GGUF-файлов и механика формата GGUF, которая объясняет, зачем такая сборка нужна пользователю локальных LLM.
Короткий ответ на главный вопрос: Raon-1-mini-preview существует в виде GGUF-сборки от KRAFTON, её можно скачать и попробовать локально, а превосходство над Flint остаётся чьим-то впечатлением, пока не появятся воспроизводимые замеры.
Что на самом деле известно о Raon-1-mini-preview
Новость целиком укладывается в одну строку: организация KRAFTON выложила GGUF-версию модели Raon-1-mini-preview на Hugging Face. Обсуждение появилось на Reddit в виде поста-ссылки с комментариями, то есть автор просто поделился адресом репозитория и приложил оценку.
Что подтверждено, а что нет
| Утверждение | Статус | Детали |
|---|---|---|
| GGUF-версия Raon-1-mini-preview выложена на Hugging Face | Подтверждено | Ссылка на репозиторий KRAFTON/Raon-1-mini-preview-gguf приведена в посте |
| Публикатор - KRAFTON | Подтверждено | Название организации в пути репозитория |
| Raon «в сотни раз лучше» Flint | Не подтверждено | Оценочная фраза автора поста без замеров и методики |
| Размер модели, требования к VRAM, лицензия | Неизвестно | В исходных материалах этих данных нет |
| Результаты бенчмарков | Неизвестно | Ни цифр, ни задач, ни конфигурации железа |
Отдельная проблема: не операционализировано слово «лучше». Непонятно, о чём речь. Код, рассуждения, следование инструкциям, работа с длинным контекстом, скорость генерации? Каждая из этих характеристик измеряется по-своему, и модель может выигрывать в одной категории, проигрывая в другой.
Почему пост на Reddit - не бенчмарк
Субъективное впечатление и воспроизводимый замер различаются набором данных. Для замера нужны конкретные задачи с промптами, зафиксированная версия квантования, описание железа, параметры генерации (температура, top-p, размер контекста) и понятный способ оценки ответов. В посте /u/Borkato нет ничего из этого списка, зато есть эмоциональная оценка масштаба «в сотни раз».
Такие отзывы полезны как сигнал: кто-то заметил модель и счёл её достойной упоминания. Опираться на них при выборе рабочей лошадки рискованно, потому что симпатия к свежему релизу часто объясняется новизной, а не качеством. Прочитать тред целиком стоит: обсуждение доступно на Reddit, но комментарии там тоже не заменяют тестов.
Что такое GGUF и почему формат важен для локального запуска
GGUF (GPT-Generated Unified Format) - контейнер, в котором лежат веса модели, метаданные, словарь токенизатора и шаблон чата. Один файл, который локальный раннер читает напрямую, без конвертации из PyTorch, без Python-окружения и без возни с зависимостями.
Именно поэтому появление GGUF-сборки считают практической новостью. Модель перестаёт быть абстракцией из исследовательского репозитория и превращается в файл, который можно загрузить в llama.cpp, LM Studio, Ollama или KoboldCpp и запустить на своём железе.
GGUF и квантование: как это связано
Квантование уменьшает точность хранения весов. Полноточные веса в 16 бит на параметр требуют вдвое больше памяти, чем 8-битные, и вчетверо больше, чем 4-битные. GGUF удобен тем, что хранит разные варианты квантования в одном репозитории: пользователь выбирает файл под свою видеопамять.
Имена файлов обычно выглядят как Q4_K_M, Q5_K_M или Q8_0. Буква Q означает квантование, цифра - примерное число бит на вес, суффиксы описывают схему смешанной точности. Арифметика простая: модель на 7 млрд параметров в Q4 занимает около 4 ГБ файла, в Q8 - уже под 7,5 ГБ. Разница в качестве между соседними уровнями невелика, а в памяти ощутима, поэтому компромисс приходится выбирать каждому под свою карту.
Почему GGUF-сборки популярны у пользователей локальных LLM
Причин три. Формат поддерживают почти все настольные раннеры. Уровни квантования позволяют подогнать модель под 8, 12, 16 или 24 ГБ VRAM без пересборки. Файлы раздаются через Hugging Face, где рядом лежит карточка с описанием и лицензией.
Побочный эффект популярности: число GGUF-релизов растёт быстрее, чем появляются их независимые проверки. Примерно та же ситуация с набором uncensored-сборок от LLMFan46, где часть заявленных возможностей требует отдельного форка раннера: разбор релиза с sparse attention и контекстом до 1 млн токенов. Наличие GGUF говорит о пригодности к локальному запуску, качество оно не подтверждает.
Почему Raon-1-mini-preview сравнивают с Flint
Сравнение появилось целиком из поста /u/Borkato. Flint упомянут как точка отсчёта: автор пишет, что Raon в сотни раз лучше, и добавляет, что Raon при этом даже не самая сильная модель. Ни задач, ни контекста, ни цифр за этой репликой нет.
Проверить утверждение невозможно по простой причине: в треде не сказано, что именно сравнивали. Формат ответов? Понимание кода? Скорость? При этом Flint и Raon-1-mini-preview могут иметь разный размер и разное квантование, а значит, любой прямой замер потребует выравнивания условий.
Что нужно для честного сравнения локальных LLM
- Одинаковые промпты и одинаковый набор задач, зафиксированные заранее.
- Сопоставимое квантование: сравнивать Q4 с Q8 бессмысленно, разница в точности весов съест эффект.
- Одно и то же железо и одинаковый раннер с идентичными параметрами генерации.
- Повторяемость: несколько прогонов при разной температуре или фиксированном seed.
- Критерий оценки: правильность ответа по чек-листу, скорость в токенах в секунду, потребление VRAM.
Без этих условий сравнение превращается во вкусовщину. Утверждать, что Flint хуже или лучше, по одному посту нельзя: данных о самой модели Flint в материалах тоже нет, кроме факта упоминания.
Как самостоятельно проверить Raon-1-mini-preview
Проверка занимает вечер и не требует доверия к чужим отзывам. Порядок действий простой: карточка, файлы, требования к памяти, собственные задачи.
Что смотреть в карточке на Hugging Face
- Описание модели: для чего заявлена, какие языки и задачи поддержаны.
- Список файлов: какие квантования доступны и сколько весит каждое.
- Лицензия: разрешено ли коммерческое использование и есть ли ограничения на распространение.
- Ограничения и известные проблемы, если авторы их указали.
- Примеры использования и рекомендуемые параметры генерации.
Если в карточке нет размера модели, его считают по файлу: число параметров умножают на биты на вес и делят на восемь. Если нет лицензии или она неясна, это повод не тащить модель в продукт, а сначала уточнить условия у публикатора. Похожая логика разбора карточки и сборок пригодилась в материале про релиз Apple LensVLM-9B и его GGUF-сборку, где часть деталей пришлось собирать по документации, а не по анонсам.
Требования к VRAM и выбор квантования
Память уходит на две вещи: на сами веса и на KV-кэш, который растёт вместе с длиной контекста. Файл в 4 ГБ при контексте 8k может занять 6-7 ГБ видеопамяти, а при 32k легко упрётся в потолок 12-гигабайтной карты.
Практическое правило: оставляйте запас 15-20% VRAM на служебные нужды раннера и фрагментацию. Часть слоёв можно вынести на CPU, если модель не влезает целиком, но скорость при этом падает заметно. Насколько заметно, зависит от модели и раннера: в отчёте про 27B GGUF-сборку Qwen с контекстом 262k пользователь описывает компромисс с выносом части весов в RAM. Цифры по Raon-1-mini-preview берите только из её карточки, в исходном посте их нет.
Прогон собственных задач
Соберите 10-20 типовых запросов из своей работы: извлечение данных, переписывание текста, генерация кода, ответы по документу. Прогоните их на текущей модели и на Raon-1-mini-preview при одинаковых параметрах. Отмечайте, где новая модель ошибается, где тянет время, где выдаёт более удачный ответ.
Результат такого мини-теста полезнее любого треда: он показывает, подходит ли модель лично вам. Для чистоты добавьте замер скорости в токенах в секунду и пиковое потребление VRAM.
Как запустить GGUF-модель локально
Схема одинаковая для большинства релизов. Скачиваете GGUF-файл из репозитория, открываете его в раннере, который поддерживает формат, выставляете контекст и параметры сэмплирования, запускаете.
Что подготовить перед запуском
- Свободную VRAM: закройте браузер с десятком вкладок и другие приложения, использующие GPU.
- Подходящее квантование: отталкивайтесь от объёма видеопамяти, а не от размера файла на диске.
- Актуальную версию раннера: старые сборки могут не знать новых архитектур и типов квантования.
- Проверенную лицензию, если модель планируется использовать в рабочих процессах.
Конкретные команды и флаги зависят от инструмента и его версии, поэтому надёжнее смотреть официальную документацию раннера, чем копировать строку из случайного комментария. Начать проще с графического интерфейса: LM Studio и Ollama показывают потребление памяти наглядно, а llama.cpp даёт больше контроля над параметрами.
Кто такой KRAFTON в контексте этой публикации
KRAFTON указан в пути репозитория Hugging Face как публикатор GGUF-версии Raon-1-mini-preview. Это всё, что следует из доступных материалов: организация выложила сборку модели, а не анонсировала линейку продуктов с описанием архитектуры и метрик.
Для читателя, который следит за KRAFTON как за источником нейросетей, факт публикации GGUF сам по себе значим: значит, команда доводит модели до состояния, пригодного для локального запуска. Из этого не следует, что конкретная сборка сильнее конкурентов. Один релиз без замеров не даёт оснований для рейтингов.
Что делать с этой информацией дальше
Raon-1-mini-preview стоит проверить самостоятельно, если есть свободная VRAM и интерес к новым GGUF-моделям. Заявление о превосходстве над Flint остаётся неподтверждённым: независимых замеров нет, а исходный пост содержит только оценку без данных.
Практический шаг: откройте карточку KRAFTON/Raon-1-mini-preview-gguf на Hugging Face, выпишите доступные квантования, размер файлов и лицензию. Затем прогоните свой набор задач параллельно с моделью, которой пользуетесь сейчас. Если разница заметна на ваших запросах и укладывается в бюджет памяти, модель попадёт в рабочий стек. Если нет, ничего не потеряно, кроме вечера.
Следить за темой имеет смысл по появлению воспроизводимых сравнений локальных LLM: когда для Raon-1-mini-preview и Flint найдутся одинаковые промпты, одинаковое квантование и одинаковое железо, спор о «сотнях раз» сменится конкретными цифрами. Исходный тред удобно держать под рукой: новые комментарии часто добавляют детали, которых не было в самом посте.