Модель unsloth/flint-GGUF в квантовании flint-UD-Q3_K_XL.gguf прошла пользовательский бенчмарк в трёх харнессах и показала слабые результаты. OMP завершил все 12 задач с оценкой 71.2/100, решив 7. AtomicAgent тоже прошёл все 12 задач, но получил 39.2/100 при 3 решённых. Hermes остановился на задаче 7: модель выполнила ненужные широкие поиски по файловой системе и зациклилась. Четвёртый харнесс, Deepseek, не запускали из-за предыдущих провалов и низких оценок (публикация с результатами).
Главное, что стоит удержать при чтении: всё это про один файл одного разряда квантования, а не про модель Flint целиком. Других квантований и полной точности в прогоне не было. Причин слабых результатов источник не объясняет: есть итоговые цифры и описание поведения модели, а методики и конфигурации харнессов в публикации нет.
Что тестировали: Flint в Q3_K_XL и три харнесса
Бенчмарк охватывал один файл: flint-UD-Q3_K_XL.gguf из набора unsloth/flint-GGUF. Прогон шёл в трёх агентных харнессах: OMP, AtomicAgent и Hermes. Набор задач в каждом состоял из 12 штук. Четвёртый харнесс, Deepseek, в этом прогоне не участвовал.
Почему это пользовательский бенчмарк, а не официальный
Результаты опубликовал пользователь Reddit под ником mesolimbic-bliss в сабреддите r/LocalLLaMA, они лежат в рамках полного лидерборда ShortBench (RecursiveSI Flint Benchmark). Это не отчёт разработчика модели и не тест лаборатории с публичной методикой.
Что известно: итоговые цифры и описание поведения. Чего нет: конфигурации харнессов, текстов задач, настроек сэмплирования, версии рантайма, характеристик железа. Воспроизвести прогон по такой публикации нельзя, повторить проверку в своих условиях получится только приблизительно. Сами результаты при этом остаются фактическими данными: модель прогнали и получили такие оценки.
Что именно означает flint-UD-Q3_K_XL.gguf
Это конкретный GGUF-файл, имя которого указывает на набор unsloth и разряд квантования Q3. Внутри разряда файл помечен как UD и Q3_K_XL, то есть речь об одном из вариантов Q3-квантования, а не о базовой модели в полной точности.
Практическое следствие простое: все цифры ниже описывают поведение этого файла. Как поведёт себя Flint в Q4, Q5, Q6 или в bf16, из этих данных не следует. Деталей схемы квантования (какие слои и как именно сжаты) источник не приводит, восстанавливать их по названию файла не стоит.
Результаты по харнессам: цифры и что за ними стоит
| Харнесс | Задачи | Итоговый балл | Решено | Что произошло |
|---|---|---|---|---|
| OMP | 12 из 12 | 71.2/100 | 7 | Прогон завершён полностью |
| AtomicAgent | 12 из 12 | 39.2/100 | 3 | Прогон завершён полностью |
| Hermes | остановка на задаче 7 | нет | нет данных | Лишние широкие поиски по файловой системе, зацикливание |
| Deepseek | не запускался | нет | нет данных | Предыдущие провалы и низкие оценки |
OMP: 12 из 12 пройдено, 7 решено, 71.2/100
OMP завершил все 12 задач и получил 71.2 балла, решив 7. Прохождение всех задач означает, что харнесс отработал сценарии до конца, а не то, что модель справилась с содержанием.
Арифметика полезна: 7 из 12 это 58% задач, а итоговый балл выше, 71.2. Значит, оценка учитывает что-то помимо факта решения, вероятно частичное выполнение проверок внутри задач. Конкретную формулу начисления источник не описывает, так что выдавать эту догадку за факт не стоит.
AtomicAgent: 12 из 12 пройдено, 3 решено, 39.2/100
AtomicAgent тоже прошёл все 12 задач, но решил 3 и набрал 39.2/100. Тот же набор, тот же файл модели, другой харнесс, и разрыв крупный: 71.2 против 39.2 по баллу, 7 против 3 по решённым.
Фиксируем факт: результаты расходятся. Причину не называем, потому что в источнике её нет. Разница может сидеть в устройстве харнесса, в формулировке проверок, в способе вызова инструментов. Проверить это по опубликованным данным невозможно.
Hermes: остановка на задаче 7 и зацикливание
Здесь сбой другого типа. Модель дошла до задачи 7, начала выполнять ненужные широкие поиски по файловой системе, зациклилась, и прогон остановился. Балла по Hermes нет: прогон не завершён.
Разница принципиальная. В OMP и AtomicAgent агентный цикл доходил до конца, пусть и с низким качеством решений. В Hermes сломался сам цикл: вместо продвижения по плану модель расширяла область поиска и не останавливалась.
Deepseek: почему прогона нет
Deepseek-харнесс не запускали. Причина, указанная в публикации: предыдущие провалы и низкие оценки. Отсутствие прогона результатом не считается: сравнивать Flint с Deepseek-харнессом не с чем, и любые выводы из этой строки будут домыслом.
Почему харнессы дают разные результаты
Пройдено и решено: две разные метрики
Агентные бенчмарки считают минимум две вещи: сколько задач харнесс довёл до конца и сколько задач реально решено по критериям проверки. Это разные метрики, и подмена одной другой искажает картину.
OMP: 12 завершённых, 7 решённых. AtomicAgent: 12 завершённых, 3 решённых. Если смотреть только на «12 из 12», оба прогона выглядят успешными. Смотрим на solved, и картина меняется: 58% и 25% задач соответственно.
Правило для чтения таких таблиц: сначала число решённых задач, потом итоговый балл, и только потом факт завершения прогона. Завершение говорит о том, что агент не упал на инфраструктуре, а не о том, что он полезен.
Почему по одному прогону нельзя судить о харнессе
Соблазн вывести рейтинг «OMP лучше AtomicAgent» велик, но данные его не поддерживают. В публикации нет ни методики, ни конфигурации, ни условий запуска. Мы видим одну модель в трёх разных условиях, а не три харнесса в одинаковых.
Похожая ловушка известна по другим разборам: агрегированные оценки плохо переносятся между собой, если не совпадают набор задач и правила начисления. Как аккуратно обращаться с независимыми прогонами и композитными баллами, разобрано в материале про Prism-ML Bonsai 2 и композитный набор.
Q3_K_XL против старших разрядов: что меняется для агентных задач
Что такое Q3 в линейке GGUF-квантований
GGUF-файлы различаются разрядом квантования: чем он ниже, тем компактнее файл и тем меньше памяти нужно для запуска. Q3 - младший из распространённых рабочих разрядов, дальше по возрастанию точности идут Q4, Q5, Q6, Q8 и полная точность вроде bf16.
Компромисс здесь простой: Q3 экономит VRAM и место на диске, но хранит веса грубее. Конкретные потери качества и размеры файлов для flint-UD-Q3_K_XL.gguf в источнике не приводятся, подставлять числа из головы не нужно. Оценить сам компромисс на ограниченной памяти помогает разбор двух низких квантизаций на 16 ГБ VRAM.
Почему агентные сценарии чувствительны к потере точности
В чате ошибка стоит одного неудачного ответа. В агенте с инструментами она ломает цепочку: неверный вызов, лишний шаг, потеря плана. Файловые операции добавляют цену: широкий поиск по файловой системе вместо точечного чтения раздувает контекст и время прогона.
Поведение Hermes на задаче 7 попадает ровно в этот класс сбоев (описание в источнике). Модель ушла в избыточные поиски и зациклилась. Оговорка обязательна: связь с Q3-квантованием тут не доказана. Источник не показывает, что именно разряд вызвал зацикливание, и приписывать причину квантованию было бы натяжкой. Это иллюстрация риска, а не диагноз.
Как ведут себя разные разряды на одном и том же наборе задач, видно по другим прогонам: например, три кванта Qwen 3.8 на задачах AtCoder.
Почему выводы по одному квантованию нельзя переносить на модель Flint
Все оценки в этом разборе относятся к файлу flint-UD-Q3_K_XL.gguf. Других квантований Flint в бенчмарке не было. Полной точности тоже не было.
Корректная формулировка вывода звучит так: в квантовании Q3_K_XL в харнессах OMP, AtomicAgent и Hermes модель показала такие результаты. Некорректная: «модель Flint слабая». Между этими фразами пропасть, ведь вторая описывает модель целиком на основании одного файла, одного набора из 12 задач и неполного покрытия харнессов.
Неполнота касается и самих харнессов: Deepseek не запускали, по Hermes балла нет, потому что прогон оборвался. Картина неполная даже внутри одного квантования.
Что осталось за кадром и что проверить перед своим тестом
Открытые вопросы, без которых окончательный вывод сделать нельзя:
- методика: как формировались 12 задач и по каким критериям засчитывалось решение;
- конфигурация харнессов: набор инструментов, лимиты шагов, таймауты, обработка зацикливания;
- условия запуска: железо, рантайм, параметры сэмплирования, длина контекста;
- другие разряды Flint: Q4, Q5, Q6 и полная точность не проверялись;
- Deepseek-харнесс: прогона нет, сравнивать нечего.
Если планируете агентные сценарии с файловыми операциями, разумная рамка такая. Возьмите свои задачи и прогоните на них минимум два разряда квантования одной модели: Q3 и что-то старше. Считайте решённые задачи, а не завершённые прогоны. Отдельно фиксируйте срывы цикла: зацикливание и лишние широкие поиски по файловой системе стоят токенов и времени, даже когда формально прогон дошёл до конца.
И держите в голове масштаб: 12 задач и три харнесса дают направление, а не приговор. Пользовательские прогоны полезны как раннее предупреждение, но решение о выборе квантования под конкретный пайплайн принимается на своих данных. Пример того, как автор другого теста оговаривает привязку результатов к своему рабочему процессу, есть в разборе прогона 500+ заданий по кодингу и RAG.