locallm.top - публичная бета-версия открытого краудсорсингового бенчмарка для моделей с открытыми весами (open-weight). Результаты обновляются в реальном времени: вы открываете сайт и видите текущие оценки, а не снапшот полугодовой давности. Публичная бета работает на beta.locallm.top.
Проект смещает фокус: вместо среднего рейтинга он отвечает на вопрос, какая модель лучше подходит под конкретную задачу и конкретное железо. Отсюда три особенности. Оцениваются только open-weight модели. Упор сделан на локальный запуск и низкие кванты. Результаты разбиты по доменам, языкам и интентам, а фильтры находятся на главной странице.
О чём лучше знать сразу: публичная часть данных - лишь часть общей базы. У тех, у кого есть приватные запросы и оценённые на них модели, картина выглядит иначе. Об этом автор проекта писал в анонсе на r/LocalLLaMA (обсуждение проекта).
Чем locallm.top отличается от LLM Arena и других лидербордов
- Только open-weight модели и локальный запуск. В фокусе малые модели и низкие кванты, то есть именно то, что реально запускают на домашнем железе.
- Оценка людьми, а не моделью-судьёй. Оценку проводят приглашённые эксперты по доменам, кодинг-часть оценивает автор. LLM-as-judge не используется.
- Разбивка по доменам, языкам и интентам. Срезы фильтруются на главной странице, поэтому видно не только сводную таблицу.
- Агентные тесты. В набор входят агентный кодинг, агентный retrieval и агентное написание историй, а не только однократные ответы на вопросы.
- Живые результаты. Таблица меняется по мере появления новых прогонов, а не выходит фиксированными релизами.
Прямое сравнение «кто лучше» здесь не работает: у площадок разные задачи. locallm.top оценивает выполнение конкретных задач в конкретных доменах, а не общую привлекательность ответов для случайного пользователя. Как вообще устроен прикладной бенчмарк под реальные сценарии, разбирали в отдельном материале про честную оценку LLM на реальных задачах.
Кто и как оценивает модели: методология без LLM-as-judge
Схема простая и местами неудобная для автора. Оценку проводят приглашённые эксперты по доменам, в основном друзья автора проекта. Кодинг-часть оценивает только он сам. Модели-судьи в пайплайне нет: LLM-as-judge не используется сознательно, и автор прямо пишет, что иногда об этом жалеет (анонс бенчмарка).
Какие бенчмарки входят в набор
Набор расширяется и прямо сейчас оценивается. В него входят четыре направления:
- Агентный кодинг. Модель решает задачу в цикле: вызывает инструменты, получает результат, корректирует действия, запускает снова. Проверяется не только качество кода, но и способность держать план на много шагов.
- One-shot кодинг. Один запрос, один ответ, без инструментов и итераций. Такой тест показывает, что модель выдаёт с ходу.
- Агентный retrieval. Поиск и извлечение нужной информации в несколько шагов с использованием инструментов.
- Агентное написание историй. Многошаговая генерация текста, где важна связность на длинной дистанции.
Формулы подсчёта баллов и веса направлений в публичном описании не приводятся. Результаты корректнее читать как экспертные ранжирования, а не как воспроизводимую численную шкалу, которую можно пересчитать у себя.
Почему отказ от LLM-as-judge - это осознанный компромисс
Плюс человеческой оценки - суждение по домену. Эксперт по теме видит разницу между ответом, который формально звучит правильно, и ответом, который действительно решает задачу.
Минус тот же, что у любой ручной оценки: субъективность, ограниченный пул оценщиков (в основном знакомые автора) и низкая скорость. Модель-судья масштабируется почти бесплатно, человек - нет. Отсюда и ремарка автора о сожалениях: без LLM-as-judge прогоны копятся медленнее.
Автоматизированные схемы тоже развиваются. В бенчмарке Creative Writing качество оценивали кастомной reward-моделью, а не людьми (24 LLM против живых авторов на 475 промптах). Это другой компромисс: скорость против доверия к судье.
Как читать результаты: домены, языки, интенты и фильтры
Результаты доступны в реальном времени и разбиты по доменам, языкам и интентам; фильтры находятся на главной странице. По словам автора, в общем зачёте лидирует DeepSeek-V4-Vision-Exp, но у других моделей есть свои сильные домены. Это ключевой момент для интерпретации: первое место в сводной таблице не означает лидерство в каждом срезе.
Почему общий зачёт не равен «лучшей модели для вас»
Общий балл усредняет домены, которые вас могут не интересовать. Пишете код на Python - важен кодинг-срез. Переводите документы - важен языковой срез. Строите агента - смотрите на агентные тесты.
Практический порядок действий: определить домен и язык, открыть соответствующий срез на главной странице, посмотреть на первые 3-5 моделей, а не только на топ-1. Разница между соседними строчками часто лежит в пределах, которые для вашей задачи несущественны, зато требования к VRAM отличаются в разы.
Лидерство DeepSeek-V4-Vision-Exp стоит читать в контексте всей open-weight линейки. Расстановка сил между Qwen, GLM и DeepSeek за последний год заметно менялась, и таблицы бенчмарков не всегда отражают применимость модели на вашем железе. Подробнее об этом - в разборе почему DeepSeek отстал в гонке открытых LLM.
Ограничения locallm.top, о которых говорит сам автор
Автор перечисляет недостатки проекта без смягчений (список ограничений в анонсе):
- покрытие доменов и новых моделей неполное и несбалансированное;
- классифицирована только часть вопросов;
- UI/UX не доработан;
- упор сделан на малые модели и низкие кванты.
Добавьте сюда пятый пункт: публичная часть данных - не вся база. Если у кого-то есть приватные запросы и оценки моделей на них, он видит другую картину, и публичная таблица для него неполна.
Почему новые прогоны выходят медленно
Всё считается на локальном ПК: 2×RTX 3090 и 128 ГБ RAM. Суммарно это 48 ГБ VRAM по паспорту, без учёта памяти на контекст и служебные нужды. Агентные прогоны требуют многошаговых цепочек, поэтому они самые ресурсоёмкие и появляются медленнее всего.
Сроков автор не называет. Планировать выбор модели «к дате выхода результатов по нужной модели» не получится: очередь движется по мере освобождения железа.
Фокус на малых моделях и низких квантах: плюс или минус
Для домашнего сценария это плюс. Большинство пользователей запускают модели уровня 7-30B в квантах Q4-Q8 на одной потребительской видеокарте, и именно такие конфигурации здесь и оценивают.
Для серверного сценария данные переносятся плохо. Результат модели в IQ3 не показывает, как та же модель поведёт себя в FP8 на кластере: квантование меняет поведение, особенно на длинных агентных цепочках.
Критерий простой. Гоняете 7-30B в квантах Q4-Q8 на потребительской GPU - данные релевантны. Работаете с серверным кластером или полными весами - скорее нет.
Какие модели оцениваются сейчас и появятся скоро
Сейчас оценивается Qwen3.8-27B (Uncensored). В очереди на ближайшее время - GLM-5.3-Flash-UD-IQ3XSS и Mellum2.1-12B-A2.5B. Пока это только статус, без результатов.
Что известно о Qwen3.8-27B (Uncensored) и будущих участниках
До публикации прогонов о качестве этих моделей по данным locallm.top сказать нечего. Сравнивать их между собой или с DeepSeek-V4-Vision-Exp сейчас не на чем: оценок нет.
Суффиксы в названиях говорят о конкретных сборках. По распространённому в сообществе именованию UD означает динамическое квантование, IQ3 - низкий квант, A2.5B - вариант MoE с небольшим числом активных параметров. Автор проекта этих деталей не расшифровывал, так что воспринимайте их как ориентир по формату сборки, а не как подтверждённые характеристики.
Если GLM-5.3-Flash интересует вас как отдельный кандидат для разработки, полезно заранее посмотреть, что по этой линейке подтверждено, а что нет: MiMo 2.6 Flash против GLM 5.3 Flash.
Как принять участие в проекте
Автор открыто просит помощи в трёх направлениях: вычислительные ресурсы, оценки и разработка. Пользователи могут создавать собственные запросы и оценивать ответы моделей, то есть добавлять данные в общую базу.
Что даёт участие пользователю
- доступ к более полной картине по интересующим вас доменам: чем больше запросов и оценок, тем точнее срезы;
- влияние на то, какие вопросы и модели попадут в бенчмарк;
- раннее знакомство с результатами по новым моделям, до того как они разойдутся по обзорам.
О вознаграждениях, статусах или приоритетах в доступе в анонсе речи нет. Это чистый краудсорсинг: чем больше оценщиков и запросов, тем плотнее покрытие доменов.
Стоит ли использовать locallm.top при выборе локальной модели
Это полезный дополнительный источник, если вы выбираете open-weight модель для локального запуска, особенно под агентные сценарии и низкие кванты. Единственным критерием он быть не может: покрытие доменов неполное, часть вопросов не классифицирована, интерфейс в бете.
Как встроить locallm.top в свой процесс выбора модели
- Определите домен и язык своих задач. Без этого любой лидерборд бесполезен.
- Отфильтруйте результаты на главной странице по домену, языку и интенту.
- Посмотрите доменный срез, а не только общий зачёт. Лидер сводной таблицы может не входить в топ-3 вашего домена.
- Учтите ограничения проекта: неполное покрытие, упор на малые модели и низкие кванты, сырой UI/UX.
- Проверьте 2-3 кандидата на своих задачах. Удобный способ - прогнать один промпт против нескольких моделей бок о бок, как это делает PromptDeck v1.1.0.
Публичная бета доступна на beta.locallm.top. Начните с домена, который вам действительно нужен, держите в голове, что публичная таблица - не вся база проекта, и не отменяйте собственные тесты: они остаются последней инстанцией при выборе модели под своё железо.