Перейти к содержанию
Публикация AiManual

Локальные модели против одной задачи: кто лучше генерирует сайт и при чём тут harness

Пользователь Reddit прогнал один и тот же запрос на генерацию сайта через разные связки локальных моделей и harness и выложил результаты в галерею airbench.ai.

Коротко

Что будет в материале

  1. 01

    Что на самом деле сравнивали: модель, harness и один запрос

  2. 02

    Насколько локальные модели сегодня годятся для генерации фронтенда

  3. 03

    Почему harness может значить больше, чем сама модель

  4. 04

    По каким критериям вообще оценивать сгенерированный сайт

Что на самом деле сравнивали: модель, harness и один запрос

Пользователь Reddit под ником /u/dh7net собрал несколько связок «локальная модель + harness» и дал им одну задачу: сгенерировать сайт. Запрос для всех прогонов был одинаковым, а результаты автор выложил в галерею airbench.ai под именем airbench-frontend-v1, где любой сгенерированный сайт можно открыть и потрогать (пост на r/LocalLLaMA).

Его вывод звучит так: «IMO Qwen FN with opencode is best», то есть по личному впечатлению лучший результат дала Qwen FN в связке с opencode. Приставка IMO (in my opinion) здесь важнее, чем кажется: это не балл бенчмарка и не измерение, а оценка одного человека, который посмотрел несколько сайтов и выбрал тот, что понравился ему больше.

Корректная формулировка такая: локальные модели в этом прогоне выдали работающие сайты, а лучшей по субъективному впечатлению оказалась пара Qwen FN + opencode. Всё, что шире этого утверждения, требует собственной проверки.

Кто автор и что именно он проверял

Автор ведёт серию сравнений: берёт комбинации локальная модель плюс harness и прогоняет их в разных сценариях. Генерация сайта - один из таких сценариев, и сформулирован он в исходнике дословно как вопрос, насколько хороша связка model/harness в задаче генерации сайта (RSS0).

Что из этого следует практически. Это инициатива энтузиаста, а не индустриальный бенчмарк с опубликованным протоколом. В посте не раскрыты перечень всех моделей, версии harness, параметры генерации и конфигурация железа. Полные результаты автор отсылает смотреть в галерею, а не в таблицу с метриками. Значит, воспринимать вывод стоит как наводку, куда смотреть в первую очередь, а не как рейтинг.

Второй момент: один запрос и один прогон на связку. Такой формат хорошо показывает разброс подходов моделей к одной и той же задаче и плохо показывает стабильность. Про стабильность он не говорит ничего.

Почему в сравнении фигурирует пара «модель + harness»

Harness, или обвязка, это программа, которая стоит между вами и весами модели: принимает задачу, раскладывает её на шаги, даёт модели доступ к файлам проекта, вносит правки, при необходимости запускает результат и возвращает ошибки обратно в модель. Именно harness решает, получит ли модель один шанс написать весь код или двадцать итераций с проверкой после каждой.

В исходнике вопрос поставлен про пару model/harness, а не про модель в вакууме. Разница принципиальная: «Qwen FN + opencode» - это характеристика связки, а не модели. Утверждение «Qwen FN генерирует лучшие сайты» из поста не следует, там такого тезиса нет.

Подробнее про то, из чего складывается обвязка и почему её выбор часто важнее выбора готового инструмента, разобрано в материале Кастомный harness или готовые инструменты вроде Unsloth: что выбрать для локальных LLM.

Насколько локальные модели сегодня годятся для генерации фронтенда

Галерея airbench.ai даёт конкретный ответ на уровне демонстрации: локальные модели по одному запросу выдают сайты, которые открываются в браузере, и с ними можно взаимодействовать. Это уже не текст в чате, который надо вручную переносить в файл. Для прототипа, черновика лендинга или быстрой проверки гипотезы о вёрстке такой результат пригоден.

Дальше начинаются ограничения, и они не про модели, а про статистику. В разборе на vc.ru приводится практическое наблюдение: даже для одного узла с одним запросом к LLM очень сложно превысить порог в 90% по качеству ответов при тысячах запросов в проде (Какое качество реально достижимо в LLM проектах). Демо на один запрос и работа на потоке - разные режимы с разными требованиями.

Там же сформулировано правило цепочки: если запросов несколько и они идут последовательно, итоговое качество системы получается перемножением качества работы отдельных узлов (vc.ru). Для генерации сайта это означает, что каждый дополнительный шаг (планирование структуры, разметка, стили, проверка) добавляет свой множитель. Четыре шага по 90% дают около 66% на выходе, а не 90%.

Практический вывод без обещаний: локальная модель уверенно закрывает черновик и типовой прототип, где вы всё равно просматриваете код глазами. Для продакшена её результат проходит ревью, доработку и тесты. Есть и профильный разбор того, где локальный запуск уже конкурирует с облачными coding-планами, а где пока проигрывает: Локальные LLM для написания кода: когда локальный запуск заменит облачные coding-планы.

Почему harness может значить больше, чем сама модель

Главный тезис, который вытекает из формата сравнения: один и тот же промпт через разные обвязки даёт разные сайты. Причина не в мистике, а в том, что harness определяет, сколько работы модель реально сделает.

Что входит в понятие harness на практике

Разложим по функциям, без привязки к конкретному продукту:

  • приём задачи и удержание контекста: что именно просили, какие файлы уже есть, что менять нельзя;
  • работа с файловой системой проекта: создать структуру, разложить HTML, CSS и скрипты по файлам, не потерять существующие;
  • цикл правок: сгенерировать, посмотреть на результат или на ошибку, внести точечное изменение;
  • проверка результата: запуск, линтер, открытие страницы, возврат ошибки в модель;
  • ограничения: что модели запрещено трогать, где заканчивается её зона ответственности.

opencode в исходнике упоминается как пример такой обвязки, с которой Qwen FN дала лучший, по впечатлению автора, результат. Приписывать этому инструменту конкретные возможности, которых нет в исходнике, не стоит: набор функций проверяется по документации проекта.

Как обвязка влияет на итоговый сайт

Механизм простой. Модель, у которой нет доступа к файлам, выдаёт код одним блоком в чате: одна попытка, без проверки, без исправлений. Модель внутри harness получает возможность довести работу до состояния «открывается и работает»: посмотреть, что получилось, увидеть несоответствие и переписать участок.

Второй эффект - дисциплина правок. Обвязка, которая умеет менять отдельные фрагменты, сохраняет остальной код целым. Обвязка, которая на каждую итерацию перегенерирует всё заново, теряет ранее достигнутое и накапливает расхождения между блоками.

Третий эффект - обработка ошибок. Если harness возвращает модели текст ошибки и путь к проблемному файлу, модель правит конкретное место. Если ошибка не возвращается, модель считает задачу выполненной и останавливается.

Связь с правилом перемножения качества прямая: каждый шаг обвязки - отдельный узел. Слабое звено в цепочке тянет вниз результат даже сильной модели. Отсюда и практический смысл сравнения пар: оценивать модель в отрыве от обвязки примерно так же продуктивно, как оценивать двигатель без коробки передач.

По каким критериям вообще оценивать сгенерированный сайт

В исходнике критерии не раскрыты: автор смотрел и выбирал. Читателю полезнее свой чек-лист, тем более что галерея airbench.ai позволяет открыть каждый сайт и проверить его руками. Ниже набор проверяемых признаков, которые не выдают за методику автора.

КритерийЧто проверятьКак быстро проверить
Работоспособностьстраница открывается, ссылки и кнопки реагируют, нет ошибок в консолиоткрыть в браузере, прожать навигацию, посмотреть консоль
Структура и навигациялогичные разделы, осмысленные заголовки, нет пустых блоков-заглушекпройти по странице сверху вниз
Адаптивностьвёрстка не разваливается на узком экранесузить окно до 375 px
Читаемость кодапонятная структура файлов, осмысленные имена, нет дублейоткрыть исходники, посмотреть первые 100 строк
Дорабатываемостьможно ли внести правку в одном месте без переписывания всегопоменять заголовок или цвет, оценить объём правки
Соответствие заданиюреализовано то, что просили, без самовольных добавленийсверить результат с исходным промптом

Отдельно стоит разделять «красиво» и «качественно». Страница с удачной типографикой может содержать неработающее меню, аскетичный сайт может быть полностью рабочим и предсказуемо дорабатываемым. Для фронтенда второе ценнее.

Полезный контекст, как читать подобные сравнения и не путать их с рейтингом: в материале про locallm.top: как устроен открытый бенчмарк локальных LLM с агентными тестами разобрано, зачем нужны домены оценки и живые результаты вместо одного суммарного балла. Ещё один пример аккуратной постановки задачи с Qwen на веб-страницах: эксперимент с Qwen 3.8 27B по переносу визуального стиля в SVG и веб-страницы.

Ограничения бенчмарка: почему «лучшая» - это не приговор

Список ограничений прямой, и его стоит держать в голове, прежде чем делать выводы:

  • оценка субъективна и помечена самим автором как IMO;
  • критерии сравнения не опубликованы: непонятно, что именно оценивалось, внешний вид, работоспособность или структура кода;
  • перечень моделей и точные формулировки промптов в исходнике не приведены;
  • версии моделей и harness не указаны, а для локальных сборок версия и квантование меняют результат заметно;
  • конфигурация железа неизвестна: объём VRAM и выбранное квантование прямо влияют на то, какую модель вообще можно запустить;
  • один запрос и один прогон на связку не дают основания для обобщений;
  • связки сравнивались между собой, а не с облачными фронтир-моделями, так что относительная позиция локального подхода здесь не измерена.

Про устойчивость результата есть отдельная иллюстрация. Даже добавление релевантных примеров в промпт потенциально улучшает качество, но не даёт 100% правильных ответов (vc.ru). Иными словами, ни подбор примеров, ни удачная обвязка не превращают генерацию в детерминированный процесс.

Разумная интерпретация: результаты такого прогона показывают, что задача локальным моделям по плечу и что разница между связками заметна. Они не показывают, какая связка лучшая в вашем случае.

Как повторить похожий тест на своём железе

Свой прогон стоит собрать так, чтобы результат можно было сравнить, а не просто посмотреть. Порядок действий:

  1. Зафиксируйте один промпт и не меняйте его между прогонами. Запишите его целиком, включая требования к структуре и стилю. Разные формулировки делают сравнение бессмысленным.
  2. Выберите 2-3 локальные модели и 2 harness. Для первого прохода хватит двух связок на модель, этого достаточно, чтобы увидеть влияние обвязки.
  3. Запишите условия: точное имя и версию модели, квантование, версию harness, параметры генерации (температура, лимит токенов), объём VRAM и модель GPU. Без этого повторный прогон через месяц нечем сравнивать.
  4. Прогоните каждую связку в одинаковых условиях: один и тот же промпт, пустая рабочая папка, одинаковая доступная память, одинаковое время на итерации.
  5. Оцените каждый результат по чек-листу из предыдущего раздела, а не по общему ощущению. Полезно ставить оценки по каждому пункту отдельно.
  6. Сохраните полученные сайты и откройте их рядом. Боковое сравнение в браузере выявляет разницу, которую не видно при просмотре по очереди.
  7. Повторите прогон хотя бы два-три раза и добавьте второй запрос другой сложности. Один прогон - анекдотический результат, три прогона на двух задачах уже дают направление.

Что это даёт практически: вы получаете не рейтинг моделей вообще, а ответ на вопрос, какая связка работает на вашей задаче и вашем железе. Для командной работы добавьте в чек-лист пункт про воспроизводимость: сможет ли коллега с той же конфигурацией получить похожий результат.

Что учитывать при выборе модели и harness для веб-разработки

Несколько выводов, которые переносятся за пределы конкретного прогона:

  • Выбирайте связку, а не модель. Одна и та же модель в разных обвязках даёт разный результат, и разница бывает больше, чем между моделями.
  • Проверяйте harness на своих типовых задачах. Универсально удобной обвязки нет: для вёрстки с нуля и для правок в существующем проекте требования к ней разные.
  • Считайте железо до выбора модели. Размер модели и квантование ограничены доступной VRAM, и связка, которая отлично показала себя на чужой конфигурации, может просто не запуститься на вашей.
  • Держите локальные модели для прототипов, черновиков и типовых лендингов. Для продакшена результат проходит ревью, тесты и доработку, как любой сгенерированный код.
  • Смотрите живые примеры перед своим тестом. Галерея airbench.ai даёт бесплатный способ увидеть, как разные связки справляются с одной задачей, и сформулировать собственные критерии.

Универсального победителя в такой задаче нет, и это не оговорка. Итог зависит от запроса, обвязки, квантования и железа. Связка Qwen FN + opencode - разумная точка входа, если вы хотите повторить чужой прогон у себя и посмотреть, воспроизведётся ли впечатление автора на ваших задачах.

Подписаться на канал