Команда Artificial Analysis запустила открытый лидерборд и арену для оценки качества text-to-image моделей в 2024 году. Рейтинг строится на человеческих предпочтениях, собранных через краудсорсинговую платформу: участники сравнивают пары изображений по одному промпту. На старте выборка превышала 45 000 сравнений, и с тех пор она выросла — а вместе с ней сместились и позиции моделей в таблице.
Стартовый расклад запомнился тем, что проприетарные Midjourney, Stable Diffusion 3 и DALL·E 3 HD держались в верхней части, открытая Playground AI v2.5 обходила DALL·E 3, а DALL·E 2, лидировавшая годом ранее, проигрывала более чем в 75% сравнений. Открытие исходного кода Stable Diffusion 3 Medium тогда называли событием, способным заметно изменить баланс сил в экосистеме открытых моделей, — и оно состоялось.
Для разработчиков и ML-инженеров этот лидерборд даёт ориентир, которого не хватало при выборе модели под конкретную задачу. Автоматические метрики вроде FID и CLIP Score оценивают технические характеристики, но слабо коррелируют с тем, как люди воспринимают эстетику, соответствие промпту и семантическую точность. Human Preference Ranking закрывает этот разрыв, предлагая данные, собранные напрямую от пользователей. Единственное, что стоит держать в голове: рейтинг описывает состояние моделей на дату последнего обновления, а не их качество «вообще».
Что такое Human Preference Ranking и зачем он нужен
Human Preference Ranking - это система оценки генеративных моделей, основанная на парных сравнениях изображений реальными людьми. Вместо расчёта распределения пикселей или косинусной близости эмбеддингов система фиксирует субъективный выбор: какое изображение лучше отвечает текстовому описанию и выглядит убедительнее. Такой подход приближает оценку к реальному пользовательскому опыту.
Лидерборд Artificial Analysis открыт и обновляется по мере поступления новых сравнений. На момент запуска в 2024 году было накоплено более 45 000 предпочтений, и сбор продолжается — к 2026 году выборка заметно больше. Это делает рейтинг живым инструментом, отражающим текущее состояние рынка, а не зафиксированный срез.
Почему человеческие предпочтения важнее автоматических метрик
FID измеряет расстояние между распределениями признаков реальных и сгенерированных изображений. CLIP Score оценивает совпадение изображения с текстовым описанием через эмбеддинги. Обе метрики полезны для быстрой фильтрации моделей на этапе разработки, но не улавливают нюансы восприятия. Модель с низким FID может генерировать технически корректные, но визуально непривлекательные или семантически нерелевантные изображения.
Расхождение между автоматическими метриками и человеческим восприятием документировано в исследованиях, включая работы по оценке LLM-разметки. Корреляция между оценками моделей и людей в среднем составляет около 0,5, при этом для творческих задач она выше, для задач с однозначным ответом - ниже. В text-to-image генерации разрыв ещё заметнее: эстетика, стилистическая согласованность и соответствие сложным промптам плохо формализуются численно.
Арена Artificial Analysis решает эту проблему напрямую: пользователь видит два изображения от разных моделей по одному промпту и выбирает лучшее. Модели анонимизированы, промпты разнообразны, что снижает предвзятость. Рейтинг рассчитывается на основе вероятности победы в парных сравнениях по Elo-подобной системе.
Как устроена арена Artificial Analysis
Механика проста: заходите на арену, система показывает два изображения, сгенерированных разными моделями по одному текстовому описанию. Вы выбираете то, которое лучше соответствует промпту и выглядит качественнее. Никаких технических знаний не требуется - только визуальная оценка.
Ключевые принципы сбора данных:
- Анонимизация моделей - участник не знает, какая модель сгенерировала изображение, что исключает брендовую предвзятость.
- Разнообразие промптов - покрываются разные стили, сложность и домены: от простых объектов до сложных сцен с текстом и мелкими деталями.
- Парные сравнения - каждый голос фиксирует относительное превосходство одной модели над другой, что агрегируется в глобальный рейтинг.
- Открытость данных - лидерборд публичен, методология описана, результаты доступны для анализа.
45 000+ предпочтений - это значительная выборка для старта. Она позволяет выявлять статистически значимые различия между моделями и отслеживать динамику изменений. Но именно «для старта»: цифру стоит воспринимать как точку отсчёта, а актуальный размер выборки и дату обновления смотреть на самой арене.
Текущий рейтинг: что показывает лидерборд в 2026 году
Позиции моделей в лидерборде не зафиксированы: стартовый срез 2024 года и текущая таблица — это разные картины, и конкретные проценты побед меняются с каждым обновлением данных. Поэтому корректнее ориентироваться на первоисточник — саму арену Artificial Analysis — чем на цифры, зафиксированные в текстах двухлетней давности.
Что можно утверждать без привязки к конкретным местам: состав моделей в рейтинге расширился, объём сгенерированных и оценённых изображений вырос, а в верхней части таблицы разрывы между соседними строчками невелики — небольшая разница в процентах побед здесь скорее правило, чем исключение. Для тех, кто следит за открытыми бенчмарками и методологиями оценки, рекомендую материал об открытых бенчмарках для LLM, где разбираются принципы коллективной стандартизации тестов.
Ориентиры запуска: Midjourney, Stable Diffusion 3, DALL·E 3 HD
Ниже — описание стартового среза лидерборда. Сегодня позиции этих моделей в таблице другие, и актуальные места стоит проверять прямо на арене.
Midjourney удерживала лидерство за счёт эстетической проработки изображений. Модель стабильно генерирует визуально насыщенные результаты с хорошей композицией и цветовой гармонией. Доступ через подписку, API нет, что ограничивает интеграцию в пайплайны.
Stable Diffusion 3 выделяется точностью следования промпту. Модель лучше справляется со сложными текстовыми описаниями, включая многообъектные сцены и специфические атрибуты. Доступна через API Stability AI и партнёрские платформы.
DALL·E 3 HD обеспечивает высокую детализацию и качество рендеринга. Интеграция с API OpenAI делает её удобной для продуктовой разработки, однако по человеческим предпочтениям она уступает Playground AI v2.5.
Все три модели требуют платной подписки или оплаты за API-вызовы. Для команд с ограниченным бюджетом это существенный фактор.
Прорыв открытых моделей: кейс Playground AI v2.5
Playground AI v2.5 - открытая модель, доступная для локального запуска и модификации. На момент того среза она превосходила в рейтинге предпочтений DALL·E 3, что сигнализировало о росте качества open-source решений в text-to-image генерации.
Практические преимущества открытых моделей:
- Локальный запуск без ограничений API и абонентской платы.
- Файнтюнинг под специфические домены: медицинские иллюстрации, архитектурные визуализации, продуктовые рендеры.
- Полный контроль над данными и приватностью.
- Возможность создавать специализированные версии под конкретные стили.
С тех пор тренд только укрепился: открытый сегмент в 2026 году заметно шире, чем линейка SD, и в нём есть модели, которые реально запускаются на собственном железе — например, в материале про Qwen-Image 2.1 в FP8 разбирается генерация изображений на модели до 10 ГБ. Для сравнения, в области генерации кода открытые модели вроде Qwen2.5 также быстро догоняют лидеров, о чём подробно рассказано в разборе BigCodeArena.
Динамика развития: как быстро устаревают модели
DALL·E 2 лидировала в text-to-image генерации за год до запуска арены, а к моменту старта лидерборда проигрывала в более чем 75% парных сравнений. Этот факт хорошо показывает скорость прогресса: архитектуры, данные и методы обучения развиваются настолько быстро, что модель, выбранная сегодня, может стать неоптимальной через несколько месяцев.
Для инженеров, внедряющих AI в production, это означает необходимость регулярного пересмотра модельного стека. Оценка модели на момент интеграции не гарантирует её конкурентоспособность через квартал. Мониторинг актуальных лидербордов и собственные A/B-тесты на целевых промптах становятся обязательной практикой.
От DALL·E 2 к DALL·E 3 HD: уроки быстрого прогресса
Переход от DALL·E 2 к DALL·E 3 HD принёс улучшения по трём направлениям: качество рендеринга, точность следования инструкциям и разрешение. DALL·E 3 HD генерирует более детализированные изображения и лучше понимает сложные промпты с несколькими объектами и отношениями между ними.
Однако даже значительные улучшения не гарантируют лидерства. Конкуренты развиваются параллельно, и относительная позиция модели определяется не только её собственным прогрессом, но и скоростью прогресса других. DALL·E 3 HD улучшилась по сравнению с DALL·E 2, но Playground AI v2.5 и Midjourney продвинулись ещё дальше по человеческим предпочтениям.
Урок для практиков: сравнивайте модели в динамике, а не по абсолютным показателям. Модель может стать лучше, но уступить позиции, если конкуренты растут быстрее.
Stable Diffusion 3 Medium: открытие кода и что оно дало
Stability AI открыла исходный код Stable Diffusion 3 Medium - модели среднего размера, оптимизированной для работы на потребительском железе. Релиз состоялся, и сообщество получило базу с более высоким стартовым качеством, чем у предыдущего поколения открытых моделей. Предыдущие открытые релизы SD 1.5 и SDXL уже показали, чем это обычно заканчивается: волной дообученных версий и специализированных инструментов.
Важно не переоценивать эффект: открытие кода расширяет пространство экспериментов, но само по себе не поднимает модель вверх в лидерборде. Влияние релиза корректнее оценивать не по анонсу, а по тому, сколько жизнеспособных файнтюнов и инструментов появилось поверх него за следующие месяцы. Значительная часть из них уходит в узкие домены — реализм, аниме, архитектурные визуализации, портретную съёмку, — где специализированные версии часто превосходят базовую модель.
Что открытие кода дало разработчикам
Открытый код даёт практические возможности:
- Файнтюнинг под собственные данные без ограничений API.
- Запуск на своих серверах с полным контролем над инференсом.
- Создание специализированных версий для узких задач.
- Снижение затрат при больших объёмах генерации.
Примеры успешных community-моделей на базе SD: DreamShaper для стилизованных иллюстраций, Realistic Vision для фотореалистичных портретов. Эти модели появились благодаря открытому коду и активному сообществу, а SD 3 Medium дала следующей волне такую же возможность стартовать с более высокой базой.
Для стартапов и исследовательских команд открытый код снижает барьер входа: не нужно платить за API или подписку, можно экспериментировать и адаптировать модель под специфические требования.
Как использовать лидерборд для выбора модели
Лидерборд - это ориентир, но не единственный фактор выбора. Слепое следование рейтингу без учёта специфики задачи приводит к неоптимальным решениям. Модель, лидирующая в общем зачёте, может уступать в узком домене: генерация текста на изображениях, архитектурные визуализации, медицинские иллюстрации.
Рекомендуемая стратегия: начните с лидера в вашей категории, затем протестируйте открытые альтернативы на собственных промптах. Арена Artificial Analysis позволяет быстро сравнить модели, но финальное решение принимайте по результатам тестов на целевых данных.
Как читать лидерборд в 2026 году
Перед тем как принимать решение по таблице, пройдитесь по нескольким пунктам:
- Дата обновления. Лидерборд живой: если последние сравнения добавлялись месяцы назад, картина отражает прошлое состояние моделей, а не текущее.
- Размер выборки у конкретной модели. Малое число парных сравнений означает широкий доверительный интервал: высокая строчка может объясняться случайностью, а не качеством.
- Доменные подвыборки. Общий рейтинг усредняет всё — генерацию текста на изображении, лица, архитектуру, продуктовые рендеры. Для узкой задачи смотрите на релевантный срез, а не на итоговую таблицу.
- Состав участников. Проверьте, есть ли в рейтинге интересующая вас модель и в какой именно версии.
- Собственный тест. Возьмите 10–20 своих промптов и прогоните через 2–3 финалиста: арена помогает отобрать кандидатов, но не заменяет проверку на целевых данных.
Критерии выбора помимо рейтинга
При выборе модели учитывайте:
- Лицензия - для коммерческого продукта критично, можно ли использовать модель без ограничений.
- Стоимость инференса - проприетарные API тарифицируются за вызов, локальный запуск требует GPU.
- Возможность файнтюнинга - нужна ли адаптация под специфический стиль или домен.
- Скорость генерации - для интерактивных приложений важна задержка.
- Качество на специфических доменах - лица, текст, архитектура, продукты.
- Поддержка сообщества - наличие готовых инструментов, документации, примеров.
Для продуктовой разработки с жёсткими требованиями к приватности открытые модели предпочтительнее. Для быстрого прототипирования проприетарные API экономят время на инфраструктуру. Вопрос оценки качества моделей выходит за рамки text-to-image: для LLM также актуальна проблема расхождения между бенчмарками и реальной работой, о чём подробно в материале про evaluation awareness.
Заключение: лидерборд как процесс, а не разовый снимок
Человеческие предпочтения стали рабочей частью оценки text-to-image моделей. Лидерборд Artificial Analysis, собравший 45 000+ сравнений на старте и продолжающий пополняться, дополняет автоматические метрики там, где FID и CLIP Score бессильны — в эстетике и соответствии сложным промптам.
Что показало прошедшее время: стартовые позиции моделей не сохранились, открытые веса дали экосистеме заметно больше вариантов, а разрыв между открытыми и проприетарными решениями в отдельных доменах сократился. Модели устаревают быстрее, чем большинство команд успевает пересматривать стек.
Практический вывод: проверяйте актуальные позиции на арене Artificial Analysis, смотрите на дату обновления и размер выборки, тестируйте финалистов на своих промптах и следите за релизами открытых моделей. Выбор text-to-image модели сегодня - это не разовое решение, а непрерывный процесс адаптации к быстро меняющемуся ландшафту.