Пользователь Reddit под ником Foxiya собрал сравнительный тест пяти AI-моделей на одной задаче: сгенерировать анимацию работы механизма дозатора мыла в виде одного самодостаточного HTML-файла. Результаты опубликованы в сабреддите r/LocalLLaMA 27 сентября 2026 года: Soap Dispenser Benchmark!
Участники: Opus 5.5 High, DeepSeek V4.1 Flash, Qwen 3.8 Max, ChatGPT 5.6 Sol High и Opus 5 High. Промпт для всех моделей одинаковый: «Create an animation showing how the soap dispenser mechanism works in one complete html file». Для каждой модели выложен отдельный видеофрагмент.
Главную оговорку нужно держать в голове с первых абзацев: в публикации нет текстовых оценок, ранжирования, критериев и описания методики. Есть список моделей, текст промпта и видео. Значит, вывод о том, кто справился лучше, можно сделать только после просмотра роликов. Формального победителя у этого теста нет.
Что за тест и почему он показателен
Тест держится на одной идее: одинаковый вход для всех моделей и результат, который видно глазами. Никаких абстрактных метрик вроде «качества рассуждений», только конкретный артефакт, который открывается в браузере.
Условия и промпт теста
Формулировка задачи дословно: Create an animation showing how the soap dispenser mechanism works in one complete html file. По смыслу это просьба сделать анимацию, показывающую, как работает механизм дозатора мыла, в одном полном HTML-файле.
Ключевые слова здесь - one complete html file. Модель обязана уложить в единственный документ всю разметку, стили и скрипты. Внешние библиотеки, подключение CDN, отдельные CSS- и JS-файлы исключены. Промпт не содержит ни уточнений по дизайну, ни требований к конкретному способу анимации на CSS, JavaScript, SVG или Canvas, ни указаний по числу кадров. Модель сама выбирает, как решать задачу, и это часть проверки.
Одинаковый промпт для пяти моделей - база для сравнения. Как только формулировки начинают различаться, сопоставлять результаты некорректно.
Список моделей и формат результатов
В тесте пять участников:
- Opus 5.5 High;
- DeepSeek V4.1 Flash;
- Qwen 3.8 Max;
- ChatGPT 5.6 Sol High;
- Opus 5 High.
Для каждой модели на Reddit опубликован отдельный видеофрагмент. Обозначения High, Flash, Max и Sol взяты из названий в самой публикации. Что именно они значат (режим рассуждений, вариант сборки, настройки генерации), в источнике не раскрыто, поэтому считать их подтверждёнными характеристиками нельзя.
Почему анимация дозатора мыла в одном HTML-файле - хороший стресс-тест
Задача выглядит простой, пока не начнёшь её разбирать. Дозатор мыла - это не картинка, а связка деталей, которые двигаются в определённой последовательности. Модели приходится одновременно держать в голове механику, код и визуальную подачу.
Физика механизма: что модель должна удержать
В типичном нажимном дозаторе работают несколько элементов. Нажатие на рычаг давит на поршень или мембрану, та сжимает пружину и поднимает давление в камере. Клапан открывается, порция мыла уходит из резервуара вверх через носик. Когда давление отпускают, пружина возвращает поршень, клапан закрывается, и камера снова заполняется из резервуара.
Чтобы анимация читалась, модель должна связать эти элементы в одну последовательность: нажатие, движение поршня, открытие клапана, выход мыла, обратный ход. Ошибки тут заметны сразу. Деталь «телепортируется» с места на место, мыло вытекает до открытия клапана, поршень уходит не в ту сторону. Статичная картинка дозатора такой тест не проходит по определению.
Один файл без внешних зависимостей
Требование «один полный HTML-файл» поднимает планку дважды. Сначала модель выбирает инструмент: чистые CSS-анимации с @keyframes, скрипт на JavaScript с пересчётом положения элементов, SVG с анимацией внутри разметки или Canvas с отрисовкой через код. Дальше она обязана довести решение до состояния, когда всё лежит в одном документе.
Для практики такой формат удобен: файл открывается в браузере двойным кликом, без сборки, npm и установки зависимостей. Получившийся артефакт легко показать на встрече или отправить коллеге. Похожую логику проверяют и другие community-тесты генерации визуала, например сравнение SVG-анимаций у флагманских моделей: один промпт, один самодостаточный файл, визуальная проверка результата.
Что известно о результатах пяти моделей
Из публикации достоверно известно одно: для каждой из пяти моделей есть отдельный видеофрагмент с результатом. Текстовых описаний, оценок и ранжирования автор не привёл. Ниже - что есть по каждой модели, без домыслов о качестве их решений.
Opus 5.5 High и Opus 5 High
Обе модели Opus участвуют в тесте, для каждой выложен свой фрагмент. Наличие двух вариантов одной линейки в одном прогоне даёт редкую возможность сравнить их между собой напрямую: одинаковый промпт, одинаковая задача. Что именно отличает результаты, видно только в видео. Приписывать одной версии преимущество перед другой по тексту публикации нельзя, автор таких выводов не делал.
DeepSeek V4.1 Flash, Qwen 3.8 Max и ChatGPT 5.6 Sol High
Эти три модели тоже получили по отдельному ролику. DeepSeek V4.1 Flash, Qwen 3.8 Max и ChatGPT 5.6 Sol High отличаются по позиционированию и скорости работы, но в тесте это не измерялось: ни времени генерации, ни числа итераций, ни расхода токенов в публикации нет. Единственный способ сравнить их на этой задаче - посмотреть видео по ссылке из первого абзаца.
Почему по этому тесту нельзя назвать однозначного победителя
Пять ограничений, которые ломают любую попытку выстроить рейтинг:
- нет методологии: неизвестно, сколько попыток давалось каждой модели и брался ли лучший результат;
- нет критериев оценки: непонятно, что считалось правильным решением задачи;
- нет текстовых описаний: судить можно только по видео;
- не указаны версии моделей и параметры генерации, кроме обозначений High, Flash, Max и Sol в названиях;
- нет данных о том, правился ли код вручную перед записью ролика.
Отсюда простой вывод: перед нами набор визуальных примеров, а не формальный бенчмарк. Такие публикации полезны как источник идей и быстрый способ увидеть разницу в подходах, но заменой систематическому тесту не служат. Как проверять обзоры и отделять наблюдения от рекламных выводов, разобрано в материале про признаки предвзятости в AI-обзорах.
На что смотреть в сгенерированной анимации
Раз формальных метрик нет, их придётся задать самому. Ниже критерии, по которым можно оценить любой результат из этого теста и любую свою генерацию.
Корректность механики и физики
Смотрите на последовательность: сначала нажатие, потом ход поршня, потом открытие клапана, потом выход мыла, потом возврат в исходное положение. Если мыло появляется раньше, чем открылся клапан, или рычаг двигается в отрыве от поршня, механика сломана. Отдельно проверяйте цикличность: анимация должна возвращаться в первую фазу без рывка и наложения кадров.
Качество кода в одном файле
Откройте исходник и проверьте четыре вещи: вся ли логика внутри одного документа, нет ли ссылок на внешние CDN и библиотеки, читаема ли разметка, есть ли комментарии к ключевым блокам. Для практического использования это важнее красоты картинки: анимацию с понятной структурой можно поправить за пару минут, а сплошное полотно кода придётся переписывать. Плавность и адаптивность под размер окна тоже стоит проверить, потянув за границу браузера.
Как выбрать модель для генерации фронтенд-кода и анимаций
Один тест не отвечает на вопрос, какую модель брать. Он задаёт рамку, в которой этот вопрос имеет смысл. Дальше всё зависит от задачи.
Критерии выбора под прототипирование
Для быстрых прототипов важнее скорость и достаточное качество первого ответа, чем идеальная физика. Смотрите на три параметра: как быстро приходит готовый файл, можно ли показать его заказчику без правок и сколько итераций уходит на доводку. Модель, которая выдаёт аккуратную анимацию с третьего запроса, но делает это за минуту, часто полезнее той, что с первого раза выдаёт шедевр за десять минут.
Критерии выбора под обучение и демонстрации
Для уроков, презентаций и обучающих материалов приоритеты меняются. Здесь важны точность механики, наглядность и предсказуемость: одна и та же модель должна выдавать сопоставимый результат при повторном запуске. Ошибка в физике в демонстрационном ролике стоит дороже, чем лишние пять минут генерации. Практические подходы к оценке новинок без шума вокруг релизов собраны в чек-листе по запускам AI-моделей.
Отдельно проверяйте, как модель держит ограничения промпта. Требование «один файл» она либо соблюдает, либо нет, и это видно без всяких метрик. Похожие по формату задачи разбирались в тесте Qwen 3.8 27B против GPT-5.6 Sol high, где модели решали три сцены SVG-анимации.
Как повторить тест самостоятельно
Промпт из публикации можно скопировать как есть:
Create an animation showing how the soap dispenser mechanism works in one complete html fileДальше порядок такой. Выберите 3-5 моделей, к которым у вас есть доступ. Отправьте им одинаковый промпт в одинаковых условиях: один и тот же текст, без дополнительных подсказок, без правок между попытками. Сохраните каждый ответ в отдельный файл с расширением .html, откройте их в браузере и сравните по чек-листу. Для честного сравнения фиксируйте не только результат, но и число попыток, которое понадобилось до рабочего варианта.
Если модель вставляет в код ссылку на внешнюю библиотеку, помечайте такой результат как несоответствующий условию: файл не самодостаточен.
Чек-лист для сравнения результатов
- механика: нажатие, поршень, клапан и подача мыла связаны в верной последовательности;
- плавность: нет рывков, скачков и наложения кадров;
- цикличность: анимация замыкается в петлю без разрыва;
- читаемость кода: структура, отступы, комментарии;
- самодостаточность: ноль внешних зависимостей и CDN;
- запуск: файл открывается в браузере без сборки и установки пакетов;
- адаптивность: анимация не разваливается при изменении размера окна.
Тот же набор пунктов работает для других задач генерации фронтенда: слайдеры, схемы, интерактивные графики, обучающие виджеты. Меняется содержание, логика проверки остаётся.
Что в итоге: выводы и ограничения теста
Тест Foxiya даёт наглядный срез того, как разные модели решают одну и ту же задачу генерации интерактивной анимации в одном HTML-файле. Пять моделей, один промпт, отдельное видео на каждую. Ценность материала в визуальной проверке: механику дозатора видно глазами, и ошибиться в оценке сложно.
Ограничения остаются в силе: нет методологии, критериев и текстовых оценок, поэтому однозначного победителя по опубликованным данным нет. Вывод «модель X лучше» на этом тесте не построить.
Практический план: посмотреть видео в исходной публикации, прогнать промпт на своих моделях и сверить результаты по чек-листу. Если задача своя, замените предмет анимации и оставьте требование одного файла: оно отсекает слабые решения быстрее любых рассуждений.