QuickSearch - набор из четырёх однодейственных запросов: Shareable Scenes, Quotable Quotes, Memeable Moments и Trend Align. Маркетолог не пишет поисковую строку: он выбирает действие и получает из большой видеобиблиотеки клипы, которые под это действие подходят. Систему собрала Social Department, разработчик AI-платформы для маркетинга развлечений, вместе с TrackIt и AWS. Архитектура пайплайна, система retrieval и редакционные критерии каждого действия принадлежат Social Department. TrackIt как AWS Premier Tier Services Partner сделал и поставил решение по этому дизайну, а AWS дал инфраструктуру, доступ к моделям включая Claude и Amazon OpenSearch Serverless для поиска (разбор в AWS Machine Learning Blog).
Продукт решает задачу, знакомую каждому, кто работал с видеокаталогом. Нужен не «файл, где кто-то смеётся», а конкретный момент, который выстрелит в соцсетях. Четыре действия закрывают четыре типовые кампанийные задачи: сцена для шаринга, реплика для цитаты, кадр под мем, момент под актуальный тренд.
Инженерная суть в другом: все четыре действия работают поверх одного и того же индекса, а различие задают критерии отбора и стратегия ранжирования. Дальше разбираем, как это устроено и чем приходится платить.
Что такое QuickSearch и какую задачу он решает
Формально QuickSearch - слой поиска над видеобиблиотекой, который возвращает готовые к работе фрагменты. Практически - инструмент для команды, которая делает кампанию по шоу и не может потратить неделю на просмотр. Пользователь здесь не формулирует запрос, а выбирает тип результата.
Это меняет роль поиска в процессе. Обычный поиск нужен, когда вы уже знаете, что ищете. QuickSearch нужен, когда известна только задача: «нужно что-то, что зайдёт в Reels». Векторный поиск на такой формулировке вернёт что попало, потому что в запросе нет объекта.
Почему обычный семантический поиск упирается в потолок
Векторный поиск отвечает на вопрос, который можно сформулировать. Запрос «персонаж держит кофейную кружку» найдёт каждую кофейную кружку в тысяче эпизодов: это честная работа модели, и в своей области она полезна.
Кампанийные запросы выглядят иначе. «Какой момент поедет в соцсетях», «какая реплика станет цитатой», «какой кадр превратится в мем» - вопросы суждения. В них нет объекта, который можно закодировать в вектор, поэтому в поисковую строку они не помещаются.
Social Department формулирует так: для ответа нужны две вещи, которых в поисковом индексе нет. Первая - редакционное определение «цитируемого» или «мемного» для конкретной библиотеки, у каждого шоу и бренда свои рамки. Вторая - постоянно обновляемый взгляд на то, что происходит вне библиотеки.
Раньше эти задачи решал человек с глубоким знанием шоу: садился и смотрел материал неделю. На одном сериале это работает, на каталоге из десятков шоу - нет.
Отсюда два независимых пайплайна в архитектуре: контентный, который один раз описывает видео, и трендовый, который постоянно обновляется. О них дальше.
Четыре действия и их критерии
Различие между действиями задают критерии отбора и стратегия ранжирования, а не отдельная модель под каждую кнопку. Индекс один, векторные представления сцен одни, а понимание «что считать хорошим результатом» для каждого действия своё.
- Shareable Scenes - фрагменты, которые хорошо смотрятся в шаринге: короткие, понятные без контекста серии.
- Quotable Quotes - реплики, пригодные для цитирования. Здесь есть дополнительная проверка: цитата отбрасывается, если её нет в транскрипте эпизода.
- Memeable Moments - кадры с мемным потенциалом: выразительная мимика, нелепая ситуация, узнаваемый жест.
- Trend Align - моменты из библиотеки, совпадающие с тем, что сейчас в тренде.
Конкретные веса, пороги и формулировки критериев Social Department не публиковала. Из описания продукта видно направление: правила формулируются один раз для библиотеки и дальше применяются к каждой сцене автоматически, без ручной разметки.
Общая схема: два независимых пайплайна и точка их встречи
Система делится на три части. Контентный пайплайн превращает загруженное видео в записи индекса: транскодинг, детекция сцен, эмбеддинги и описания, запись в хранилище. Пайплайн трендов собирает внешний контекст и держит его отдельно. Retrieval объединяет оба источника в момент запроса, отбирает кандидатов гибридным поиском и отдаёт финальное решение модели Claude.
Разделение вытекает из разной частоты обновления. Видео индексируется один раз: сцена, попавшая в библиотеку, не меняется. Тренды меняются ежедневно, иногда быстрее. Если держать их в одном индексе, каждое обновление фида тянуло бы переиндексацию библиотеки, а это самая дорогая операция в системе.
Оговорка по охвату: опубликованный разбор AWS описывает только облачную часть, то есть пайплайн приёма и индексации, путь retrieval и сервисы, которые их запускают. Медийный и дата-бэкбон, контент-аналитика и другие компоненты Social Department в этом материале не раскрыты.
Контент-пайплайн: как видео становится индексируемым
Порядок шагов фиксированный, каждый следующий зависит от предыдущего. Оркестрацию на AWS-стороне выполняет AWS Step Functions, вычисления - AWS Lambda. Дальше по конвейеру: транскодинг в AWS Elemental MediaConvert, детекция сцен в Amazon Rekognition, сцен-уровневое понимание через TwelveLabs Marengo 3.0 и Pegasus 1.2 на Amazon Bedrock, запись в Amazon OpenSearch Serverless.
Единица индексации - сцена, а не всё видео. Это ключевое решение: поиск возвращает конкретный клип с таймкодом, а не часовой эпизод с пометкой «где-то здесь». Остальная архитектура подчинена этому выбору.
Транскодинг и детекция сцен: подготовка материала
MediaConvert приводит исходник к виду, пригодному для машинной обработки: одинаковые параметры кадра и звука упрощают работу детектора сцен и моделей. Rekognition режет материал на сцены, и это влияет на всё дальше. Без нарезки нет ни сцен-уровневых эмбеддингов, ни описаний, ни точного возврата фрагмента: модель работала бы с усреднённым представлением эпизода.
Параметры пресетов и пороги детекции Social Department не публиковала. На практике здесь всегда есть компромисс: слишком крупные сцены размывают смысл, слишком мелкие дают сотни почти одинаковых фрагментов и раздувают индекс.
Эмбеддинги и описания сцен на Amazon Bedrock
Две модели TwelveLabs на Bedrock делят работу по типу выхода. Marengo 3.0 даёт мультимодальные эмбеддинги: сцена кодируется в вектор, и по нему работает семантический поиск. Pegasus 1.2 даёт текстовые описания сцен, и это уже другой продукт: текст можно передать в LLM вместе с критериями, а по нему же сверить сгенерированный вывод с исходником.
Смысл разделения простой. Вектор отвечает за «найти похожее», текст - за «объяснить и оценить». Если хранить только вектор, система умеет находить, но не показывает, почему результат попал в выдачу, и не даёт опоры для проверки цитаты по транскрипту. Обе модели живут в Amazon Bedrock, в одном контуре доступа с Claude, который включается на следующем шаге (описание пайплайна от AWS).
Что попадает в индекс
В индекс попадают векторные представления сцен и их текстовые описания. Из этого набора и получается гибридный поиск: векторная близость отвечает за семантику, текстовые сигналы - за точные формулировки, имена и реплики, которые чистый вектор иногда размывает. Схему полей и размерность векторов Social Department не раскрывала, на уровне логики важен сам факт двух каналов в одном документе.
Retrieval: дешёвый отбор кандидатов и дорогое ранжирование на Claude
Поиск идёт в две ступени. Первая - гибридный поиск в Amazon OpenSearch Serverless: быстро и относительно дёшево отбирает кандидатов по вектору и тексту. Вторая - ранжирование на моделях Anthropic Claude: модель получает кандидатов вместе с описаниями сцен и редакционными критериями конкретного действия и решает, что действительно цитируемо, мемно или годится для шаринга.
Экономика схемы в том, где работает дорогой инференс. Claude смотрит десятки кандидатов после отбора, а не миллион сцен целиком. Первая ступень может ошибаться и возвращать лишнее, её задача - не потерять хорошее. Вторая разбирается в смысле.
Почему не ранжировать всё LLM сразу
Стоимость и задержка растут вместе с числом объектов, отправленных в модель: каждый кандидат - это токены описания, критериев и инструкций. Прогнать через Claude всю библиотеку на каждый клик нельзя ни по цене, ни по времени ответа.
У схемы есть границы применимости. Двухступенчатый поиск оправдан на больших библиотеках, где доля релевантных сцен мала, а критерии тонкие. На архиве из нескольких сотен роликов разница между «отобрать 50 кандидатов и отранжировать» и «отранжировать всё» стирается, и лишняя ступень добавляет только точку отказа.
Похожая логика встречается в других AWS-решениях для сложных запросов: AgenticRetrieveStream разбивает вопрос на подзадачи и уточняет выдачу итеративно, платя за это дополнительными вызовами модели. Принцип общий: дорогие шаги применяют к узкому множеству.
Роль описаний сцен в ранжировании
Вектор хорош для поиска похожего, но плохо объясняет решение. По близости векторов нельзя сказать, почему сцена попала в выдачу, и нельзя проверить, не выдумала ли модель цитату. Текстовое описание закрывает обе задачи: оно уходит в промпт ранжирования как контекст и служит материалом для сверки.
Критерии для каждого из четырёх действий Social Department держит у себя, и именно они превращают общий поиск по библиотеке в четыре разные кнопки. Один и тот же клип может пройти в Memeable Moments и не пройти в Quotable Quotes: во втором случае нужна реплика, подтверждённая транскриптом, иначе результат отбрасывается.
Trend Align: отдельный пайплайн трендов и объединение в момент запроса
Trend Align отвечает на вопрос, который по одной библиотеке не решается: что из нашего материала совпадает с тем, что происходит вокруг прямо сейчас. Данные о трендах приходят из отдельного пайплайна, живут отдельно от индекса и соединяются с библиотекой в момент запроса. Это подтверждённая часть архитектуры, а деталей в опубликованном разборе AWS нет: список источников, модель редакционного фильтра и частоту обновления Social Department не раскрывала.
Зачем трендам собственный редакционный фильтр
Сырой трендовый фид для маркетинга бесполезен: в нём смешаны темы, которые к бренду отношения не имеют, и шум, который исчезнет через день. Между фидом и индексом нужен фильтр, который отсекает несовместимое с позиционированием клиента и оставляет темы, под которые реально можно подобрать материал.
Массовая фильтрация устроена иначе, чем финальное ранжирование. Глубина рассуждения здесь не нужна, нужна пропускная способность: тысячи единиц контента за раз, дёшево и быстро. Под такую нагрузку логично брать младшие модели семейства Claude на Bedrock, например Claude Haiku, которые заметно дешевле флагманов. В архитектуре QuickSearch конкретная модель этого шага не названа, поэтому воспринимайте это как типовой выбор под задачу, а не как подтверждённую деталь продукта.
Роли распределяются так же, как в контентном пайплайне: модель фильтрует, человек задаёт критерии. Фильтр не решает, что «в тренде», он отбрасывает то, что не прошло по заданным правилам.
Почему объединение отложено до запроса
Отложенное объединение даёт три эффекта. Тренды остаются свежими: библиотеку не надо переиндексировать, чтобы учесть вчерашний всплеск. Источники можно менять, не трогая контентный пайплайн. Стоимость пересчёта платится только за трендовую часть, а не за весь архив.
Цена тоже конкретна: путь запроса усложняется, появляется зависимость от доступности второго хранилища в момент клика, нужно следить за согласованностью версий, чтобы ранжирование не сравнивало тренд недельной давности с сегодняшним словарём.
Ключевые инженерные решения и их компромиссы
Четыре решения определяют поведение системы, и у каждого есть обратная сторона.
| Решение | Что даёт | Чем платите |
|---|---|---|
| Раздельные пайплайны контента и трендов | свежие тренды без переиндексации архива | усложнение пути запроса, зависимость от второго хранилища |
| Двухступенчатый retrieval | контроль стоимости инференса | риск, что хороший кандидат не прошёл первую ступень |
| Версионирование производных записей | выборочный пересчёт при смене модели или правил | дисциплина меток и миграций |
| Несколько моделей на Bedrock | подходящая модель под каждую задачу | больше мест, где меняется качество |
Версионирование кэша: зачем и что ломается без него
Эмбеддинги и описания зависят от версии модели, которая их построила. Редакционные критерии - от версии правил. Когда меняется модель или формулировка критериев, старые записи перестают быть сопоставимыми с новыми: вектор из одной модели нельзя честно сравнивать с вектором из другой, а наполовину переписанные критерии дают несогласованную выдачу.
Версионирование решает эту проблему: у каждой производной записи есть метка, по которой видно, какой моделью и по каким правилам она получена. Тогда при смене модели пересчитывается только затронутая часть библиотеки. Без метки обновление превращается либо в переиндексацию «на всякий случай», либо в тихое смешение несовместимых представлений.
Схему ключей и стратегию инвалидации Social Department в открытом материале не описывала. Логика выше следует из устройства пайплайна, это не цитата из документации продукта.
Мультимодельность на Amazon Bedrock
В одном продукте работают модели трёх ролей: Marengo 3.0 даёт эмбеддинги, Pegasus 1.2 - описания сцен, Claude - ранжирование и редакционную логику. Под каждую задачу выбран свой класс модели, и это дешевле, чем искать один универсальный вариант.
Bedrock выполняет две функции: доступ к моделям и границу данных. Модели решения работают на Bedrock, данные клиентов остаются в границах AWS, не передаются провайдерам моделей и не используются для их обучения (по описанию AWS). Для студии, которая грузит в систему невышедшие эпизоды, это весомее нескольких процентов разницы в качестве ранжирования.
Безопасность и ответственный ИИ в контуре
Защита встроена в конкретные точки пайплайна. Поисковый текст клиента проверяет Amazon Bedrock Guardrails: он ищет признаки промпт-атаки, то есть попытки через строку поиска переписать инструкции модели.
Вторая точка - проверка вывода кодом. Сгенерированный результат сверяется с исходным материалом: цитата отбрасывается, если её нет в транскрипте эпизода. Операция дешёвая по сравнению с инференсом, а закрывает самый неприятный класс ошибок в маркетинге развлечений, когда система приписывает персонажу фразу, которой он не говорил.
Третья точка - человек. Принцип Social Department звучит как «ИИ предлагает, люди решают»: каждый пост перед публикацией одобряет сотрудник команды клиента. Система сокращает путь до кандидатов, финальное решение остаётся за человеком.
Сроки: что на самом деле означают заявленные «с 3-4 дней до 10 минут»
Social Department заявляет, что поиск момента сокращается с 3-4 дней ручного просмотра до примерно 10 минут работы с системой. Это наблюдение компании о собственном продукте, а не контролируемый бенчмарк.
Что именно сравнивается: с одной стороны человек с глубоким знанием шоу, который пересматривает материал, с другой - маркетолог, который нажимает действие и просматривает вернувшиеся клипы. Второй сценарий не отменяет просмотра: выдачу нужно проверить, а публикацию одобрить.
Независимо проверить цифру нельзя: открытой методики нет, а результат зависит от размера библиотеки, качества транскриптов и того, насколько точно описаны критерии для конкретного шоу. Разумный способ использовать цифру - как порядок величины. Разница между днями и минутами реальна, обещание «ровно 10 минут» на вашем каталоге может не выполниться.
Что из этого подхода стоит перенять
Несколько решений переносятся на любой проект, где нужно искать по медиа, а не по тексту.
- Индексируйте сцену, а не файл. Если задача - возвращать конкретные фрагменты, единицей индексации должна быть сцена с таймкодом. Иначе модель отвечает «примерно здесь», и человек всё равно идёт смотреть.
- Разделяйте быстрое и медленное. Внешний контекст, который меняется каждый день, держите отдельно от контента и соединяйте в момент запроса. Вы заплатите усложнением пути запроса, но перестанете переиндексировать архив из-за обновления фида.
- Стройте две ступени, если библиотека большая. Дешёвый отбор кандидатов и дорогое ранжирование на LLM дают контроль стоимости. На малом архиве вторую ступень можно оставить, а первую упростить вплоть до одного векторного поиска.
- Храните текст рядом с вектором. Описания сцен нужны для объяснимости и для проверки вывода по исходнику. Без них уверенную галлюцинацию не отличить от реальной цитаты.
- Версионируйте производные артефакты. Метка модели и версии правил позволяет пересчитывать часть библиотеки вместо всей.
Границы у подхода есть. Нужен зрелый облачный стек и доступ к нескольким моделям сразу, а редакционные критерии придётся формулировать самостоятельно: их нельзя скопировать из чужого продукта, потому что «цитируемое» для одного шоу и для другого - разные вещи.
Если ваш случай проще и речь о поиске по документам, а не по видео, начинать стоит с managed-сервисов: часть сценариев закрывает Amazon Bedrock Knowledge Bases без сборки пайплайна. Когда основной расход упирается в токены, посмотрите в сторону сжатия базы знаний: TAKC сжимает её в 8-64 раза для аналитических запросов, но ценой становится потеря деталей.