Перейти к содержанию
Публикация AiManual

LLM-as-a-judge в деле: как Standard Bank автоматизировал оценку рисков генеративного AI на AWS

Standard Bank Group вместе с AWS Professional Services построил в своём AWS-аккаунте пайплайн оценки рисков генеративного AI: доказательства из документов, кода

Коротко

Что будет в материале

  1. 01

    Что именно автоматизировал Standard Bank: суть кейса и границы применимости

  2. 02

    Почему ручная оценка перестала масштабироваться

  3. 03

    Архитектура пайплайна: от intake до отчётов в AWS-аккаунте банка

  4. 04

    Как работает LLM-as-a-judge при проверке на соответствие стандартам

Что именно автоматизировал Standard Bank: суть кейса и границы применимости

Standard Bank Group вместе с AWS Professional Services построил в собственном AWS-аккаунте автоматизированную оценку рисков генеративного AI. Система собирает доказательства из документации, политик, исходного кода и живых тестов приложения, а foundation model на Amazon Bedrock в режиме LLM-as-a-judge сверяет их с международными AI-стандартами и внутренними политиками банка. Публикация AWS о кейсе Standard Bank описывает задачу так: автоматизировать сбор доказательств и тестирование, не вынося данные за пределы аккаунта банка.

Граница применимости проходит по слову «сертификация». Система собирает и структурирует доказательства, автоматизирует проверки и готовит отчёты. Она не сертифицирует соответствие регуляторным требованиям. Рассмотрение и одобрение остаются за риск-комитетом: автоматизация меняет качество и единообразие доказательств, решение человека не подменяет.

Кейс полезен командам, которые строят AI-гейты и governance: видно, как соединить политики, код, живые тесты и LLM-оценку в один пайплайн с прослеживаемостью. Полезен он и тем, кто думает, можно ли доверить LLM проверку комплаенса, и хочет увидеть ограничения до запуска.

Почему ручная оценка перестала масштабироваться

У Standard Bank уже была зрелая практика управления модельными рисками, которая покрывала объяснимость и справедливость, и change risk process, оценивавший каждый новый сценарий по уровню риска до запуска. Новая AI-политика банку не потребовалась. AWS отмечает, что опора на действующие процессы была частью замысла.

Политики были. Сложность создал темп: модели и инструменты меняются каждые три-шесть месяцев, а каждый сценарий по-прежнему должен проходить одну и ту же высокую планку безопасности и комплаенса. Ручной сбор доказательств по каждому сценарию плохо масштабируется. Команды готовят разные пакеты, проверяющие задают разные вопросы, и риск-комитету сложно сравнивать сценарии между собой.

Цель системы сформулирована прямо: автоматизировать сбор доказательств и тестирование, а результаты направлять в уже существующие гейты одобрения. Автоматизация ускоряет подготовку материалов для гейтов, сами гейты и решение комитета остаются на месте.

Архитектура пайплайна: от intake до отчётов в AWS-аккаунте банка

Пайплайн работает внутри AWS-аккаунта банка. Схема из публикации AWS раскладывает его на приём заявки, оркестрацию, хранение доказательств, оценку моделью и отчётность.

ЭтапКомпонентРоль
Приём заявкиAWS Well-Architected ToolПринимает сценарий и задаёт структуру оценки.
ОркестрацияAWS Step FunctionsВедёт пайплайн через оценку к отчётности.
Хранение доказательствAmazon S3Держит документы, код и результаты тестов в аккаунте банка.
ОценкаFoundation model на Amazon BedrockПроверяет доказательства по заданным критериям.
ОтчётностьОтчёты и дашбордПоказывают, что внедрено, что работает хорошо и что требует мер.

Документы, код и результаты тестов остаются в Amazon S3 bucket в AWS-аккаунте банка. Это архитектурное решение снижает число согласований с внешними сервисами и упрощает контроль доступа.

Выбор Amazon Bedrock объясняется просто: банк использует foundation model, не выходя за рамки уже действующих контролей на AWS. Ему не нужно строить отдельный контур безопасности под внешнюю модель и заново согласовывать передачу данных.

Роль guardrails и живых тестов приложения в сборе доказательств

Доказательства собираются из четырёх групп: документация, политики, исходный код и живые тесты приложения. Статичные артефакты показывают, что заявлено. Живые тесты показывают, что происходит при реальных запросах. Разница принципиальная: документ может описывать ограничение, которого нет в конфигурации, а конфигурация может содержать guardrail, который обходится неудачным промптом.

Guardrails в этой логике — технический слой ограничений: механизмы контроля, которые направляют и ограничивают действия AI-системы и предотвращают вредоносное, некорректное или непреднамеренное поведение модели. Из-за стохастичности LLM такие ограничения нужны не только на входе, но и на выходе модели. В пайплайне оценки проверяется, какие ограничения включены, как они настроены и что происходит при их срабатывании. Если guardrails не проверять живыми тестами, отчёт покажет наличие настройки, но не устойчивость к обходу.

Какие именно guardrails и модели настроены у Standard Bank, публикация AWS не раскрывает. Поэтому речь о роли такого слоя в сборе доказательств, а не о конкретной конфигурации банка.

Как работает LLM-as-a-judge при проверке на соответствие стандартам

LLM-as-a-judge означает, что большая языковая модель проверяет доказательства на соответствие заданным критериям. В кейсе Standard Bank критерии — международные AI-стандарты и внутренние политики банка, разложенные на конкретные проверки.

Единица работы здесь — не сценарий целиком, а отдельный пункт политики, превращённый в проверяемое утверждение. Модель ищет в доказательствах подтверждение, отсутствие подтверждения или противоречие. Вывод должен ссылаться на пункт стандарта и фрагмент доказательства, иначе ревьюеру нечего проверять.

Акцент сделан на прослеживаемости: каждый вывод привязан к конкретному пункту стандарта или политики. Это отличает оценку от вопроса «спросили у LLM, безопасно ли». Модель не выносит общее суждение о сценарии, она отвечает по каждому критерию отдельно.

Результаты сводятся в отчёты для разных аудиторий и дашборд. Отчёты показывают, что уже внедрено, что работает хорошо и что требует мер.

Ограничение встроено в саму механику. LLM-судья оценивает соответствие сформулированным критериям, а качество вывода зависит от качества формулировок политик и полноты доказательств. Финальное решение остаётся за людьми.

Почему выводы должны ссылаться на пункт стандарта, а не быть «мнением модели»

Вывод без ссылки на пункт стандарта трудно оспорить и трудно принять. Прослеживаемость превращает ответ модели в проверяемое утверждение: ревьюер открывает пункт стандарта, смотрит фрагмент доказательства и решает, согласен он или нет. Спор идёт о факте и его трактовке, а не о том, что модель «почувствовала».

Это же свойство делает отчёты пригодными для риск-комитета. Комитету нужна не красивая сводка, а возможность увидеть основание каждого вывода и зону, где доказательств не хватает.

Как LLM-as-a-judge применяют к длинным отчётам и какие ошибки калибровки встречаются, разобрано в отдельном кейсе Similarweb. Формат хранения ссылок и структуру отчётов Standard Bank публикация AWS не детализирует.

Что изменилось для риск-комитета и процесса одобрения

Рассмотрение и одобрение остаются за риск-комитетом. Автоматизация меняет основание решения: комитет получает единообразно собранные доказательства по всем сценариям, а не разнородные пакеты от разных команд. Результаты направляются в уже существующие гейты одобрения.

Отчёты показывают, что уже внедрено, что работает хорошо и что требует мер. Комитет видит остаточный риск, а не бинарный статус «прошёл» или «не прошёл». Это важный сдвиг: обсуждение переходит от полноты пакета документов к содержанию замечаний и плану их устранения.

Система не сертифицирует соответствие регуляторным требованиям. Юридическую интерпретацию и финальное одобрение она не заменяет. Jörg Fischer, group chief information officer Standard Bank Group, публично говорил об обязательном обучении сотрудников по этике AI и о риск-процессах, которым они должны следовать до запуска AI-сценариев. Логика та же: ускорить подготовку решения, а не передать решение модели.

Для комитета полезно заранее определить, какие выводы можно принимать автоматически, какие требуют выборочной проверки, а какие — ручного разбора. Как выбрать стратегию проверки по цене ошибки и объёму потока, разобрано в материале о human-in-the-loop для LLM.

Ограничения подхода и когда он не сработает

  1. Политики написаны лозунгами. Проверяемые утверждения требуют формулировок, которые можно подтвердить артефактом. Если пункт звучит как «мы ответственно относимся к AI», проверить нечего.
  2. Нет дисциплины доказательств. Нужны доступ к коду, конфигурациям и живым тестам. Без этого LLM-судья оценивает пустоту, а отчёт создаёт ложное чувство контроля.
  3. Ждут сертификации. Система собирает доказательства, но не снимает юридическую и регуляторную ответственность. Финальное одобрение остаётся за людьми.
  4. Критерии надо поддерживать. Модели и инструменты меняются каждые три-шесть месяцев, формулировки проверок и тесты устаревают. Нужен владелец, который обновляет критерии вместе с изменениями в приложении.
  5. LLM-судья нестабилен на пограничных случаях. Нужна калибровка, выборочная проверка человеком и понятные правила, что делать при противоречивых доказательствах.
  6. Поток сценариев маленький. На одном-двух сценариях выгода может не покрыть работу по формализации политик и сбору доказательств. Подход раскрывается на потоке.

Как повторить подход: практический чек-лист для пилота

  1. Инвентаризируйте сценарии генеративного AI и заведите приём заявок. Аналог AWS Well-Architected Tool или собственный реестр. Критерий готовности: у каждого сценария есть владелец, описание, данные и предполагаемый уровень риска.
  2. Разложите применимые стандарты и внутренние политики на проверяемые утверждения. Критерий: каждый пункт можно подтвердить или опровергнуть конкретным артефактом. Начните с ограниченного набора проверок и расширяйте его по мере отладки, а не пытайтесь сразу покрыть весь объём политик.
  3. Определите источники доказательств и место их хранения. Документация, код, результаты тестов, конфигурация guardrails. Критерий: доказательства воспроизводимы и не покидают ваш аккаунт без согласованного контроля доступа.
  4. Соберите оркестрацию и оценку моделью. Step Functions как ориентир для пайплайна, Bedrock или аналог для foundation model. Каждый вердикт должен содержать пункт критерия, фрагмент доказательства и отметку, чего не хватило. Для маршрутизации проверок по риску и порогам полезен разбор о human-in-the-loop для AI-агента.
  5. Настройте отчётность для двух аудиторий. Технический отчёт: какие проверки не подтверждены и каких доказательств не хватает. Управленческий отчёт: остаточный риск, замечания и меры. Дашборд должен показывать статус по сценариям, а не только общий процент.
  6. Прогоните пилот на нескольких сценариях и замерьте эффект. Время цикла по этапам (заявка, сбор доказательств, оценка, отчёт), доля выводов, принятых ревьюером без правок, число замечаний на сценарий и доля проверок без найденных доказательств. Сравните с ручным процессом на тех же сценариях.

Граница самостоятельной проверки проходит по юридической интерпретации применимых стандартов и финальному одобрению сценариев. Это задача риск-комитета и комплаенса, а не инженерной команды. Инженеры отвечают за полноту доказательств, работу пайплайна и прослеживаемость выводов.

Что забрать из кейса Standard Bank

Кейс Standard Bank показывает рабочий паттерн: автоматически собираем доказательства, оцениваем моделью по формализованным критериям, отдаём людям с прослеживаемостью. Ценность в превращении политик в проверяемые тесты и привязке выводов к пунктам стандартов. LLM-судья сам по себе governance не даёт.

Главное ограничение: система не сертифицирует соответствие и не заменяет риск-комитет. Решение для читателя простое. Если у вас есть зрелые политики и поток AI-сценариев, подход стоит пилотировать. Если политики пока общие формулировки, начинайте с них: пайплайн без проверяемых критериев даст красивый отчёт без управленческой ценности.

Подписаться на канал