Перейти к содержанию
Публикация AiManual

Закрытые системные промпты фронтир-моделей: в чём проблема и что делать разработчику

Фронтир-лаборатории не обязаны показывать системные промпты даже для аудита под NDA. Разбираем, чем это грозит разработчикам на API, где рискует закон и какие п

Коротко

Что будет в материале

  1. 01

    Что такое системный промпт и почему его закрытость - отдельная проблема

  2. 02

    Почему лаборатории скрывают системные промпты: аргументы за закрытость

  3. 03

    Аргументы против: чем опасна непрозрачность системных промптов

  4. 04

    Как это масштабируется через API: пример с диспетчерской службой

Фронтир-лаборатории не обязаны раскрывать системные промпты своих моделей: ни публиковать их для внешней инспекции, ни отдавать на аудит третьей стороне под NDA. С этой констатации начинается обсуждение, которое в ноябре 2026 года запустил автор поста в r/LocalLLaMA (Why does everyone seem ok with the lack of transparency in frontier model system prompts?). Вопрос поставлен прямо: кто проверяет правила, встроенные в модель, и что мешает этим правилам работать против интересов того, кто строит продукт поверх API.

Системный промпт не отвечает за тон и стиль. Это управляющий слой: он задает рамку для каждого ответа, включая те, что уходят в диспетчерские системы, банковских ботов, медицинских ассистентов и корпоративных агентов. Пока этот слой нельзя проверить, разработчик не знает, какие правила на самом деле применяются к его запросу.

Ниже разбор аргументов за закрытость и против нее, плюс набор мер, которые снижают риск уже сейчас. Гипотетические сценарии помечены явно. Выдуманных инцидентов с названиями компаний в тексте нет.

Что такое системный промпт и почему его закрытость - отдельная проблема

Провайдер может менять правила поведения без переобучения модели и без обновления вашего кода. Поведение продукта сдвигается, changelog молчит, откатиться некуда. Скрытый текст промпта сам по себе не аномалия: внутренние настройки есть у любого продукта. Аномалия в другом: нет механизма проверки содержимого и эффектов, и нет способа оспорить правило, которого вы не видите.

Чем системный промпт отличается от запроса пользователя

API разделяет роли: system-сообщение задает рамку, user-сообщение описывает задачу, assistant-сообщение возвращает ответ. Запрос живет в одном диалоге: «перепиши письмо», «сравни два тарифа», «найди ошибку в коде». Правила системного уровня действуют на все вызовы подряд, независимо от того, о чем именно спросили.

Когда вы обращаетесь к закрытой фронтир-модели через API, вы управляете своим сообщением и, как правило, видите только ответ. Вендорский слой инструкций остается за границей видимости: полного текста правил нет ни в ответе, ни в документации. Вы можете задать свой system-промпт, но не факт, что он единственный: провайдер способен добавить собственные инструкции выше или ниже вашего уровня.

Эффект смены рамки легко наблюдать на практике. В разборе ролевого промпта на Алисе и GigaChat видно, как переформулировка инструкции переводит отказ в развернутый ответ на тот же вопрос. Механизм работает в обе стороны: скрытая рамка меняет ответы так же незаметно, как и ваша собственная.

Почему «секретный соус» и «управляющие правила» - не одно и то же

Веса, архитектура, датасет и пайплайн обучения - дорогой актив, и его защита понятна. Правила поведения устроены иначе: они не воспроизводят модель, зато распределяют выгоду и риски между владельцем модели и тем, кто ее вызывает. Автор поста формулирует это как риск: лаборатория может встроить в системный промпт коммерческие защитные правила, которые управляют каждым решением модели, и об этом никто не узнает (обсуждение в r/LocalLLaMA).

Это формулировка опасения, а не доказанный факт о конкретной компании. Ценность формулировки в другом: она показывает, что защита интеллектуальной собственности и защита правил поведения решают разные задачи. Первую можно закрыть NDA-аудитом без публикации весов. Вторая упирается в вопрос, кто и по какому мандату читает текст правил.

Почему лаборатории скрывают системные промпты: аргументы за закрытость

Сильная версия позиции лабораторий выглядит так.

  • Конкурентное преимущество. Текст промпта описывает продукт: какие ограничения выставлены, как обрабатываются пограничные запросы, какие сценарии отсекаются. Это подсказка для конкурентов и для тех, кто ищет обход.
  • Защита от обхода. Точные правила фильтрации упрощают подбор формулировок, которые их обходят. Публикация превращает проверку на устойчивость в готовый рецепт.
  • Издержки аудита. Проверка требует NDA, юристов, времени инженеров и защищенного канала передачи. Расходы ложатся на лабораторию, выгода размазана по рынку.
  • Ложное чувство контроля. Поведение зависит от весов, данных и обучения, а не только от текста инструкции. Публикация промпта создает иллюзию прозрачности там, где ее нет.

Компромисс, который в обсуждении называют минимально допустимым уровнем, - аудит третьей стороной под NDA. Он не раскрывает «секретный соус» публике, но дает независимому проверяющему доступ к тексту правил. Аргументы выше объясняют, почему промпт не выкладывают в открытый доступ. Они не объясняют, почему нет аудита под NDA: этот вариант не требует публикации и не отдает правила конкурентам.

Аргументы против: чем опасна непрозрачность системных промптов

Риски идут тремя линиями, и все три упираются в отсутствие независимой проверки.

Скрытые правила и закон: где может возникнуть конфликт

Вопрос из исходного обсуждения звучит коротко: что если правила системного промпта противоречат закону. Проверить это снаружи нечем. Классов конфликта несколько, и ни один не требует злого умысла.

  • Правило мешает раскрыть информацию, которую клиент обязан получить: например, ограничивает объяснение причин отказа.
  • Правило подталкивает к определенному ответу в регулируемой сфере: кредитование, подбор персонала, медицинская информация.
  • Правило скрывает факт сбора или использования данных, о котором пользователь должен знать.

В работе об ИИ-агентах в следственной деятельности среди причин риска названы отсутствие прозрачности алгоритмов, невозможность независимой экспертизы их работы и потенциальный конфликт интересов между задачами правосудия и коммерческими интересами разработчиков (ИИ-агенты в следственной деятельности). Контекст там специфический, переносить выводы на любой сценарий использования API нельзя. Структура риска при этом та же: проверяет тот, у кого нет полномочий, а отвечает тот, у кого нет доступа к правилам.

Незаметное смещение решений в пользу владельца модели

Малозаметные подталкивания встроить проще, чем кажется. Правило вида «при равных вариантах предпочитай...» не ломает продукт и не выглядит цензурой. Оно сдвигает распределение ответов на несколько процентных пунктов в сторону, выгодную владельцу модели: собственный сервис, партнерский провайдер, удобная для лаборатории интерпретация спорного вопроса.

Обнаружить такой сдвиг по одному ответу невозможно. Нужны тысячи однотипных запросов, контрольная группа и понимание базовой линии. Разработчик видит один ответ в реальном времени и не видит распределение. Технические векторы такой предвзятости и способы ее искать мы разбирали в материале о скрытом влиянии закрытых AI-моделей.

Конфликт интересов здесь встроен в конструкцию. Модель принадлежит одной компании, решения принимает в продукте другой, и проверить, чьи интересы победили в конкретном правиле, снаружи нечем.

Почему интерпретируемость не спасает положение

Соблазн простой: заглянуть внутрь модели и посмотреть, как она думает. Современные LLM - нейронные сети с миллиардами параметров, и их внутренние механизмы не поддаются непосредственному анализу и верификации (cyberleninka.ru). Один и тот же текст инструкции в разных моделях дает разное поведение, а внутри одной модели эффект зависит от контекста.

Отсюда практический вывод: опубликованный промпт не равен прозрачности поведения. Текст правил читается, но его влияние на конкретный ответ проверяется только поведенческими тестами: наборами запросов, red teaming, сравнением версий модели на своих данных. Такие тесты дорогие и всегда неполные. Они дают оценку, а не гарантию.

Как это масштабируется через API: пример с диспетчерской службой

Автор поста предлагает мысленный эксперимент. Система пожарно-спасательной диспетчеризации подключена через API к модели и использует ее, чтобы решать, какие вызовы приоритетны. В системном промпте гипотетически есть строка в духе «protect the provider at all costs». Дальше вопрос: как поведет себя модель, если приходит вызов о пожаре в офисе конкурирующей лаборатории.

Подчеркну: это гипотетический сценарий из обсуждения, построенный по схеме «what if», а не зафиксированный инцидент. Ни одна из описанных ситуаций не подтверждена публичными данными. Ценность сценария в том, что он показывает механику, а не обвиняет конкретную компанию.

Что именно ломается в сценарии с приоритизацией вызовов

  1. Диспетчер принимает вызов и формирует запрос: адрес, тип происшествия, загруженность бригад.
  2. Запрос уходит в API, где к нему применяется провайдерский слой правил, недоступный разработчику.
  3. Модель возвращает приоритет и короткое обоснование.
  4. Разработчик видит приоритет и обоснование, но не правила, которые их сформировали.
  5. На одном вызове смещение не заметно. На десятках тысяч вызовов оно превращается в статистику, которую никто не собирает.

Цена ошибки в такой системе измеряется минутами и жизнями, и это худший случай для непрозрачного слоя. Обоснование от модели тоже не спасает: текст объяснения генерируется той же моделью и может описывать причину иначе, чем она реально повлияла на решение.

Почему один промпт - это риск для сотен тысяч систем

Одна и та же строка правил работает во всех продуктах, подключенных к тому же API. Автор поста предлагает масштабировать сценарий: сотни тысяч систем принимают схожие решения на основе системного промпта, который регуляторы и публика проверить не могут (обсуждение в r/LocalLLaMA).

Злой умысел для этого не нужен. Достаточно непроверенного правила, устаревшей инструкции или настройки, которую посчитали безобидной. Каждый разработчик видит только свой кусок: свои логи, свои метрики, свой поток запросов. Агрегированной картины нет ни у кого, кроме владельца API.

Открытые модели как контраст: что реально дает контроль

Открытая модель убирает главный слой неопределенности. Системный промпт пишете вы, он лежит в вашем репозитории и версионируется вместе с кодом. Трассы рассуждений, если модель их отдает, тоже ваши. Карточка модели показывает, на каких данных ее обучали, с какими ограничениями и на каком языке.

Границы у этого контроля есть, и о них стоит говорить прямо. «Открытая» бывает разной: открытые веса без описания данных, открытые веса с карточкой, полностью открытый пайплайн с данными и кодом обучения. Качество на сложных задачах у локальной модели часто ниже фронтирной, а железо, обслуживание и обновления ложатся на вас.

Что вы контролируете в открытой модели, а что нет

Контролируете: текст и версии системного промпта, выбор модели и ее квантования, данные для дообучения, логи, воспроизводимость ответа при фиксированных параметрах. Не контролируете: внутренние механизмы сети, качество на задачах, где фронтир-модель сильнее, и стоимость инференса при росте нагрузки.

Что проверяетсяФронтир-модель через APIОткрытая модель локально
Текст системного промптаСвой задаете вы, вендорский слой не виденПолностью ваш
Данные обученияКак правило, не раскрываютсяЗависит от карточки: часть лабораторий публикует состав данных, часть нет
Трассы рассужденийПо решению вендора, часто скрытыДоступны, если модель их отдает
Логи вызововОграничены условиями сервисаНа вашей стороне
Внутренние механизмы сетиНе верифицируютсяНе верифицируются

Практический вывод: для сценариев с высокой ценой ошибки локальный контроль над промптом - весомый аргумент. Он не делает систему прозрачной до конца, зато убирает риск правила, о котором вы не знаете.

Практические меры: что можно сделать уже сейчас

Меры ниже не открывают системный промпт. Они снижают ущерб от правила, которое вы не видите, и дают данные для собственных выводов.

Разделяйте предложение и действие

Черновик внутреннего резюме, изменение записи в счете и отправка сообщения клиенту - разные действия с разной ценой ошибки. Выдавать модели право на все три только потому, что они в одном процессе, не стоит (Human approval in AI workflows). Рабочая схема: модель предлагает, код исполняет. Права на запись выдаются точечно, по одному типу операции, со списком полей, которые разрешено менять.

Отдельно проверяйте границу исполнения. Агент может формально не иметь прав, а нижележащий узел автоматизации все равно выполнит изменение. Разбор такого случая есть в кейсе про runtime-контроль на n8n, DeepSeek и HubSpot: там про детерминированный gateway на границе исполнения и вопросы, которые стоит задать до production rollout.

Детерминированные проверки вокруг вывода модели

Модель предлагает факт, проверка его подтверждает. В иллюстративном пилоте обработки счетов ИИ-компонент предлагает название поставщика и категорию, а детерминированная проверка подтверждает, что поставщик существует и обязательные поля заполнены (Human approval in AI workflows). Прием масштабируется: сумма в допустимом диапазоне, артикул есть в каталоге, ссылка ведет на разрешенный домен, статус не противоречит предыдущему.

Проверка не читает системный промпт, зато ограничивает ущерб: скрытое правило может подтолкнуть модель к неверному выбору, а проверка не даст этому выбору уйти в действие. Бюджет ошибки стоит считать заранее. В материале о качестве цепочки вызовов LLM показано, как цепочка из шагов 95%, 80% и 99% дает на выходе 75%, и почему потолок качества системы около 90%.

Надзор, который действительно работает

Кнопка Approve не создает надзора. Проверяющему нужны доказательства, время и полномочия отклонить результат, а процессу нужен безопасный путь, когда никто не отвечает (Human approval in AI workflows). Чек-лист для проектирования такого надзора:

  • Что видит проверяющий: исходный запрос, ответ модели, сработавшие проверки, источник данных.
  • Сколько у него времени и совпадает ли это с SLA продукта.
  • Может ли он отклонить результат и что происходит с задачей после отказа.
  • Что срабатывает по таймауту: эскалация, безопасное значение по умолчанию, остановка.
  • Как решение и его причина пишутся в лог, чтобы потом можно было пересчитать.

К этому добавляются меры вокруг самой модели: логировать версию модели и дату каждого вызова, прогонять регулярные evals на своих данных при смене версии, выбирать открытую модель для сценариев с высокой ценой ошибки, спрашивать вендора про NDA-аудит.

Что спрашивать у вендора и регулятора

Список вопросов, которые имеет смысл задать до того, как продукт начнет принимать решения на основе чужой модели.

  • Допускается ли аудит системного промпта третьей стороной под NDA, и кто выбирает аудитора.
  • Какие правила поведения задекларированы, где они опубликованы, как вендор уведомляет об их изменении.
  • Есть ли версионирование поведения, или модель меняется без предупреждения.
  • Можно ли выгрузить логи вызовов в объеме, достаточном для собственных evals.
  • Как проверяется соблюдение гарантий: даже при задекларированной политике конфиденциальности техническая возможность верификации ее соблюдения отсутствует (cyberleninka.ru).

К регулятору вопрос формулируется проще: обязать аудит под NDA или публикацию. Данных о том, как этот вопрос решен в конкретных юрисдикциях, в открытых источниках на момент публикации нет, поэтому здесь речь о требованиях, которые только предстоит сформулировать.

Итог: что важно запомнить

Закрытый системный промпт - непроверяемый управляющий слой. Риск масштабируется через API: одно правило работает в тысячах продуктов, а увидеть его эффект можно только статистикой, которую мало кто собирает. Открытые модели дают контроль над промптом, данными и трассами рассуждений, но не отменяют черный ящик внутри сети.

Что делать дальше: разделить предложение и действие, поставить детерминированные проверки на границе исполнения, настроить надзор с реальными полномочиями и запросить у вендора условия NDA-аудита. Первый шаг можно сделать на этой неделе: выписать, какие действия в вашем продукте модель выполняет сама, а какие должна только предлагать.

Подписаться на канал