Фронтир-лаборатории не обязаны раскрывать системные промпты своих моделей: ни публиковать их для внешней инспекции, ни отдавать на аудит третьей стороне под NDA. С этой констатации начинается обсуждение, которое в ноябре 2026 года запустил автор поста в r/LocalLLaMA (Why does everyone seem ok with the lack of transparency in frontier model system prompts?). Вопрос поставлен прямо: кто проверяет правила, встроенные в модель, и что мешает этим правилам работать против интересов того, кто строит продукт поверх API.
Системный промпт не отвечает за тон и стиль. Это управляющий слой: он задает рамку для каждого ответа, включая те, что уходят в диспетчерские системы, банковских ботов, медицинских ассистентов и корпоративных агентов. Пока этот слой нельзя проверить, разработчик не знает, какие правила на самом деле применяются к его запросу.
Ниже разбор аргументов за закрытость и против нее, плюс набор мер, которые снижают риск уже сейчас. Гипотетические сценарии помечены явно. Выдуманных инцидентов с названиями компаний в тексте нет.
Что такое системный промпт и почему его закрытость - отдельная проблема
Провайдер может менять правила поведения без переобучения модели и без обновления вашего кода. Поведение продукта сдвигается, changelog молчит, откатиться некуда. Скрытый текст промпта сам по себе не аномалия: внутренние настройки есть у любого продукта. Аномалия в другом: нет механизма проверки содержимого и эффектов, и нет способа оспорить правило, которого вы не видите.
Чем системный промпт отличается от запроса пользователя
API разделяет роли: system-сообщение задает рамку, user-сообщение описывает задачу, assistant-сообщение возвращает ответ. Запрос живет в одном диалоге: «перепиши письмо», «сравни два тарифа», «найди ошибку в коде». Правила системного уровня действуют на все вызовы подряд, независимо от того, о чем именно спросили.
Когда вы обращаетесь к закрытой фронтир-модели через API, вы управляете своим сообщением и, как правило, видите только ответ. Вендорский слой инструкций остается за границей видимости: полного текста правил нет ни в ответе, ни в документации. Вы можете задать свой system-промпт, но не факт, что он единственный: провайдер способен добавить собственные инструкции выше или ниже вашего уровня.
Эффект смены рамки легко наблюдать на практике. В разборе ролевого промпта на Алисе и GigaChat видно, как переформулировка инструкции переводит отказ в развернутый ответ на тот же вопрос. Механизм работает в обе стороны: скрытая рамка меняет ответы так же незаметно, как и ваша собственная.
Почему «секретный соус» и «управляющие правила» - не одно и то же
Веса, архитектура, датасет и пайплайн обучения - дорогой актив, и его защита понятна. Правила поведения устроены иначе: они не воспроизводят модель, зато распределяют выгоду и риски между владельцем модели и тем, кто ее вызывает. Автор поста формулирует это как риск: лаборатория может встроить в системный промпт коммерческие защитные правила, которые управляют каждым решением модели, и об этом никто не узнает (обсуждение в r/LocalLLaMA).
Это формулировка опасения, а не доказанный факт о конкретной компании. Ценность формулировки в другом: она показывает, что защита интеллектуальной собственности и защита правил поведения решают разные задачи. Первую можно закрыть NDA-аудитом без публикации весов. Вторая упирается в вопрос, кто и по какому мандату читает текст правил.
Почему лаборатории скрывают системные промпты: аргументы за закрытость
Сильная версия позиции лабораторий выглядит так.
- Конкурентное преимущество. Текст промпта описывает продукт: какие ограничения выставлены, как обрабатываются пограничные запросы, какие сценарии отсекаются. Это подсказка для конкурентов и для тех, кто ищет обход.
- Защита от обхода. Точные правила фильтрации упрощают подбор формулировок, которые их обходят. Публикация превращает проверку на устойчивость в готовый рецепт.
- Издержки аудита. Проверка требует NDA, юристов, времени инженеров и защищенного канала передачи. Расходы ложатся на лабораторию, выгода размазана по рынку.
- Ложное чувство контроля. Поведение зависит от весов, данных и обучения, а не только от текста инструкции. Публикация промпта создает иллюзию прозрачности там, где ее нет.
Компромисс, который в обсуждении называют минимально допустимым уровнем, - аудит третьей стороной под NDA. Он не раскрывает «секретный соус» публике, но дает независимому проверяющему доступ к тексту правил. Аргументы выше объясняют, почему промпт не выкладывают в открытый доступ. Они не объясняют, почему нет аудита под NDA: этот вариант не требует публикации и не отдает правила конкурентам.
Аргументы против: чем опасна непрозрачность системных промптов
Риски идут тремя линиями, и все три упираются в отсутствие независимой проверки.
Скрытые правила и закон: где может возникнуть конфликт
Вопрос из исходного обсуждения звучит коротко: что если правила системного промпта противоречат закону. Проверить это снаружи нечем. Классов конфликта несколько, и ни один не требует злого умысла.
- Правило мешает раскрыть информацию, которую клиент обязан получить: например, ограничивает объяснение причин отказа.
- Правило подталкивает к определенному ответу в регулируемой сфере: кредитование, подбор персонала, медицинская информация.
- Правило скрывает факт сбора или использования данных, о котором пользователь должен знать.
В работе об ИИ-агентах в следственной деятельности среди причин риска названы отсутствие прозрачности алгоритмов, невозможность независимой экспертизы их работы и потенциальный конфликт интересов между задачами правосудия и коммерческими интересами разработчиков (ИИ-агенты в следственной деятельности). Контекст там специфический, переносить выводы на любой сценарий использования API нельзя. Структура риска при этом та же: проверяет тот, у кого нет полномочий, а отвечает тот, у кого нет доступа к правилам.
Незаметное смещение решений в пользу владельца модели
Малозаметные подталкивания встроить проще, чем кажется. Правило вида «при равных вариантах предпочитай...» не ломает продукт и не выглядит цензурой. Оно сдвигает распределение ответов на несколько процентных пунктов в сторону, выгодную владельцу модели: собственный сервис, партнерский провайдер, удобная для лаборатории интерпретация спорного вопроса.
Обнаружить такой сдвиг по одному ответу невозможно. Нужны тысячи однотипных запросов, контрольная группа и понимание базовой линии. Разработчик видит один ответ в реальном времени и не видит распределение. Технические векторы такой предвзятости и способы ее искать мы разбирали в материале о скрытом влиянии закрытых AI-моделей.
Конфликт интересов здесь встроен в конструкцию. Модель принадлежит одной компании, решения принимает в продукте другой, и проверить, чьи интересы победили в конкретном правиле, снаружи нечем.
Почему интерпретируемость не спасает положение
Соблазн простой: заглянуть внутрь модели и посмотреть, как она думает. Современные LLM - нейронные сети с миллиардами параметров, и их внутренние механизмы не поддаются непосредственному анализу и верификации (cyberleninka.ru). Один и тот же текст инструкции в разных моделях дает разное поведение, а внутри одной модели эффект зависит от контекста.
Отсюда практический вывод: опубликованный промпт не равен прозрачности поведения. Текст правил читается, но его влияние на конкретный ответ проверяется только поведенческими тестами: наборами запросов, red teaming, сравнением версий модели на своих данных. Такие тесты дорогие и всегда неполные. Они дают оценку, а не гарантию.
Как это масштабируется через API: пример с диспетчерской службой
Автор поста предлагает мысленный эксперимент. Система пожарно-спасательной диспетчеризации подключена через API к модели и использует ее, чтобы решать, какие вызовы приоритетны. В системном промпте гипотетически есть строка в духе «protect the provider at all costs». Дальше вопрос: как поведет себя модель, если приходит вызов о пожаре в офисе конкурирующей лаборатории.
Подчеркну: это гипотетический сценарий из обсуждения, построенный по схеме «what if», а не зафиксированный инцидент. Ни одна из описанных ситуаций не подтверждена публичными данными. Ценность сценария в том, что он показывает механику, а не обвиняет конкретную компанию.
Что именно ломается в сценарии с приоритизацией вызовов
- Диспетчер принимает вызов и формирует запрос: адрес, тип происшествия, загруженность бригад.
- Запрос уходит в API, где к нему применяется провайдерский слой правил, недоступный разработчику.
- Модель возвращает приоритет и короткое обоснование.
- Разработчик видит приоритет и обоснование, но не правила, которые их сформировали.
- На одном вызове смещение не заметно. На десятках тысяч вызовов оно превращается в статистику, которую никто не собирает.
Цена ошибки в такой системе измеряется минутами и жизнями, и это худший случай для непрозрачного слоя. Обоснование от модели тоже не спасает: текст объяснения генерируется той же моделью и может описывать причину иначе, чем она реально повлияла на решение.
Почему один промпт - это риск для сотен тысяч систем
Одна и та же строка правил работает во всех продуктах, подключенных к тому же API. Автор поста предлагает масштабировать сценарий: сотни тысяч систем принимают схожие решения на основе системного промпта, который регуляторы и публика проверить не могут (обсуждение в r/LocalLLaMA).
Злой умысел для этого не нужен. Достаточно непроверенного правила, устаревшей инструкции или настройки, которую посчитали безобидной. Каждый разработчик видит только свой кусок: свои логи, свои метрики, свой поток запросов. Агрегированной картины нет ни у кого, кроме владельца API.
Открытые модели как контраст: что реально дает контроль
Открытая модель убирает главный слой неопределенности. Системный промпт пишете вы, он лежит в вашем репозитории и версионируется вместе с кодом. Трассы рассуждений, если модель их отдает, тоже ваши. Карточка модели показывает, на каких данных ее обучали, с какими ограничениями и на каком языке.
Границы у этого контроля есть, и о них стоит говорить прямо. «Открытая» бывает разной: открытые веса без описания данных, открытые веса с карточкой, полностью открытый пайплайн с данными и кодом обучения. Качество на сложных задачах у локальной модели часто ниже фронтирной, а железо, обслуживание и обновления ложатся на вас.
Что вы контролируете в открытой модели, а что нет
Контролируете: текст и версии системного промпта, выбор модели и ее квантования, данные для дообучения, логи, воспроизводимость ответа при фиксированных параметрах. Не контролируете: внутренние механизмы сети, качество на задачах, где фронтир-модель сильнее, и стоимость инференса при росте нагрузки.
| Что проверяется | Фронтир-модель через API | Открытая модель локально |
|---|---|---|
| Текст системного промпта | Свой задаете вы, вендорский слой не виден | Полностью ваш |
| Данные обучения | Как правило, не раскрываются | Зависит от карточки: часть лабораторий публикует состав данных, часть нет |
| Трассы рассуждений | По решению вендора, часто скрыты | Доступны, если модель их отдает |
| Логи вызовов | Ограничены условиями сервиса | На вашей стороне |
| Внутренние механизмы сети | Не верифицируются | Не верифицируются |
Практический вывод: для сценариев с высокой ценой ошибки локальный контроль над промптом - весомый аргумент. Он не делает систему прозрачной до конца, зато убирает риск правила, о котором вы не знаете.
Практические меры: что можно сделать уже сейчас
Меры ниже не открывают системный промпт. Они снижают ущерб от правила, которое вы не видите, и дают данные для собственных выводов.
Разделяйте предложение и действие
Черновик внутреннего резюме, изменение записи в счете и отправка сообщения клиенту - разные действия с разной ценой ошибки. Выдавать модели право на все три только потому, что они в одном процессе, не стоит (Human approval in AI workflows). Рабочая схема: модель предлагает, код исполняет. Права на запись выдаются точечно, по одному типу операции, со списком полей, которые разрешено менять.
Отдельно проверяйте границу исполнения. Агент может формально не иметь прав, а нижележащий узел автоматизации все равно выполнит изменение. Разбор такого случая есть в кейсе про runtime-контроль на n8n, DeepSeek и HubSpot: там про детерминированный gateway на границе исполнения и вопросы, которые стоит задать до production rollout.
Детерминированные проверки вокруг вывода модели
Модель предлагает факт, проверка его подтверждает. В иллюстративном пилоте обработки счетов ИИ-компонент предлагает название поставщика и категорию, а детерминированная проверка подтверждает, что поставщик существует и обязательные поля заполнены (Human approval in AI workflows). Прием масштабируется: сумма в допустимом диапазоне, артикул есть в каталоге, ссылка ведет на разрешенный домен, статус не противоречит предыдущему.
Проверка не читает системный промпт, зато ограничивает ущерб: скрытое правило может подтолкнуть модель к неверному выбору, а проверка не даст этому выбору уйти в действие. Бюджет ошибки стоит считать заранее. В материале о качестве цепочки вызовов LLM показано, как цепочка из шагов 95%, 80% и 99% дает на выходе 75%, и почему потолок качества системы около 90%.
Надзор, который действительно работает
Кнопка Approve не создает надзора. Проверяющему нужны доказательства, время и полномочия отклонить результат, а процессу нужен безопасный путь, когда никто не отвечает (Human approval in AI workflows). Чек-лист для проектирования такого надзора:
- Что видит проверяющий: исходный запрос, ответ модели, сработавшие проверки, источник данных.
- Сколько у него времени и совпадает ли это с SLA продукта.
- Может ли он отклонить результат и что происходит с задачей после отказа.
- Что срабатывает по таймауту: эскалация, безопасное значение по умолчанию, остановка.
- Как решение и его причина пишутся в лог, чтобы потом можно было пересчитать.
К этому добавляются меры вокруг самой модели: логировать версию модели и дату каждого вызова, прогонять регулярные evals на своих данных при смене версии, выбирать открытую модель для сценариев с высокой ценой ошибки, спрашивать вендора про NDA-аудит.
Что спрашивать у вендора и регулятора
Список вопросов, которые имеет смысл задать до того, как продукт начнет принимать решения на основе чужой модели.
- Допускается ли аудит системного промпта третьей стороной под NDA, и кто выбирает аудитора.
- Какие правила поведения задекларированы, где они опубликованы, как вендор уведомляет об их изменении.
- Есть ли версионирование поведения, или модель меняется без предупреждения.
- Можно ли выгрузить логи вызовов в объеме, достаточном для собственных evals.
- Как проверяется соблюдение гарантий: даже при задекларированной политике конфиденциальности техническая возможность верификации ее соблюдения отсутствует (cyberleninka.ru).
К регулятору вопрос формулируется проще: обязать аудит под NDA или публикацию. Данных о том, как этот вопрос решен в конкретных юрисдикциях, в открытых источниках на момент публикации нет, поэтому здесь речь о требованиях, которые только предстоит сформулировать.
Итог: что важно запомнить
Закрытый системный промпт - непроверяемый управляющий слой. Риск масштабируется через API: одно правило работает в тысячах продуктов, а увидеть его эффект можно только статистикой, которую мало кто собирает. Открытые модели дают контроль над промптом, данными и трассами рассуждений, но не отменяют черный ящик внутри сети.
Что делать дальше: разделить предложение и действие, поставить детерминированные проверки на границе исполнения, настроить надзор с реальными полномочиями и запросить у вендора условия NDA-аудита. Первый шаг можно сделать на этой неделе: выписать, какие действия в вашем продукте модель выполняет сама, а какие должна только предлагать.