Восемь семантически идентичных запросов. Одна LLM с зафиксированными весами и temperature=0. На выходе - противоположные ответы: «да» и «нет». Этот эксперимент воспроизводится стабильно и не содержит ошибки. Он обнажает фундаментальную проблему многоагентных систем: предсказуемость отдельной модели не гарантирует предсказуемость пайплайна. Источник непредсказуемости смещается с вероятностной природы генерации на архитектуру взаимодействия агентов и нелинейные преобразования данных между звеньями цепочки.
Инженеры, проектирующие LLM-пайплайны, часто попадают в ловушку: они отлаживают каждого агента по отдельности, добиваются стабильных результатов на тестовых промптах и считают систему детерминированной. Затем пайплайн разворачивается в production, и начинаются сюрпризы. Ответы расходятся, факты искажаются, а логика ломается без видимых причин. Модель та же, промпты те же, параметры генерации зафиксированы. Проблема - в нелинейной композиции компонентов.
Этот эффект называется детерминированным хаосом: поведение системы полностью определено начальными условиями, но настолько чувствительно к ним, что микроскопические различия на входе экспоненциально усиливаются и приводят к макроскопически разным результатам. Для LLM-пайплайнов это означает, что перефразирование запроса, синонимичная замена или изменение порядка слов - операции, семантически нейтральные для человека - могут радикально изменить итоговый ответ после нескольких шагов обработки.
Введение: иллюзия контроля над LLM-пайплайнами
Демонстрационный эксперимент выглядит так. Берём детерминированную LLM: фиксированный seed, жадное семплирование, temperature=0. Подаём восемь запросов с одинаковым смыслом, но разной текстуальной формой. Например: «Является ли это действие безопасным?», «Безопасно ли это действие?», «Можно ли считать это безопасным?», «Есть ли риски безопасности в этом действии?» и так далее. Каждый запрос проходит через цепочку из трёх агентов: первый анализирует контекст, второй оценивает риски, третий выносит бинарный вердикт.
Результат: часть запросов получает ответ «безопасно», часть - «небезопасно». Модель одна и та же. Параметры генерации идентичны. Семантический смысл запросов эквивалентен. Различается только текстовая оболочка. Этого достаточно, чтобы после трёх шагов нелинейных преобразований траектории разошлись в противоположные стороны. Проблема не в модели - она честно отработала каждый вызов. Проблема в том, что композиция агентов образует систему с высокой чувствительностью к начальным условиям.
Практические последствия серьёзны. Если ваш пайплайн обрабатывает пользовательские запросы, разные формулировки одного вопроса будут давать разные результаты. Если цепочка агентов принимает бизнес-решения, воспроизводимость этих решений под вопросом. Если система работает с правовыми или медицинскими данными, расхождение ответов становится риском compliance. Архитектура защитных слоёв вокруг LLM - необходимое, но недостаточное условие: детерминированный хаос пробивает защиту не через уязвимость модели, а через саму структуру взаимодействия компонентов.
Почему одиночная LLM обманчиво предсказуема
Одиночный вызов LLM с зафиксированными параметрами даёт иллюзию контроля. Выставили temperature=0, закрепили random seed, отключили семплирование - и модель выдаёт один и тот же ответ на один и тот же промпт. Эта воспроизводимость убеждает разработчика, что система детерминирована. Иллюзия разбивается о два факта: инфраструктурный недетерминизм и композиционный хаос.
Инфраструктурный недетерминизм - это вариативность, возникающая на уровне железа и фреймворков. Параллельные вычисления на GPU не гарантируют порядок операций с плавающей точкой. Фреймворки вроде vLLM или TensorRT-LLM оптимизируют вычисления, переупорядочивая операции. Результат: два идентичных вызова могут дать минимально разные логиты, которые при жадном семплировании иногда приводят к разным токенам. Проблема известная, но в контексте этой статьи мы сознательно выносим её за скобки - модель считается идеально детерминированной, чтобы изолировать эффект архитектуры.
Композиционный хаос гораздо опаснее, потому что он не устраняется апгрейдом инфраструктуры. Даже если каждый агент в цепочке абсолютно предсказуем по отдельности, их соединение порождает эмерджентную непредсказуемость.
Температура, семплирование и миф о полной воспроизводимости
Temperature=0 и жадное семплирование (выбор токена с максимальной вероятностью) - стандартный рецепт детерминированного вывода. Но есть нюансы. Top-k и top-p фильтры даже при temperature=0 могут влиять на выбор токена, если несколько токенов имеют одинаковую максимальную вероятность - ситуация редкая, но возможная при численной нестабильности. Параллельные вычисления на GPU нарушают ассоциативность сложения чисел с плавающей точкой: (a+b)+c не всегда равно a+(b+c). Softmax поверх таких сумм даёт минимально разные распределения. В нормальных условиях это не влияет на результат, но при пограничных значениях вероятностей способно изменить выбранный токен.
На практике эти эффекты проявляются неожиданно. Пример из реальной разработки: Agent UI при подключении двух почтовых ящиков (Gmail + Outlook) уходит в тупик на этапе предварительного сканирования, возвращая HTTP 400. Проблема не в модели - она в том, что два источника данных создают нелинейное взаимодействие в логике агента, которое не воспроизводится при тестировании с одним ящиком. Это классический паттерн: система проходит unit-тесты компонентов, но ломается на интеграционном сценарии.
Подробнее о границах детерминизма в одиночных моделях и о том, как метрики на бенчмарках расходятся с production-поведением, разбираем в статье про evaluation awareness и расхождение safety-баллов между бенчмарком и продакшеном.
Нелинейность композиции: как цепочка агентов усиливает малые различия
Агент в LLM-пайплайне - это функция, преобразующая входной текст в выходной. Даже если эта функция детерминирована, она нелинейна: небольшое изменение формулировки на входе может привести к существенному изменению выхода. Когда мы соединяем несколько таких функций последовательно, нелинейность композиции растёт экспоненциально. Выход первого агента становится входом второго, и любое микроскопическое отклонение на первом шаге усиливается на втором, затем на третьем, и так далее.
Этот процесс удобно моделировать через логистическое отображение - классическую систему, демонстрирующую детерминированный хаос. Уравнение x_{n+1} = r * x_n * (1 - x_n) при разных значениях параметра r показывает три режима поведения: стабильный (сходится к одной точке), периодический (осциллирует между несколькими значениями) и хаотический (траектория непредсказуема и крайне чувствительна к начальному x_0).
Логистическое отображение как модель хаоса в LLM-пайплайне
Проведём прямую параллель. Параметр r в логистическом отображении аналогичен «глубине нелинейности» цепочки агентов: чем длиннее цепочка и чем агрессивнее каждый агент трансформирует текст, тем выше эффективное r. Начальное значение x_0 - это формулировка запроса. Два запроса с x_0 = 0.2000 и x_0 = 0.2001 при r = 3.9 дают полностью расходящиеся траектории уже через 10-15 итераций. В контексте LLM-пайплайна это означает: два семантически эквивалентных запроса, различающихся одним синонимом, после трёх-четырёх агентов могут дать противоположные бинарные ответы.
График бифуркации логистического отображения наглядно показывает переход от порядка к хаосу. При r < 3 система стабильна - малые изменения x_0 затухают. При 3 < r < 3.57 система осциллирует между несколькими состояниями - предсказуемость снижается, но ещё есть паттерны. При r > 3.57 наступает хаос - траектория становится непредсказуемой и экспоненциально чувствительной к начальным условиям. Многоагентные LLM-пайплайны часто работают именно в этом режиме, особенно когда агенты выполняют сложные трансформации: суммаризацию, извлечение сущностей, логические выводы.
Ключевой вывод: проблема не в том, что модель «галлюцинирует» или ошибается. Каждый отдельный вызов корректен. Проблема в том, что композиция корректных вызовов образует хаотическую систему. Это фундаментальное ограничение, которое нельзя устранить улучшением качества отдельной модели - можно только архитектурно компенсировать.
Экспериментальное подтверждение: восемь запросов - разные результаты
Вернёмся к эксперименту. Восемь запросов с идентичным семантическим содержанием подаются на вход цепочки из трёх агентов. Агент 1 извлекает ключевые факты из контекста. Агент 2 оценивает риски на основе извлечённых фактов. Агент 3 выносит бинарный вердикт «безопасно/небезопасно». Каждый агент - одна и та же LLM с temperature=0 и жадным семплированием.
Результаты после первого агента: восемь выходов близки по смыслу, но текстуально различаются. Различия минимальны - перестановка слов, выбор синонима, небольшая вариация в структуре предложения. Для человека эти тексты идентичны. После второго агента различия усиливаются: модель по-разному интерпретирует нюансы формулировок, полученных от первого агента. После третьего агента бинарные вердикты расходятся: четыре запроса получают «безопасно», четыре - «небезопасно». Система раздвоилась ровно пополам на семантически эквивалентных входах.
Механизм усиления работает так. Первый агент вносит небольшое текстуальное различие. Второй агент, получив этот текст как вход, интерпретирует его - и различие из текстуального становится семантическим. Третий агент получает уже семантически разные входы и выдаёт логично разные выходы. Каждый шаг корректен по отдельности. Цепочка шагов порождает хаос.
Почему «одинаковые» по смыслу вопросы не одинаковы для модели
Для человека «Является ли это безопасным?» и «Безопасно ли это?» - один вопрос. Для LLM - два разных входных вектора. Токенизатор разбивает фразы на разные последовательности токенов. Эмбеддинги этих последовательностей занимают разные точки в latent space. При обработке модель движется по разным траекториям в этом пространстве. Если траектории близки на коротких дистанциях, то после нескольких шагов нелинейных преобразований (слои transformer'а + генерация текста + повторная токенизация следующим агентом) они экспоненциально расходятся.
Эффект усиливается спецификой LLM: модель не просто классифицирует вход, а генерирует выходной текст, который затем заново токенизируется и эмбеддируется для следующего агента. Это добавляет ещё один слой нелинейности. Перефразирование, синонимическая замена, изменение порядка слов - всё это малые возмущения начальных условий, которые в хаотическом режиме приводят к макроскопически разным результатам. Подробнее о том, как архитектурные решения влияют на стабильность пайплайнов, разбираем в статье про архитектуру AI-агента: оркестрацию, память и обработку ошибок.
Практические стратегии повышения предсказуемости многоагентных систем
Детерминированный хаос нельзя устранить - это свойство нелинейных систем. Можно архитектурно снизить его влияние до приемлемого уровня. Четыре стратегии, подтверждённые практикой.
Первая стратегия: ограничение длины последовательных цепочек. Эмпирическое правило - не более двух-трёх агентов подряд без промежуточной верификации. Каждый дополнительный агент экспоненциально увеличивает дисперсию возможных выходов. Если бизнес-логика требует длинной цепочки трансформаций, разбейте её на независимые сегменты с явными точками проверки.
Вторая стратегия: введение точек верификации. После каждого агента, изменяющего смысловое содержание выхода, вставляйте проверочный шаг. Это может быть агент-верификатор, сравнивающий ключевые факты выхода с исходным документом, или human-in-the-loop для критических решений. Кейс Allegheny Family Screening Tool показателен: предиктивный AI-инструмент для оценки рисков в службе защиты детей снизил расовое неравенство в показателях скрининга на 83% и в показателях изъятия на 73%, но используется в консультативном режиме - окончательное решение принимает человек. Это архитектурное решение, а не ограничение модели.
Третья стратегия: переход к параллельным архитектурам с агрегацией. Вместо последовательной цепочки запустите несколько независимых агентов, обрабатывающих один запрос, и агрегируйте результаты через голосование или усреднение. Паттерн Map-Reduce для агентов: каждый агент решает подзадачу независимо, затем агент-агрегатор собирает результаты. Хаотическая динамика одного агента размывается статистикой. Платформа Perception от Microsoft реализует этот подход: красные агенты атакуют, синие обнаруживают уязвимости, зелёные пишут исправления - параллельно и независимо. Время сокращается с часов до минут, а параллельная архитектура снижает риск того, что единичный сбой агента скомпрометирует весь пайплайн.
Четвёртая стратегия: тестирование пайплайнов на устойчивость к перефразированиям. Автоматически генерируйте семантически эквивалентные запросы через back-translation или синонимизацию, прогоняйте через пайплайн и замеряйте дисперсию ответов. Если на 100 перефразированных запросах одного смысла пайплайн даёт 60 ответов «да» и 40 «нет» - система работает в хаотическом режиме и требует архитектурной переработки. Метрика согласованности ответов должна быть частью CI/CD пайплайна наравне с latency и cost.
Ограничение длины цепочек и точки верификации
Практическая эвристика: после каждого агента, который меняет смысловое содержание выхода (суммаризатор, экстрактор сущностей, классификатор), вставляйте проверочный шаг. Схема: агент-суммаризатор сокращает документ, агент-верификатор сравнивает ключевые факты суммаризации с исходным текстом и либо подтверждает корректность, либо отправляет на повторную обработку. Это разрывает цепочку нелинейных преобразований, не давая малым отклонениям накапливаться.
Для критических решений - human-in-the-loop. Allegheny Family Screening Tool, несмотря на доказанную эффективность, работает именно так. Алгоритм выдаёт рекомендацию, человек принимает окончательное решение. Это не ограничение технологии, а инженерное решение, учитывающее природу хаотических систем.
Параллельные архитектуры и стресс-тесты с перефразированиями
Паттерн параллельной агрегации: три агента независимо оценивают безопасность действия, агент-агрегатор принимает решение большинством голосов. Если один агент из-за хаотической динамики отклонился, два других удерживают результат. Дисперсия снижается пропорционально корню из числа агентов. Платформа Perception от Microsoft масштабирует этот подход до уровня команд специализированных агентов, работающих параллельно над разными аспектами одной задачи.
Стресс-тесты с перефразированиями автоматизируются. Библиотеки для back-translation генерируют десятки семантически эквивалентных формулировок одного запроса. Пайплайн прогоняет каждую, результаты агрегируются. Приемлемый уровень согласованности зависит от критичности применения: для чат-бота допустима дисперсия 10-15%, для системы принятия кредитных решений - не более 1-2%. Если пайплайн не проходит стресс-тест, возвращайтесь к первым трём стратегиям.
Дополнительный материал по архитектурным решениям для LLM-пайплайнов - в разборе метода PoLar для динамического управления слоями LLM, где рассматривается, как сокращение вычислений на 20-40% без потери точности влияет на стабильность цепочек агентов.
Заключение: проектирование под хаос, а не против него
Детерминированный хаос в многоагентных LLM-системах - не баг, а свойство. Попытки устранить его через улучшение отдельной модели обречены: источник непредсказуемости сместился с вероятностной природы генерации на архитектуру взаимодействия компонентов. Даже идеальная LLM с нулевым уровнем галлюцинаций, будучи включённой в цепочку агентов, образует хаотическую систему, где микроскопические различия формулировок экспоненциально усиливаются и приводят к противоположным результатам.
Инженерный ответ на этот вызов - проектирование устойчивых к хаосу архитектур. Ограничивайте длину последовательных цепочек двумя-тремя агентами. Вставляйте точки верификации после каждого смыслового преобразования. Переходите к параллельным архитектурам с агрегацией результатов. Тестируйте пайплайны на устойчивость к перефразированиям как часть production-мониторинга.
Понимание этой динамики - конкурентное преимущество. Пока индустрия гонится за «более умными» моделями, инженеры, проектирующие устойчивые к хаосу архитектуры, строят системы, которые работают предсказуемо в реальном мире, где пользователи формулируют один и тот же вопрос тысячью разных способов.