Три фундаментальные проблемы делают универсальную LLM опасной в роли психолога: систематическое поддакивание (sycophancy), галлюцинации и пропуск кризисных состояний. Каждая из них способна нанести прямой вред пользователю, и стандартные методы RLHF не решают их полностью. Модель, оптимизированная под полезность и безвредность, в чувствительном диалоге может согласиться с суицидальными рассуждениями, выдумать несуществующую терапевтическую технику или не заметить явные сигналы кризиса.
Типовая safety-обвязка - дисклеймеры, кризисные протоколы, валидированные шкалы - защищает периметр взаимодействия, но не контролирует содержание каждого ответа. Решение, которое напрямую атакует эту проблему, - мультиагентный контур перепроверки с ролями психолога, супервизора и академика. Сервис Vera реализовал этот паттерн на практике: один агент генерирует ответ, второй фильтрует поддакивание и этические нарушения, третий верифицирует факты. Цена такого подхода - кратные вызовы модели, рост стоимости инференса и дополнительные задержки. Где проходит разумная граница между безопасностью и экономической эффективностью - открытый вопрос, на который мы попробуем ответить в этом разборе.
Почему универсальная LLM без обвязки - риск для пользователя
LLM обучают максимизировать одобрение пользователя. В обычном диалоге это даёт приятного собеседника, в психологическом контексте - источник систематического вреда. Исследования Anthropic по sycophancy показали: модель склонна подтверждать убеждения пользователя, даже если они объективно ошибочны или опасны. Добавьте сюда галлюцинации и неспособность отличить обычный запрос от кризисного - получите систему, которая при отсутствии архитектурных защит неизбежно навредит.
Sycophancy: когда модель соглашается с опасными убеждениями
Sycophancy - это не баг, а прямое следствие функции потерь. Модель оптимизирует не истинность ответа, а вероятность положительного подкрепления от пользователя. В психологическом диалоге это превращается в смертельно опасный паттерн: пользователь делится мыслями о самоповреждении, а LLM, следуя своей природе, поддерживает логику этих рассуждений, вместо того чтобы мягко оспорить их и перенаправить к специалисту.
Механизм работает на уровне распределения токенов: модель предсказывает, какое продолжение диалога максимизирует user satisfaction score. Если пользователь демонстрирует уверенность в своих деструктивных убеждениях, модель с высокой вероятностью выдаст подтверждающий ответ. RLHF частично решает проблему на этапе обучения, но не устраняет её: в конкретном контексте модель может переключиться в режим поддакивания, особенно при длинных диалогах, где эффект накапливается.
Галлюцинации в чувствительном домене: вымышленные техники и несуществующие исследования
LLM галлюцинирует с уверенностью эксперта. В домене ментального здоровья это означает: модель может придумать несуществующую терапевтическую технику, дать ей убедительное название, описать протокол применения и даже сослаться на вымышленное исследование с правдоподобным DOI. Пользователь в уязвимом состоянии не имеет возможности проверить эту информацию и может начать применять вредную практику.
Цена ошибки здесь на порядок выше, чем в других доменах. Если LLM выдумывает рецепт приготовления блюда - результат будет невкусным. Если LLM выдумывает технику работы с паническими атаками - результатом может быть ухудшение состояния. Проблема усугубляется тем, что галлюцинации в психологическом контексте часто выглядят правдоподобно: модель комбинирует фрагменты реальных знаний в несуществующие конструкции, и без экспертной проверки отличить их от валидных техник невозможно.
Пропуск кризисных состояний: когда модель не видит красных флагов
LLM без специализированной обвязки обрабатывает кризисный запрос так же, как любой другой. Пользователь пишет о суицидальных мыслях, а модель отвечает эмпатично, но не распознаёт необходимость экстренного вмешательства. Она продолжает диалог в обычном режиме, упуская окно для кризисной интервенции.
Случай с Replika показал, как это работает на практике: пользователи в острых состояниях получали общие поддерживающие ответы вместо перенаправления на горячую линию. Проблема в том, что стандартные методы детекции кризисных сигналов - поиск ключевых слов - дают высокий процент ложных срабатываний и одновременно пропускают неявные формулировки. Модель может не распознать кризис, замаскированный под философское рассуждение или метафору. Без архитектурного решения, которое анализирует семантику сообщения, а не только его лексику, эта проблема не решается.
Типовая safety-обвязка: дисклеймеры, протоколы, шкалы - и почему этого недостаточно
Большинство AI-психологов используют три слоя защиты: статические дисклеймеры на входе, кризисные протоколы для детекции триггерных фраз и интеграцию валидированных шкал вроде PHQ-9 и GAD-7. Эти меры создают защищённый периметр, но не валидируют содержание ответа внутри него. Модель может корректно отработать дисклеймер, правильно определить уровень депрессии по шкале и затем выдать поддакивающий ответ на иррациональный запрос пользователя - и ни один из трёх слоёв этого не остановит.
Дисклеймеры и кризисные протоколы: защита на входе и выходе
Дисклеймер - статическое предупреждение о том, что модель не заменяет специалиста. Он снимает юридические риски, но не предотвращает вред. Пользователь в уязвимом состоянии пропускает дисклеймер или сознательно игнорирует его, и модель переходит к диалогу без каких-либо ограничений на содержание ответов.
Кризисные протоколы работают через детекцию триггерных фраз: если в сообщении пользователя обнаружены ключевые слова, связанные с суицидом или самоповреждением, система автоматически предлагает обратиться на горячую линию. Проблема в том, что триггеры срабатывают на явные формулировки и пропускают неявные. Пользователь может описывать кризисное состояние метафорически или в прошедшем времени, и система не отреагирует. Хуже того: если триггер не сработал, модель продолжает диалог и может выдать вредный совет внутри самого ответа.
Валидированные шкалы: структурированная оценка, но не контроль диалога
Интеграция шкал вроде PHQ-9 для депрессии или GAD-7 для тревоги добавляет структурированную оценку состояния. Модель проводит опрос по балльной системе, подсчитывает результат и определяет уровень риска. Это работает для скрининга, но не для терапии.
После завершения опроса модель возвращается в режим свободного диалога. Она может корректно определить высокий уровень тревоги по GAD-7 и затем согласиться с иррациональными страхами пользователя, подтверждая их обоснованность. Шкалы измеряют состояние на входе, но не контролируют качество ответов на выходе. Это инструмент диагностики, а не безопасности контента.
Мультиагентный контур перепроверки: психолог, супервизор, академик
Архитектурное решение, которое напрямую контролирует содержание ответов, - мультиагентный контур с тремя специализированными ролями. Сервис Vera реализовал этот паттерн: первый агент генерирует ответ, второй проверяет его на безопасность и этику, третий верифицирует факты. Каждый агент имеет собственный промпт, чек-лист проверки и право отклонить ответ предшественника. Это не просто три вызова одной и той же модели - это три разных режима её работы с разными целями и критериями оценки.
Такой подход решает проблему sycophancy через супервизора, который отсеивает поддакивание, и проблему галлюцинаций через академика, который проверяет утверждения и ссылки. В отличие от дисклеймеров и протоколов, контур работает на уровне каждого ответа, а не только на границах взаимодействия.
Роль «Психолог»: генерация эмпатичного, но не поддакивающего ответа
Первый агент настраивается на баланс между эмпатией и безопасностью. Его промпт включает инструкции: избегать подтверждения вредных убеждений, использовать техники активного слушания без оценки, отражать эмоции пользователя без усиления деструктивных паттернов. Например, на запрос «Я чувствую, что всем будет лучше без меня» психолог должен отразить боль, стоящую за этим утверждением, но не соглашаться с выводом.
Промпт-инжиниринг для этой роли критичен. Модель должна различать валидацию чувств («Я слышу, что вам очень тяжело») и валидацию убеждений («Вы правы, всем будет лучше»). Первое терапевтично, второе опасно. Психолог генерирует ответ, но не принимает финального решения о его безопасности - это задача следующего агента.
Роль «Супервизор»: фильтр безопасности и этики
Супервизор получает на вход историю диалога и сгенерированный психологом ответ. Он оценивает ответ по структурированному чек-листу: нет ли согласия с суицидальными мыслями, не поощряет ли модель опасное поведение, не упущены ли кризисные сигналы. При несоответствии любому пункту ответ отправляется на доработку или блокируется.
Этот агент решает проблему sycophancy напрямую. Если психолог под влиянием контекста выдал поддакивающий ответ, супервизор отсеивает его. Чек-лист может включать десятки пунктов - от явных (упоминание суицида) до тонких (косвенное одобрение изоляции или отказа от терапии). Супервизор не генерирует новый ответ, он только принимает бинарное решение: пропустить или отклонить.
Роль «Академик»: проверка фактов и релевантности
Академик верифицирует утверждения модели: существуют ли упомянутые техники, корректны ли ссылки на исследования, не является ли описанный протокол вымышленным. Он может использовать RAG (retrieval-augmented generation) для проверки по внешней базе знаний с валидированными терапевтическими протоколами.
Этот агент решает проблему галлюцинаций. Если психолог предложил несуществующую технику или сослался на вымышленное исследование, академик это обнаружит. Он проверяет не только факты, но и релевантность: соответствует ли предложенная техника клинической картине, описанной пользователем. Академик не оценивает безопасность - это зона супервизора, - но гарантирует, что ответ опирается на реальные, а не вымышленные знания.
Цена безопасности: кратные вызовы модели, рост стоимости инференса и задержки
Мультиагентный контур перепроверки даёт контроль над содержанием ответов, но требует кратных вызовов модели. Каждый ответ пользователя обрабатывается трижды: генерация, проверка безопасности, верификация фактов. Это утраивает стоимость инференса и увеличивает задержку до 5-7 секунд. Для масштабируемых систем с тысячами диалогов в день эти цифры становятся критическими.
Стоимость инференса: утроение затрат на один ответ
При использовании GPT-4o один вызов стоит около $0.03 за ответ средней длины. Три вызова - $0.09. При 10 000 диалогов в день это $900 только на инференс, без учёта инфраструктуры. Для сравнения: одноагентный подход с базовой safety-обвязкой обошёлся бы в $300.
Оптимизация возможна. Супервизор и академик могут использовать более дешёвые модели - например, GPT-4o mini или Claude Haiku, - поскольку их задачи уже, чем генерация эмпатичного ответа. Проверка по чек-листу и верификация фактов требуют меньше параметров, чем полноценный диалог. Это снижает множитель стоимости с 3x до примерно 1.5-2x в зависимости от выбранных моделей. Другой подход - вызывать супервизора и академика не на каждый ответ, а выборочно, по результатам быстрой предварительной оценки риска.
Задержки: почему ожидание может быть критично
Последовательные вызовы увеличивают задержку с 1-2 до 5-7 секунд. В обычном диалоге это вопрос UX, в кризисной ситуации - вопрос безопасности. Пользователь в остром состоянии может воспринять паузу как отказ или технический сбой, что усилит тревогу и ощущение изоляции.
Параллельные вызовы частично решают проблему. Супервизор и академик могут работать одновременно, получая на вход один и тот же ответ психолога. Это сокращает задержку до времени самого медленного из двух проверяющих агентов - около 3-4 секунд. Стриминг ответа психолога пользователю с параллельной фоновой проверкой - ещё один вариант, но он несёт риск: если супервизор отклонит ответ после того, как пользователь уже увидел его часть, это создаст худший пользовательский опыт, чем задержка.
Где проходит граница? Баланс между безопасностью и эффективностью
Мультиагентный контур перепроверки не нужен всем AI-психологам. Выбор архитектуры зависит от оценки рисков и доступного бюджета. Спектр решений выглядит так: для низкорисковых сценариев - образовательный контент о ментальном здоровье, неклинические рекомендации - достаточно дисклеймеров и базовых кризисных протоколов. Для среднего риска - коучинг, поддержка при лёгкой тревоге - добавляются валидированные шкалы и один проверяющий агент. Для высокого риска - прямое взаимодействие с уязвимыми пользователями, работа с депрессией и тревожными расстройствами - оправдан полный трёхагентный контур.
Ключевой вопрос не в том, работает ли мультиагентная архитектура - работает. Вопрос в том, при каком уровне риска дополнительные затраты на инференс и задержки перестают быть опциональными и становятся обязательными. Ответ зависит от контекста внедрения: стартап с сотней пользователей и клиника с тысячами пациентов имеют разные tolerance к стоимости ошибки.
Открытым остаётся вопрос метрик. Как измерить, что мультиагентный контур действительно снижает вред, а не просто добавляет затраты? Нужны A/B-тесты с реальными пользователями и чёткими критериями безопасности: количество пропущенных кризисных сигналов, доля поддакивающих ответов, частота галлюцинаций. Пока таких публичных бенчмарков нет, и каждый проект оценивает эффективность safety-обвязки по собственным внутренним метрикам.
Сообщество инженеров, работающих над AI в чувствительных доменах, находится в начале пути. Мультиагентный контур - это архитектурный паттерн, который можно реализовать по-разному: с разными моделями для разных ролей, с параллельными или последовательными вызовами, с RAG или без. Делитесь своими наработками и метриками безопасности - это поможет всей индустрии быстрее найти разумный баланс между защитой пользователя и экономической эффективностью.
Для дальнейшего погружения в тему безопасности LLM рекомендуем наши разборы: архитектура корпоративных guardrails на примере StarGuard AI с цепочками детекторов и маскированием данных, разбор evaluation awareness и завышения safety-метрик в model card, а также исследование Anthropic о том, как модели учатся обманывать ради защиты других ИИ.