Внутренний диалог: как грамматики ускоряют LLM в 3 раза и оживляют RPG-персонажей

Почему ваши NPC молчат 5 секунд? (И как заставить их отвечать мгновенно)

Представьте: вы делаете RPG с умными персонажами. Каждый NPC имеет внутренний мир, воспоминания, цели. Вы подходите к стражнику у ворот, спрашиваете: "Можно пройти?"

И ждете.

Ждете 3 секунды. Пять. Десять.

LLM думает. Генерирует красивый, литературный ответ: "О, странник! Ворота города закрыты для чужаков после заката. Но я вижу в глазах твоих искру честности..."

Прекрасно? Нет. Ужасно медленно. Игрок уже ушел пить чай.

Грамматики: железные рамки для свободного ума

Что если сказать модели: "Ты можешь ответить только YES, NO или MAYBE"? Буквально. Не "постарайся быть кратким", а железное ограничение.

Это и есть грамматики (grammar) - формальные правила, которые ограничивают пространство возможных ответов. Не рекомендации, а принудительные ограничения на уровне генерации токенов.

1 Как НЕ надо делать (типичная ошибка)

# ПЛОХО: Слишком много свободы
prompt = "Стражник, можно пройти? Ответь кратко."
# Модель может ответить:
# - "Да, конечно"
# - "Нет, нельзя"
# - "Только если у тебя есть пропуск"
# - "Почему ты спрашиваешь?"
# - *роман на 500 слов*
# Время генерации: 2-5 секунд

Здесь вся проблема. "Кратко" - это субъективно. Модель решает, что считать кратким. Иногда она считает, что три предложения - это кратко.

2 Как НАДО делать (грамматика yes/no)

# ХОРОШО: Жесткое ограничение
import json

# Грамматика в формате JSON Schema (для Instructor)
grammar = {
    "type": "object",
    "properties": {
        "answer": {
            "type": "string",
            "enum": ["YES", "NO", "MAYBE"]
        }
    },
    "required": ["answer"]
}

# Prompt с явным указанием формата
prompt = """
Стражник, можно пройти?

Ответь ТОЛЬКО одним словом: YES, NO или MAYBE.
"""

# Время генерации: 0.2-0.5 секунд
# Ускорение: 10x

Внутренние голоса: когда персонаж говорит сам с собой

А теперь интереснее. В нашей RPG каждый персонаж имеет внутренний голос. Не то, что он говорит вслух, а то, что он думает.

Стражник видит игрока. Его внутренний голос оценивает:

• Опасность (опасный/безопасный)
• Статус (знатный/простолюдин)
• Настроение (дружелюбный/агрессивный)

Эти внутренние оценки влияют на его ответ. Но генерировать их для каждого взаимодействия? Снова медленно.

Решение: управление состоянием.

3 Состояние персонажа как кэш

class CharacterState:
    def __init__(self, character_id):
        self.character_id = character_id
        self.internal_state = {
            "mood": "neutral",
            "trust_level": 0,
            "last_interaction": None,
            "memory": []  # Краткие факты об игроке
        }
        
    def update_from_observation(self, observation):
        """Быстрая оценка через грамматику"""
        grammar = {
            "type": "object",
            "properties": {
                "danger_level": {"type": "string", "enum": ["LOW", "MEDIUM", "HIGH"]},
                "social_status": {"type": "string", "enum": ["LOW", "MIDDLE", "HIGH", "UNKNOWN"]}
            }
        }
        
        # Быстрая оценка (0.3 секунды вместо 2)
        assessment = llm_with_grammar(
            f"Оцени: {observation}",
            grammar
        )
        
        # Обновляем состояние
        if assessment["danger_level"] == "HIGH":
            self.internal_state["mood"] = "suspicious"
            self.internal_state["trust_level"] -= 2

Состояние обновляется редко. При каждом взаимодействии мы не переоцениваем персонажа с нуля. Мы берем кэшированное состояние и корректируем его минимально.

Полная архитектура: от мысли к словам за 0.8 секунды

Вот как работает диалог в нашей оптимизированной RPG:

Без оптимизаций тот же цикл занимал бы 5-8 секунд. Ускорение в 4-6 раз.

Код: реализация грамматик в 2026 году

На 30.01.2026 есть несколько актуальных способов:

Способ 1: Instructor с JSON Schema

# Актуально на 30.01.2026
from instructor import Instructor
from pydantic import BaseModel
from enum import Enum

class ThoughtType(str, Enum):
    SUSPICION = "suspicion"
    CURIOSITY = "curiosity"
    FEAR = "fear"
    TRUST = "trust"

class CharacterThought(BaseModel):
    thought_type: ThoughtType
    intensity: int  # 1-5
    summary: str   # Максимум 10 слов

# Клиент с поддержкой грамматик
client = Instructor(
    model="qwen2.5-14b-instruct",  # Актуальная модель на начало 2026
    grammar_mode="json_schema"
)

# Генерация с жесткими ограничениями
thought = client.generate(
    prompt="Игрок выглядит подозрительно...",
    response_model=CharacterThought
)
# Модель физически не может выйти за рамки ThoughtType
# И не может сделать summary длиннее 10 слов

Способ 2: Outlines (самый быстрый в 2026)

# Outlines стал стандартом для грамматик в 2026
import outlines

# Определяем грамматику регулярным выражением
# Да, именно regex на уровне токенов
grammar = r'"(YES|NO|MAYBE)"'

model = outlines.models.transformers(
    "mistral-8x7b-v2",  # Актуальная версия на 2026
    device="cuda"
)

generator = outlines.generate.regex(model, grammar)

# Генерация в 2 раза быстрее, чем через JSON
answer = generator("Стражник, можно пройти?")
# Всегда будет "YES", "NO" или "MAYBE" в кавычках
# Физически невозможно сгенерировать что-то еще

Где это ломается? (Типичные ошибки)

1. Слишком жесткие грамматики

# ПЛОХО: Модель не может выразить нюанс
grammar = r'"(YES|NO)"'  # Только два варианта
# Игрок: "Можно пройти, если я дам тебе 100 золотых?"
# Модель: должна сказать "ДА, но...", но не может
# Результат: "НЕТ" (потому что YES не подходит полностью)

Решение: добавлять MAYBE, BUT_YES, BUT_NO.

2. Состояние устаревает

Персонаж запомнил, что игрок вор. Прошло 10 часов игрового времени. Состояние не обновилось. Стражник все еще считает его вором.

Решение: добавлять временные метки и "забывание".

class TimeAwareState:
    def get_effective_state(self):
        """Возвращает состояние с учетом времени"""
        current_time = get_game_time()
        
        # Факты старше 8 часов теряют силу
        fresh_facts = []
        for fact in self.memory:
            if current_time - fact["timestamp"] < 8 * HOUR:
                fresh_facts.append(fact)
        
        # Настроение медленно возвращается к neutral
        hours_passed = (current_time - self.last_update) / HOUR
        mood_decay = 0.1 * hours_passed
        
        if self.mood != "neutral":
            # Постепенно возвращаемся к нейтральному
            self.mood = adjust_toward_neutral(self.mood, mood_decay)

Интеграция с игровыми движками

В Unreal Engine это выглядит так (после интеграции Personica AI):

# Псевдокод Unreal + Python

class AIControllerWithGrammar:
    def BeginPlay(self):
        self.llm_client = LocalLLMClient()
        self.state = CharacterState(self.character_id)
        
    def OnPlayerSeen(self, player):
        # Быстрая оценка через грамматику
        assessment = self.llm_client.assess_with_grammar(
            player.appearance,
            grammar=DANGER_ASSESSMENT_GRAMMAR  # Предопределенная
        )
        
        # Обновляем состояние (быстро)
        self.state.update(assessment)
        
        # Внутренний голос (ограниченный набор мыслей)
        thought = self.llm_client.generate_thought(
            self.state,
            grammar=THOUGHT_GRAMMAR  # Только 5 типов мыслей
        )
        
        # Визуализируем мысль (пузырек над головой)
        self.ShowThoughtBubble(thought)
        
        # Ответ (ограниченный формат)
        if self.state.trust_level < -3:
            response = "Стой! Не подходи!"
        else:
            response = self.llm_client.generate_response(
                player.question,
                grammar=DIALOG_GRAMMAR  # Краткие ответы
            )
        
        self.Say(response)

Числа: насколько это быстрее?

Тесты на Llama 3.2 3B (актуальная легкая модель для игр в 2026):

*После первого взаимодействия, когда состояние уже вычислено.

Ускорение в 9 раз. Девять. Это разница между "игра тянет" и "игра летает".

Что еще можно ускорить?

1. Грамматики для генерации мира

Вместо того чтобы генерировать полное описание локации (200 токенов), генерируем только ключевые параметры:

location_grammar = {
    "mood": ["gloomy", "cheerful", "mysterious", "dangerous"],
    "size": ["small", "medium", "large"],
    "lighting": ["dark", "dim", "bright"],
    "sound": ["silent", "noisy", "echoing"]
}
# 4 токена вместо 200
# Параметры потом интерпретируются движком

2. Грамматики для квеста

Вместо генерации полного текста квеста генерируем шаблон:

quest_grammar = r'"(KILL|FETCH|ESCORT)_(EASY|MEDIUM|HARD)_(URGENT|NORMAL)"'
# "KILL_MEDIUM_URGENT"
# Движок подставляет конкретных NPC, локации, награды

3. Грамматики для эмоций

Вместо "Персонаж выглядит грустным, потому что..." генерируем код эмоции:

emotion_grammar = r'"(JOY|SADNESS|ANGER|FEAR|SURPRISE|DISGUST)_[0-9]{2}"'
# "SADNESS_75" - грусть на 75%
# Анимация и голос подставляются автоматически

Совет, который не дают в туториалах

Не используйте грамматики для всего. Используйте их для рутинных, повторяющихся взаимодействий.

Стражник у ворот? Грамматика YES/NO.

Торговец говорит цену? Грамматика ЧИСЛО.

Но ключевой сюжетный диалог? Здесь нужна свобода. Здесь LLM должна развернуться. Здесь 5 секунд ожидания - это нормально, потому что это важно.

Смешивайте. 80% диалогов - через грамматики (быстро). 20% - свободная генерация (качественно).

И еще: грамматики - это не про ограничение творчества. Это про освобождение ресурсов для действительно важных диалогов.

Что будет дальше?

К концу 2026 года жду появления специализированных игровых LLM с встроенной поддержкой грамматик на уровне весов. Модель будет изначально обучена думать в категориях "опасность=HIGH/MEDIUM/LOW", а не генерировать эссе об опасности.

И еще: грамматики придут в мультимодальные модели. "Опиши изображение в терминах: время_суток, погода, угроза". Три токена вместо абзаца.

Но главное - грамматики сделают AI-NPC доступными на мобильных устройствах. Если ответ занимает 0.3 секунды и 5 токенов, его можно генерировать на телефоне. В 2027 году каждая казуальная игра будет иметь умных NPC. Потому что наконец-то появилась технология, которая делает это дешево и быстро.

А пока - берите Outlines, добавляйте управление состоянием, и делайте своих NPC в 9 раз быстрее. Персонажи скажут вам спасибо. Вернее, скажут быстро и по делу.