Reasoning On/Off: когда отключать мышление у моделей и не платить за это качеством

Зачем отключать мышление у ИИ? (Спойлер: иногда это выгодно)

Reasoning — это не просто модное слово. Это механизм, который заставляет модель думать шаг за шагом, прежде чем дать ответ. Как человек решает сложную математическую задачу: сначала читает условие, потом составляет план, потом выполняет вычисления. Примерно так же работают современные LLM с включенным reasoning.

Но есть проблема. Каждый шаг рассуждений — это токены. Много токенов. А токены — это время. И деньги, если вы платите за API. И память, если запускаете локально.

Методология: не верить на слово, а проверять цифрами

Мы взяли три модели, которые сейчас на слуху у всех, кто работает с длинным контекстом:

• Nemotron-3-30B — NVIDIA сделала ставку на эффективность. 30 миллиардов параметров, но оптимизированы под железо. Как будто спорткар с турбиной: маленький двигатель, но мощный.
• GLM-4.7-Flash — китайский снайпер. Если читали нашу статью про MoE-модели на CPU, то знаете — эта штука экономит память как никто другой.
• DeepSeek V3.2 — монстр на 671B параметров (но активных только 37B). Наследник той самой архитектуры, о которой мы писали в сравнении с Step-3.5-Flash.

Бенчмарки выбрали не случайные:

Результаты: где reasoning спасает, а где мешает

Цифры говорят громче слов. Смотрите сами:

Видите паттерн? AIME 2025 — это катастрофа без reasoning. Падение на 70+ процентных пунктов. Модели просто не справляются с олимпиадной математикой без пошаговых рассуждений.

А вот Terminal Bench и Tau2 Telecom — там reasoning почти не влияет. Почему? Потому что эти задачи требуют не многошаговой логики, а понимания контекста и шаблонных решений.

Почему так происходит? (Технические детали без воды)

Reasoning — это не магия. Это специальные токены, которые модель добавляет в свой внутренний диалог. Типа «Давайте подумаем...», «Шаг 1: ...», «Шаг 2: ...». Когда reasoning отключен, модель пытается сразу выдать ответ. Как студент на экзамене, который пишет решение в уме и сразу дает итоговый ответ.

Для некоторых задач это работает. Для других — провал.

Вот как выглядит разница на практике:

1 С reasoning (правильный ответ)

Задача AIME 2025: «Найдите сумму всех целых n, для которых n² + 15n + 56 — полный квадрат»

Модель: «Давайте обозначим n² + 15n + 56 = k². Перепишем: n² + 15n + (56 - k²) = 0. Дискриминант D = 225 - 4(56 - k²) = 225 - 224 + 4k² = 1 + 4k². Чтобы n было целым, D должен быть полным квадратом...»

И так на 15 строк. В итоге правильный ответ.

2 Без reasoning (типичная ошибка)

Та же задача.

Модель: «n² + 15n + 56 = (n+7)(n+8). Чтобы это был полный квадрат, нужно n+7 = n+8, что невозможно. Значит, нет решений. Ответ: 0.»

Неправильно. Грубо неправильно. Но модель уверена в себе.

Практическое правило: когда отключать reasoning

На основе тестов можно составить простую таблицу решений:

Простая математика: если вы платите за API по токенам, то на задачах типа Terminal Bench reasoning увеличивает стоимость в 3-4 раза. При этом качество почти не меняется.

Как отключать reasoning на практике (технические детали)

Здесь нет единого стандарта. Каждый фреймворк и API делает это по-своему.

3 Для Nemotron-3-30B (через NVIDIA NIM)

# Включение reasoning (по умолчанию)
response = client.chat.completions.create(
    model="nemotron-3-30b",
    messages=[{"role": "user", "content": prompt}],
    reasoning=True,  # или reasoning_mode="enabled"
    max_tokens=4000
)

# Отключение reasoning
response = client.chat.completions.create(
    model="nemotron-3-30b",
    messages=[{"role": "user", "content": prompt}],
    reasoning=False,  # или reasoning_mode="disabled"
    max_tokens=1000  # меньше, потому что reasoning токены не нужны
)

4 Для GLM-4.7-Flash (через официальный API)

# GLM использует параметр "reasoning_effort"
# От 0.0 (нет reasoning) до 1.0 (полный reasoning)

# Максимальный reasoning для сложных задач
response = client.chat.completions.create(
    model="glm-4.7-flash",
    messages=[{"role": "user", "content": prompt}],
    reasoning_effort=1.0,
    temperature=0.1  # для детерминированных рассуждений
)

# Минимальный reasoning для простых задач
response = client.chat.completions.create(
    model="glm-4.7-flash",
    messages=[{"role": "user", "content": prompt}],
    reasoning_effort=0.0,
    temperature=0.7  # для разнообразия ответов
)

5 Для DeepSeek V3.2 (локально через vLLM)

# DeepSeek использует отдельный параметр "use_reasoning"
# И дополнительно "reasoning_max_tokens" для контроля длины

from vllm import LLM, SamplingParams

llm = LLM(model="deepseek-ai/deepseek-v3.2")

# С reasoning для математики
sampling_params = SamplingParams(
    temperature=0.0,
    max_tokens=4096,
    use_reasoning=True,
    reasoning_max_tokens=2048  # ограничиваем reasoning часть
)

# Без reasoning для простых задач
sampling_params = SamplingParams(
    temperature=0.3,
    max_tokens=1024,
    use_reasoning=False  # просто отключаем
)

Стоит ли отключать reasoning для экономии? (Финансовый расчет)

Допустим, вы используете Nemotron-3-30B через NVIDIA API. Цена: $0.002 за 1K токенов на вход, $0.008 за 1K токенов на выход.

Типичная задача на Terminal Bench:

• С reasoning: 150 токенов вход + 450 токенов выход (из них 300 — reasoning)
• Без reasoning: 150 токенов вход + 150 токенов выход

Считаем:

# С reasoning
Вход: 150 токенов = $0.0003
Выход: 450 токенов = $0.0036
Итого: $0.0039 за запрос

# Без reasoning
Вход: 150 токенов = $0.0003
Выход: 150 токенов = $0.0012
Итого: $0.0015 за запрос

Разница: в 2.6 раза дешевле. Если у вас 10,000 запросов в день — это $39 против $15. В месяц: $1,170 против $450.

Но! Если эти 10,000 запросов — сложная математика (AIME 2025), то без reasoning правильных ответов будет в 5-7 раз меньше. Стоит ли экономия потери качества?

Гибридный подход: умный reasoning

Самые продвинутые системы сейчас используют адаптивный reasoning. Не просто вкл/выкл, а динамическую настройку под задачу.

Как это работает:

1. Классификатор определяет тип задачи (математика, код, текст, команда)
2. В зависимости от типа выбирается уровень reasoning
3. Для математики — полный reasoning с 2048 токенами
4. Для терминальных команд — reasoning отключен
5. Для смешанных задач — средний уровень

Пример реализации на Python:

def adaptive_reasoning(task_text, model_name):
    """Определяем нужен ли reasoning для этой задачи"""
    
    # Простые эвристики (в реальности тут может быть ML-модель)
    math_keywords = ['решите', 'найдите', 'сумма', 'уравнение', 'теорема']
    code_keywords = ['напишите функцию', 'алгоритм', 'сложность', 'реализуйте']
    simple_keywords = ['выполните команду', 'настройте', 'покажите', 'выведите']
    
    task_lower = task_text.lower()
    
    # Математика → полный reasoning
    if any(keyword in task_lower for keyword in math_keywords):
        if model_name == 'nemotron-3-30b':
            return {'reasoning': True, 'max_tokens': 4000}
        elif model_name == 'glm-4.7-flash':
            return {'reasoning_effort': 1.0, 'max_tokens': 4000}
        
    # Кодинг → средний reasoning
    elif any(keyword in task_lower for keyword in code_keywords):
        if model_name == 'nemotron-3-30b':
            return {'reasoning': True, 'max_tokens': 3000}
        elif model_name == 'glm-4.7-flash':
            return {'reasoning_effort': 0.7, 'max_tokens': 3000}
    
    # Простые задачи → без reasoning
    else:
        if model_name == 'nemotron-3-30b':
            return {'reasoning': False, 'max_tokens': 1000}
        elif model_name == 'glm-4.7-flash':
            return {'reasoning_effort': 0.0, 'max_tokens': 1000}
    
    # По умолчанию
    return {'reasoning': False, 'max_tokens': 2000}

Ошибки, которые все совершают (и как их избежать)

После тестирования десятков конфигураций мы нашли типичные проблемы:

Что в итоге? (Краткий чеклист)

Если лень читать всю статью:

• Математика, алгоритмы, логические задачи → reasoning ВКЛЮЧАТЬ всегда. Без вариантов.
• Терминал, команды, поиск в логах → reasoning ОТКЛЮЧАТЬ. Экономия 3-4x на токенах.
• GLM-4.7-Flash → используйте reasoning_effort от 0.0 до 1.0, а не просто вкл/выкл.
• Nemotron-3-30B → сильнее всего страдает без reasoning на сложных задачах (падение до 13%).
• DeepSeek V3.2 → самый устойчивый к отключению reasoning, но все равно теряет 70% качества на математике.
• Всегда уменьшайте max_tokens при отключении reasoning. Иначе модель начнет генерировать мусор.

Reasoning — это не роскошь и не обязательная опция. Это инструмент. Как молоток: для гвоздей — идеально, для шурупов — бесполезно. Научитесь выбирать правильный инструмент для каждой задачи, и ваши LLM станут быстрее, дешевле и точнее.

P.S. Если хотите углубиться в тему оптимизации MoE-моделей, посмотрите наше сравнение GPT-OSS-20B против GLM-4.7-Flash — там много про экономию ресурсов без потери качества.