Веса нейросети, её числовые параметры, определяют, как модель отвечает на вход. Меняют их обучением: оптимизатор шаг за шагом подкручивает числа по градиентам. В исследовательской работе, которую обсуждают в AI-сообществе, описан другой сценарий. Фронтирная LLM работает в обычном естественном языке, читает сырые веса другой сети и целенаправленно их правит: без оптимизатора, без градиентного спуска и без циклов обучения. Подход назвали программированием в пространстве весов, weight-space programming. Авторы описывают механизм так: модель использует свои рассуждения, чтобы понять, что вычисляет или должен вычислять каждый участок сети, и меняет веса соответственно.
Аналогия простая. Инженер смотрит на схему устройства, находит нужный узел и подкручивает его, вместо того чтобы заново прогонять всю сборку через конвейер. Здесь «схема» это веса, «подкрутить» значит записать новые числа, а «инженер» это LLM, которая рассуждает о сети на обычном языке.
Оговорка, без которой новость читается неправильно: речь идёт об очень ранних результатах, а не о готовом инструменте. Авторы прямо называют их very early results и формулируют как аргумент, что парадигма оптимизации на основе рассуждений приходит и для дифференцируемых нейросетей. В работе описаны эксперименты, публичного продукта, который правил бы веса по текстовому запросу, там нет.
Что вообще значит «читать и записывать веса»
Веса это матрицы чисел внутри модели. У Qwen3.5-0.8B, которая фигурирует в работе, порядка 0.8 млрд параметров; у фронтирных моделей счёт идёт на сотни миллиардов. Человек с этими числами обычно не работает, их трогает обучение.
«Читать веса» в описанном подходе значит, что LLM получает на вход массив чисел, а не текст, и делает по нему содержательный вывод. Например, определяет, на какой задаче сеть обучали. «Записывать» значит выдавать новые значения этих чисел под цель, сформулированную словами.
Суть в том, что модель при этом рассуждает о назначении отдельных участков сети. В примере из работы GPT-6 Astra читает 17 253 веса без инструментов и по ним отвечает, на какой игре обучена сеть. Ни один шаг здесь не требует прогона данных через модель и подсчёта градиентов.
Чем это отличается от работы LLM с текстом и кодом
До сих пор LLM оптимизировали текстовые артефакты: промпты и программы вокруг них. Позже к этому добавились целые harness-ы, код обучения и гиперпараметры моделей. Сами веса оставались в ведении символьных алгоритмов: у языковой модели не было способа оптимизировать нейронные веса вручную. Сегодня веса пишут специальные сети, обученные их писать, или компиляторы из формальных программ. Это отдельный слой технологий, не связанный с рассуждением на естественном языке.
Новизна в том, что веса становятся объектом рассуждения для той же модели, которая разговаривает с человеком. Задача ставится текстом, правка идёт в числах, объяснение результата тоже возвращается текстом.
Какие результаты заявлены в работе
В посте перечислены три результата. Все они получены в условиях, где Astra не разрешали писать циклы обучения, то есть подход ограничен прямой правкой весов.
- Распознавание задачи по весам. GPT-6 Astra по сырым весам определяет, чему была обучена сеть. В примере она читает 17 253 веса без инструментов и отвечает, на какой игре обучена сеть.
- Игровые сети с нуля. Без обратной связи из среды Astra пишет небольшие игровые сети, которые обыгрывают сети, обученные PPO за 100 млн шагов.
- Правка весов Qwen3.5-0.8B. В задаче сделать модель лучше в математике без градиентов Astra находит в весах причину зацикливания рассуждений и исправляет её, отредактировав 0.016% весов.
Отдельный пример в работе: policy, которая не проводит машину через полосу. Astra за один проход правит 3.5% весов и поднимает успех с 0% до ненулевого уровня.
Правка Qwen3.5-0.8B: цифры MATH-500 и IFEval
Самая заметная часть работы. При тех же настройках сэмплирования правка весов поднимает MATH-500 с 7.9% до 48.1%. Без дополнительной настройки исправление переносится на следование инструкциям и увеличивает IFEval втрое. Для модели на 0.8 млрд параметров это большой скачок.
Читать эти числа нужно аккуратно. Это заявленный результат авторов на одной небольшой модели, а не свойство метода, подтверждённое независимо. В работе нет подробного описания методологии, воспроизводимого протокола и сторонних проверок. Цифры дают повод присмотреться к направлению, гарантией они не служат.
Почему это пока не инструмент: ограничения метода
Авторы сами называют результаты очень ранними. Показанные кейсы узкие: распознавание задачи сети, небольшие игровые сети, точечная правка одной модели. Универсального редактора весов здесь нет, замены обучению тоже.
Метод опирается на способность конкретной фронтирной модели рассуждать о весах, а не на воспроизводимый пайплайн, который можно передать другому разработчику и получить те же числа.
Сравнение с классическим обучением ограничено постановкой: Astra не разрешали писать циклы обучения. Работа отвечает на вопрос, что удаётся сделать прямой правкой весов. Ответа на вопрос, что эффективнее при равных условиях, в ней нет.
Про масштаб данных тоже не густо. Не описано, как подход поведёт себя на моделях крупнее 0.8 млрд параметров и на сетях сложнее игровых. Прогноз, что веса вскоре будут оптимизировать LLM, остаётся прогнозом авторов, а не измеренным результатом.
Как это соотносится с существующими методами редактирования нейросетей
Карта методов выглядит так. Полное дообучение (fine-tuning) меняет веса по данным через градиенты. Обучение с подкреплением, например PPO, подстраивает модель по сигналу награды; в работе PPO выступает базовой линией сравнения для игровых сетей. Символьные оптимизаторы Adam и Muon задают правила обновления весов и кодируют упрощённые индуктивные смещения, которые исследователи закладывают в алгоритм руками.
Weight-space programming отличается по двум осям. Правка идёт вокруг естественно-языковой спецификации. Градиенты и оптимизатор в процессе не участвуют.
Авторы связывают смену парадигмы с тем, что веса нейросетей вскоре будут оптимизировать LLM, которые целенаправленно рассуждают о своих весах, вместо крошечных символьных оптимизаторов вроде Adam или Muon. Формулировка сильная, но это заявка на направление, а не описание работающего пайплайна.
Что это значит для тех, кто работает с локальными LLM
Пример в работе это Qwen3.5-0.8B, модель, которая спокойно запускается на локальном железе. Отсюда практическая релевантность: точечная правка под задачу, например устранение зацикливания рассуждений, в перспективе может оказаться дешевле и точнее полного дообучения. Пока это направление для наблюдения.
Инструментов на базе подхода не представлено, рецепта «как повторить» в источнике нет. Строить на этом рабочий процесс рано. Что имеет смысл делать уже сейчас: следить за реальными замерами открытых моделей, а не за обещаниями. Например, locallm.top собирает живые результаты открытых моделей с открытыми весами и агентными тестами, и по таким таблицам видно, где локальная модель действительно полезна.
Полезно держать в голове и общий контекст гонки open source и закрытых моделей: он помогает трезво оценивать, насколько быстро новые исследовательские идеи доходят до моделей, которые можно скачать. Разбор этой динамики есть в материале о сравнении открытых и закрытых LLM.
Что отслеживать дальше
Признаки зрелости здесь довольно конкретные. Появление воспроизводимых пайплайнов, когда сторонний разработчик повторяет заявленный результат на своём железе. Результаты на моделях разного размера, а не только на 0.8 млрд параметров. Сравнение с классическим обучением при равных условиях, включая разрешение писать циклы обучения. И публичные инструменты вместо описания экспериментов.
Ни одного из этих сигналов в полном виде пока нет. Авторы позиционируют работу как аргумент в пользу reasoning-driven optimization для дифференцируемых сетей. Для практика вывод короткий: держать тему в поле зрения и не переносить её в продакшен. Первое, что стоит проверить при появлении открытого кода, это повторяемость прироста на MATH-500 и IFEval на модели, отличной от той, на которой авторы показывали эффект.