Что такое WorldBased Spiked Neuralsymbolic AI и в чём суть кейса
20-летний разработчик Никита называет себя AI-Native разработчиком и прямо говорит: базу языков программирования он не знает, код за него пишут ИИ-агенты. Проект, который он ведёт, называется WorldBased Spiked Neuralsymbolic AI. Это ИИ с моделью мира на спайковой нейросимвольной сети, и учится он не на датасете, а на последствиях своих действий в симулированном мире.
Заявления, вокруг которых строится весь интерес, звучат так. В одной из задач MiniGrid системе хватило 20 тысяч кадров, тогда как PPO, по словам автора, не догнал её и за 5 миллионов кадров. Задачу MultiRoom-N6 система решает за 50 тысяч кадров, а BeBold и RIDE по опубликованным числам требуют 120 миллионов шагов. Спайковое восприятие экономит счёт в 2-4 раза относительно плотной копии того же модуля при почти тех же результатах. Все три цифры идут от автора: исходный текст кейса опубликован на Habr, независимой репликации нет, устройство системы не раскрыто.
Ниже расшифровка терминов, разбор того, откуда берётся разрыв по опыту, описание методики проверки и честный список того, что кейс пока не доказывает.
Кто такой AI-Native разработчик и почему это часть истории
Цитата автора: «базу языков программирования я не знаю. Код за меня пишут ИИ-агенты». Читать это как «нажал кнопку и получил исследование» неверно. Из текста видно распределение ролей: человек формулирует гипотезу, задаёт метрику и порог провала, проектирует экзамен и решает, что считать результатом. Агенты пишут код и обвязку тестов. Ревью, запуск прогонов и интерпретация остаются на человеке.
Термин AI-Native здесь описывает способ работы, а не уровень квалификации. Автор не утверждает, что построчно понимает код, который генерируют агенты. Отсюда повышенная зависимость от проверок: там, где программист полагается на чтение кода, здесь приходится полагаться на тесты, которые ловят ошибку без участия человека. Именно поэтому методологическая часть кейса важнее архитектурной.
Три слова в названии: спайковая, нейросимвольная, модель мира
SNN, спайковая нейросеть. Считает только там, куда пришёл сигнал, тогда как обычная плотная сеть на каждом шаге пересчитывает всё целиком. Бытовой аналог: офис, где свет загорается только в комнатах, куда вошёл человек, против офиса, где на каждом шаге включают освещение во всём здании.
NS, нейро-символьная часть. Понятия система выращивает сама, из опыта. Автор не вписывает их руками и заранее не задаёт, сколько их будет. Аналог: не список терминов из учебника, а собственные заметки, которые появляются по мере того, как похожая ситуация встречается снова.
Модель мира. Внутреннее представление, на котором система проигрывает последствия действий до того, как действие сделано. Аналог: пройти маршрут в голове и вычеркнуть тупики, прежде чем идти ногами.
Отдельное свойство архитектуры: у системы есть право сказать «не знаю» вместо уверенной догадки. В незнакомой среде честный отказ дешевле уверенной ошибки, и это отличие видно на закрытых мирах, о которых речь ниже.
Как система учится на последствиях действий, а не на датасете
Цикл выглядит так: действие в симулированном мире, наблюдение последствий, обновление модели мира и набора понятий, план следующего действия. Данные появляются из взаимодействия, а не из размеченного корпуса. Датасета нет, предобученных весов нет, PyTorch не используется: сеть написана с нуля на Python и numpy, горячие места вынесены в Rust.
Считается всё дома, на Ryzen 7 5700X с RTX 3060. Видеокарта, по словам автора, нужна в основном соперникам, то есть baseline-алгоритмам вроде PPO. Деталь важная: речь идёт не о кластере из H100, а о домашней машине среднего уровня.
PPO в такой постановке учится методом проб и ошибок на миллионах кадров: сигнал подкрепления приходит после действия, политика понемногу сдвигается. Система с моделью мира пытается сначала «подумать», потом действовать. Разница в расходе опыта и есть предмет спора: одна архитектура платит кадром за каждый тупик, другая строит внутреннее представление и отбрасывает заведомо плохие варианты до действия.
Модель мира против реакции на стимул: в чём разница на практике
Пример на лабиринте. Агент без модели мира на повороте пробует направление, получает штраф за стену, откатывается, пробует снова. Каждый тупик оплачен кадром опыта. Агент с моделью мира хранит схему комнат и переходов, проигрывает маршрут внутри представления и убирает тупик без физического шага.
В MultiRoom-N6, где нужно пройти цепочку комнат, такой перебор особенно дорог: число возможных маршрутов растёт быстро. Отсюда и разрыв, 50 тысяч кадров у системы против 120 миллионов шагов у BeBold и RIDE по опубликованным числам. Оговорка принципиальная: это сопоставление с чужими публикациями, собственного прогона этих методов на тех же бюджетах автор не показывает.
Где здесь спайки и где символы
Спайковая часть отвечает за восприятие и за экономию счёта. Нейросимвольная часть отвечает за понятия, которые появляются из опыта, и за их переиспользование в новых ситуациях. Модель мира связывает то и другое в план.
Экономия счёта в 2-4 раза относится именно к спайковому восприятию и к вычислениям, а не к числу кадров. Две экономии нельзя складывать: 250 раз по опыту и 2-4 раза по счёту измеряются в разных единицах и на разных объектах сравнения. Утверждение «в 500 или 1000 раз эффективнее» из этих чисел не собирается.
Цифры против PPO и BeBold/RIDE: что именно сравнивали
Сводка заявлений в одном месте, с пометкой, на чём основано каждое сравнение.
| Что сравнивают | Заявление автора | База сравнения | Как читать |
|---|---|---|---|
| Одна из задач MiniGrid | 20 тыс. кадров у системы | PPO не догнал её и за 5 млн кадров | разрыв по опыту около 250 раз, одна задача, слова автора |
| MultiRoom-N6 | 50 тыс. кадров | BeBold и RIDE: 120 млн шагов по опубликованным числам | сравнение с чужими публикациями, не с собственным прогоном |
| Спайковое восприятие | счёт меньше в 2-4 раза | плотная копия того же модуля при почти тех же результатах | про вычисления, а не про кадры |
Почему «в 250 раз меньше опыта» относится к одной задаче, а не ко всем
Арифметика простая: 5 000 000 / 20 000 = 250. Но получено это отношение в одной задаче MiniGrid, и формулировка автора звучит как «PPO не догнал за 5 миллионов кадров». Значит, кривая PPO не вышла на целевой уровень к концу бюджета, а не вышла на него ровно на пятимиллионном кадре. Из этой формулировки 250 раз читаются как оценка снизу для конкретной задачи, а не как измеренная константа метода.
Переносить цифру на другие домены, на другие задачи MiniGrid или на прикладные среды нельзя. Заголовок «в 250 раз меньше опыта» описывает один эксперимент, а не свойство спайковых сетей вообще. В MultiRoom-N6 сравнивают уже другие методы и получают другое отношение, там счёт идёт на шаги, а не на кадры.
Экономия счёта спайкового восприятия: 2-4 раза, и это про вычисления
Отдельное измерение. Автор сопоставляет спайковое восприятие с плотной копией того же модуля и получает выигрыш по счёту в 2-4 раза при почти тех же результатах. Метрика здесь, стоимость вычислений на шаг, а не число кадров до порога.
Почему это нельзя умножать на 250: сравнивается плотная копия того же модуля, а не PPO, масштаб другой, а диапазон 2-4 раза зависит от разреженности сигнала в конкретной задаче. Детали замера в доступном фрагменте текста не раскрыты, поэтому цифру разумно держать как порядок величины, а не как точную характеристику.
Методика честной проверки: предрегистрация, закрытые миры, мутанты
Правило автора: идея не считается рабочей без воспроизводимого прогона, в котором есть соперник (baseline), отключение детали (ablation), отложенные данные (held-out) и список «чего НЕ доказано». Это страховка, а не антураж: когда код пишут агенты, цена тихой ошибки выше.
Предрегистрация и журнал экзаменов: как не подогнать результат задним числом
Порядок действий такой.
- До экзамена записывается, что именно меряется и какое число будет провалом.
- Запись и код фиксируются хешем в журнале экзаменов.
- Экзамен идёт только на закрытых мирах, которых не видит ни система, ни автор; каждый набор вскрывается один раз.
- Результат публикуется независимо от исхода.
Хеш закрывает конкретную лазейку: после просмотра результата нельзя переписать метрику или порог и сделать вид, что так и было задумано. Порог провала, заданный заранее, превращает прогон в проверку гипотезы, а не в поиск удачной формулировки по факту.
Перемешанный контроль и мутационные проверки: как проверяют сами проверки
Перемешанный контроль отвечает на вопрос, есть ли в системе обучение вообще. Если подать перемешанные данные и метрика не упадёт, значит система не учится, а подгоняется под что-то постороннее. Формулировка автора: если на перемешанных данных «работает» так же, значит не работает.
Мутационные проверки проверяют сами тесты. Автор намеренно ломает логику в коде, и проверка обязана это поймать. Тест, который остаётся зелёным на сломанном коде, вреден: он создаёт видимость контроля. Аналогия простая, датчик дыма, который не срабатывает на зажигалку, ничего не говорит о пожаре. В доступном фрагменте исходного текста описание методики обрывается на этом пункте, полный список «чего не доказано» автор в нём не приводит.
Что реально даёт выигрыш: модель мира и план, а не «умнее нейроны»
Автор сам признаёт: значительная доля выигрыша объясняется наличием модели мира и плана, а не «умнее нейроны». Это ключ к правильному чтению кейса: спайки не делают обучение волшебным, они дают разреженность вычислений.
Ablation здесь главный инструмент. Отключаем компонент, сравниваем с полной системой, смотрим, что просело. Такая схема позволяет отделить вклад модели мира, вклад символьных понятий и вклад спайкового восприятия. Без неё любой из трёх компонентов можно записать в герои по умолчанию.
Зачем тогда спайки, если выигрыш даёт модель мира
Смысл спайков инженерный: считать только там, куда пришёл сигнал, и платить за разреженность вычислений. Заявленные 2-4 раза против плотной копии модуля при почти тех же результатах скромнее 250 раз по кадрам, зато сформулированы честнее: выигрыш по счёту, а не по «интеллекту».
На нынешнем этапе спайковый слой не объясняет разрыв по опыту. Биологическое правдоподобие тоже не аргумент в инженерном споре, пока не показано, где именно разреженность даёт измеримое преимущество в другой задаче.
Право сказать «не знаю» и почему это важно для надёжности
У системы есть право сказать «не знаю» вместо уверенной догадки. На закрытых мирах это свойство проверяемо: среда незнакома, и отказ отличается от неверного ответа. Для практики это означает более честный сигнал о границе компетенции, а не косметическое украшение отчёта.
Оговорка: это свойство конкретной архитектуры в конкретном классе задач. Проблему галлюцинаций LLM в общем виде оно не решает и решать не обещает.
Как проект ведётся через ИИ-агентов в Claude Code
Схема работы: человек ставит гипотезу и критерий провала, проектирует экзамен, ревьюит результат. Агенты в Claude Code пишут код на Python и numpy, выносят горячие места в Rust, собирают обвязку тестов. Прогоны идут локально на домашней машине.
Научную задачу агентам не передают. Они не решают, что считать успехом, и не выбирают метрику. Это принципиально: если отдать агенту и постановку, и проверку, получится система, которая подтверждает сама себя. Как именно устроен пайплайн агентов в этом проекте, в доступном тексте не раскрыто, известны роли и требования к проверкам.
Что делает человек, а что агенты
| Этап | Человек | ИИ-агенты |
|---|---|---|
| Гипотеза и метрика | формулирует, задаёт порог провала | не участвуют |
| Код сети и тестов | ставит задачу, ревьюит | генерация кода, рефакторинг, обвязка |
| Экзамен | дизайн закрытых наборов, вскрытие | прогон по инструкции |
| Интерпретация | решает, что доказано | не участвуют |
Почему без методики такой подход был бы неотличим от самообмана
Когда код пишут агенты, баг легко маскируется под результат: падение метрики выглядит как свойство метода. Предрегистрация, перемешанный контроль и мутанты компенсируют именно этот риск. Отчёту агента «всё работает» нельзя верить без собственной проверки на скрытых тестах, и в 40 прогонах по Python разница между заявленным и фактическим результатом видна на конкретных цифрах.
Ограничение схемы честное: отсутствие базы языков означает более высокую зависимость от качества ревью и тестов. Это рабочая конфигурация для узкой исследовательской задачи, а не универсальный рецепт. Пример с двенадцатью агентами и 64 научными статьями показывает ту же границу: пайплайн агенты собирают, проверку результата оставляют человеку.
Ограничения и список «чего не доказано»
- Устройство системы не раскрыто. Независимо воспроизвести нельзя: нет архитектуры, нет весов, нет кода.
- Сравнение с BeBold и RIDE идёт по опубликованным числам, а не по собственному прогону этих методов на тех же бюджетах.
- Бюджет сравнения в части задач мал, поэтому кривые могут не выходить на плато.
- Результаты получены в классе MiniGrid, перенос на другие домены не показан.
- «250 раз» относится к одной задаче и к формулировке «PPO не догнал за 5 млн кадров».
- Значительная доля выигрыша объясняется моделью мира и планом, а не «умнее нейроны»: это признание самого автора.
- Экономия счёта 2-4 раза измерена против плотной копии того же модуля, а не против произвольного baseline, детали замера не раскрыты.
- Полный список «чего не доказано» в доступном фрагменте текста отсутствует, описание обрывается на мутационных проверках.
Что можно и чего нельзя утверждать по итогам кейса
Корректная формулировка: в задачах MiniGrid автор заявляет экономию опыта до порядка 250 раз в одной задаче и 50 тысяч кадров на MultiRoom-N6 против 120 миллионов шагов у BeBold и RIDE по опубликованным числам. Первичный текст с этими заявлениями стоит читать целиком, включая оговорки.
Некорректные формулировки: «спайковые сети учатся в 250 раз быстрее», «метод заменяет PPO», «подход работает на любых задачах», «ИИ сам себя написал без человека». Первые три расширяют вывод за пределы эксперимента, четвёртая не соответствует тому, что автор говорит о своей роли.
Какие проверки закрыли бы оставшиеся пробелы
Открытый код и воспроизводимый прогон соперников на тех же бюджетах. Задачи вне MiniGrid, желательно с другими типами наблюдений. Независимая репликация третьей стороной, которая повторит экзамен на своих закрытых мирах. Полный ablation по всем компонентам с опубликованными числами: отключить спайки, отключить символьную часть, отключить модель мира, сравнить каждую конфигурацию с полной системой.
Пока этого нет, кейс остаётся любопытным, но не воспроизведённым результатом с необычно строгой для любительского проекта методикой.
Кому это интересно и что забрать в свою практику
Аудитория: исследователи обучения с подкреплением и нейросимвольных подходов, инженеры, которые строят агентов, и те, кто ведёт AI-проекты силами ИИ-агентов. Практическая ценность здесь не в архитектуре, её не показывают, а в методике проверки.
Чек-лист, который переносится на собственные эксперименты с LLM и агентами.
- Запишите метрику и порог провала до запуска, зафиксируйте запись и код хешем.
- Держите отложенный набор, который не видит ни модель, ни вы.
- Добавьте перемешанный контроль: на случайных данных результат обязан падать.
- Ломайте логику намеренно и проверяйте, что тест падает.
- Сравнивайте с baseline и ablation, а не только с прошлой версией себя.
- Публикуйте список «чего не доказано» рядом с результатом, а не в конце через три статьи.
Железо тоже часть вывода: всё считалось дома на Ryzen 7 5700X с RTX 3060, причём видеокарта нужна в основном соперникам. Барьер входа в такие эксперименты ниже, чем кажется по разговорам о больших кластерах. Похожая логика разбора с плацебо-проверкой и явными ограничениями вывода пригодится, если хотите увидеть, как выглядит честный отчёт о собственном эксперименте с малым бюджетом.
Следить за проектом имеет смысл по одной причине: если автор откроет код и прогоны соперников на тех же бюджетах, кейс станет проверяемым, а цифры можно будет обсуждать по существу. До этого читать его стоит как заявку с редкой для подобных проектов дисциплиной проверки, а не как подтверждённый результат.