Что обсуждают: краткий ответ на главный вопрос
В ближайшей перспективе стоит ждать looped transformers, варианты Gated Delta Net 2 и возможное возвращение diffusion transformers. Так выглядит список следующих шагов для архитектур LLM в обсуждении на Reddit: автор ветки называет эти три направления и отдельно оговаривает, что возвращение diffusion-подхода должно произойти «без потери интеллекта».
Текущий передовой уровень тот же автор связывает с крупными китайскими лабораториями и перечисляет четыре решения: conditional engram memory, hyper connections, attention residuals, sparse attention. Все названия даны списком, без разбора устройства, поэтому дальше речь пойдёт о том, как читать сами термины, а не о подтверждённых свойствах моделей.
Статус источника определяет, как относиться к материалу. Это ветка на r/LocalLLaMA, а не техническая публикация и не документация лаборатории. Ни по одному из семи терминов в ней нет описания механизма, замеров, бенчмарков или сроков появления. Автор прямо пишет, что, вероятно, существуют и другие направления, о которых он не знает, так что список заведомо неполон.
Текущий передовой уровень: что источник относит к архитектурам крупных китайских лабораторий
Четыре решения перечислены одним общим тезисом: конкретных организаций, моделей и релизов в ветке нет. Читать список стоит как намёк на направление поиска, а не как карту рынка. Все четыре термина так или иначе касаются трёх зон: механизма внимания, работы с памятью и связей между блоками. Именно там классический Transformer тратит больше всего вычислений и видеопамяти, поэтому неудивительно, что изменения ищут в первую очередь там.
Sparse attention и attention residuals: что меняется в механизме внимания
Полное внимание в трансформере сравнивает каждый токен с каждым предыдущим. Стоимость такой операции растёт квадратично от длины контекста, и именно она первой упирается в VRAM при работе с длинными документами и большими кэшами. Sparse attention читается как «разреженное внимание»: часть связей между токенами не считается вообще, и объём вычислений падает пропорционально доле отброшенных пар. Attention residuals, если разбирать название буквально, означает остаточные связи применительно к attention-блоку: сигнал и градиент идут в обход блока, а не только через него.
Источник не сообщает, какие именно пары отбрасываются, как выбирается шаблон разреженности и что даёт attention residuals на практике. Любые цифры ускорения или прироста качества здесь были бы домыслом. Обе гипотезы проверяемы только по первоисточникам: статье с методикой или карточке модели с замерами.
Conditional engram memory и hyper connections: память и связи
«Engram» в нейробиологии означает след памяти, а «conditional» добавляет условие: доступ к памяти зависит от текущего входа, а не идёт по фиксированному адресу. Из такого чтения названия следует общая идея: вынести часть состояния модели в отдельное хранилище и обращаться к нему по запросу. Hyper connections, если держаться буквы, говорит о дополнительных соединениях между компонентами сети, поверх привычных последовательных связей слоёв.
Обе расшифровки сделаны по названиям, и это важная оговорка. Источник не раскрывает ни устройство этих механизмов, ни их отличия от внешней памяти и обычных residual-связей. Зачем такие термины вообще появляются, объяснить проще: контекстное окно стоит VRAM и времени, а попытка вынести часть работы в память или перестроить связи между блоками обещает снизить эту цену. Насколько обещание выполняется, из ветки не видно.
Путаница между параметрами модели, контекстным окном и внешней памятью встречается постоянно. Она разобрана в материале про Regulated Access Memory, где отдельно объясняется, почему VRAM заканчивается раньше, чем ждёшь.
Looped transformers: что значит «зациклить» трансформер
Название описывает приём буквально: блок трансформера прогоняется через вход несколько раз, вместо того чтобы строить глубокий стек из уникальных слоёв. Вместо 60 разных слоёв можно взять 15 блоков и пропустить токены через них четыре раза. Параметров становится меньше, а вычислений на каждый токен столько же или больше.
Отсюда главная интрига направления: рост качества за счёт вычислений, а не за счёт размера весов. Формулировка «больше вычислений на параметр» описывает именно этот обмен. Ветка называет looped transformers ожидаемым следующим шагом и на этом останавливается: ни названий моделей, ни результатов по бенчмаркам, ни сроков.
Инженерные вопросы у схемы предсказуемы. Обратное распространение идёт через повторные проходы, и обучение такого стека сложнее стабилизировать, чем обычный трансформер. Инференс тоже меняется: повторные проходы увеличивают время генерации каждого токена, а кэширование промежуточных состояний усложняется. Схема с общими весами для нескольких слоёв встречалась в архитектурных экспериментах и раньше, так что looped transformers скорее продолжают известную линию, чем открывают её с нуля.
Стоит помнить, что это одна из нескольких гипотез. Автор ветки сам оговаривает неполноту списка, поэтому ждать, что «следующим шагом» окажутся именно зацикленные трансформеры, оснований нет.
Gated Delta Net 2: что стоит за названием и почему говорят о «вариантах»
Название разбирается на две части. «Gated» означает гейтирование: механизм, который решает, какую долю информации пропустить дальше, а какую погасить. Гейты встречаются в рекуррентных сетях, в вариантах внимания и в гибридных схемах, общий смысл у них один: управлять потоком данных и не давать внутреннему состоянию расти бесконтрольно. «Delta Net» источник не расшифровывает.
Приставка «2» и слово «варианты» указывают на возможные версии и модификации, а не на один конкретный релиз. В ветке нет ни ссылки на публикацию, ни списка отличий от предыдущей версии, ни подтверждения, что такая нумерация существует за пределами обсуждения. «Возможны варианты Gated Delta Net 2» и «вышла Gated Delta Net 2» описывают разные уровни уверенности, и путать их не стоит.
Альтернативы полному вниманию в сообществе часто описывают как рекуррентное обновление состояния: модель держит компактное состояние и обновляет его на каждом токене, вместо того чтобы хранить растущий кэш. Такая трактовка полезна как ориентир, но привязывать её к названию из ветки без первоисточника нельзя.
Diffusion transformers для LLM: почему говорят о возвращении и что значит «без потери интеллекта»
Diffusion-подход ассоциируется прежде всего с генерацией изображений: модель учится убирать шум и постепенно собирает картинку. Для текста та же схема означает генерацию последовательности не слева направо, а через итеративное уточнение всего ответа целиком. Формулировка источника звучит так: возможно возвращение diffusion transformers, «но без потери интеллекта».
Оговорка подразумевает, что раньше у текстовых diffusion-моделей был заметный проигрыш авторегрессионным собратьям по качеству рассуждений. Автор этого не объясняет, сравнений не приводит и не называет, как именно потерю удастся убрать. Слова «maybe» и «somehow» в исходной фразе стоит держать в голове: перед нами гипотеза о будущем, а не описание работающей модели.
Практического смысла ждать возвращения прямо сейчас нет. В ветке нет ни примеров моделей, ни оценки качества генерации текста, ни данных о скорости. Утверждать, что diffusion transformers уже возвращаются, было бы искажением источника.
Ограничения направлений: что в источнике не сказано
Список оговорок стоит держать перед глазами целиком, иначе разбор названий легко принять за техническое описание:
- Источник это обсуждение на Reddit, а не техническая публикация. Утверждения поданы как мнение и ожидания автора.
- Нет описаний устройства: как именно работает sparse attention, что такое hyper connections, чем looped transformers отличаются от обычных, не раскрыто.
- Нет бенчмарков и подтверждённых характеристик. Ни одной цифры по качеству, скорости или потреблению памяти.
- Нет сроков. «Ближайшая перспектива» не переводится в даты, а привязка к 2026 году была бы нашей выдумкой, а не данными источника.
- Формулировка про diffusion transformers условная. Механизм сохранения качества не объяснён.
- Список будущих направлений заведомо неполон: автор сам допускает существование того, о чём не знает.
- Связь с крупными китайскими лабораториями дана обобщённо, без организаций и моделей.
Из этого набора нельзя вывести требования к железу, оценить инфраструктурные издержки или спланировать миграцию. Пока нет публикации с методикой и замерами, любая оценка «насколько это будет быстрее» остаётся догадкой, даже если звучит убедительно.
Что это значит на практике: стоит ли ждать и как следить за темой
Для пользователя локальных LLM и прикладного разработчика список из ветки означает одно: тема для наблюдения, а не повод менять рабочий сетап. Ни одна из перечисленных архитектур не описана настолько, чтобы оценить требования к VRAM, поведение при квантовании или скорость инференса. Планировать апгрейд GPU под looped transformers или Gated Delta Net 2 сейчас не на чем: нет ни моделей, ни замеров, ни сроков.
Один содержательный вывод всё же есть. Если идея с повторным использованием блоков дойдёт до релизов, генерация каждого токена потребует больше вычислений, а нагрузка на ускоритель вырастет при том же числе параметров. Это следствие логики самого подхода, а не заявление источника. Для домашних сетапов такой сценарий означает более заметную роль квантования и более внимательный выбор длины контекста.
Фильтровать информацию по теме помогает короткий чек-лист:
- Смотреть на тип источника. Ветка на форуме отражает ожидания сообщества, технический отчёт отражает результат эксперимента.
- Искать первоисточник термина: статью, документацию лаборатории, карточку модели. Пока их нет, термин остаётся названием.
- Отделять архитектуру от релиза. Между публикацией идеи и появлением весов проходят месяцы, и часть идей до весов не доходит.
- Проверять, есть ли у утверждения цифры: длина контекста, потребление VRAM, результаты бенчмарков. Фраза без цифр остаётся мнением.
- Не переносить ожидания из обсуждения на выбор модели или закупку железа.
Соседние направления, которые обсуждают в том же контексте, включая Mamba-подобные модели, гибриды с трансформером и альтернативы attention, разобраны в материале о том, какие архитектурные изменения в LLM могут стать следующей большой вехой в 2026 году. Общее правило простое: сначала появляется публикация с методикой и замерами, затем модель, и только потом форумные списки обрастают деталями, по которым уже можно что-то выбирать.