Перейти к содержанию
Публикация AiManual

Engram от Deepseek: революция в архитектуре ИИ, которая позволит малым моделям превзойти гигантов

Полный разбор Engram от Deepseek: революционная архитектура, которая разделяет знания и рассуждения. Почему малые модели скоро превзойдут гигантов.

Коротко

Что будет в материале

  1. 01

    Проблема, которую все игнорируют

  2. 02

    Решение, которое никто не ожидал

  3. 03

    Как это работает на практике

  4. 04

    Почему это убьет гигантов

Проблема, которую все игнорируют

Мы привыкли думать, что размер - это главное. Больше параметров? Больше данных? Больше вычислительной мощности? Значит, лучше модель. Глубоко вшитое в наше сознание уравнение работает так: GPT-5 больше GPT-4, значит GPT-5 умнее.

Но есть одна маленькая, неудобная деталь. Она называется галлюцинации.

Вы спрашиваете у модели про событие, которого не было. И она с уверенностью 99% рассказывает вам подробности. Вы просите код - она генерирует несуществующие библиотеки. Вы задаете вопрос по физике - она придумывает законы, которых нет.

Гигантские модели - это не интеллект. Это очень сложные машины для угадывания следующего токена. И чем они больше, тем увереннее они угадывают неправильное.

Проблема номер два: RL обучение. Хотите обучить модель на обратной связи от человека? Подготовьте миллионы долларов и месяцы времени. Тренировка DeepSeek V4 стоила как небольшой стартап. И это только одна модель.

Проблема номер три: знания застывают во времени. Обучили модель на данных до 2024 года? Все. Теперь она не знает, что произошло в 2025. Переобучение стоит как новая модель.

Решение, которое никто не ожидал

DeepSeek смотрит на эту ситуацию и говорит: "Хватит это терпеть". Их ответ - Engram.

Не очередное улучшение трансформеров. Не новый алгоритм оптимизации. Не еще один трюк с вниманием.

Фундаментальное разделение архитектуры на две части:

  • Таблицы фактов - внешние базы знаний, которые хранят проверенную информацию
  • Модель рассуждений - компактный движок, который использует эти таблицы для генерации ответов
💡
Представьте библиотекаря и философа. Библиотекарь (таблицы фактов) знает, где каждая книга. Философ (модель рассуждений) читает эти книги и строит сложные теории. Но философ не пытается запомнить все книги - он знает только, как их использовать.

Это не просто техническое улучшение. Это смена парадигмы. Вместо того чтобы пытаться впихнуть все знания мира в один гигантский файл весов, Engram говорит: "Давайте хранить знания отдельно. А модель пусть учится только рассуждать".

Как это работает на практике

Возьмем простой пример. Вы спрашиваете: "Какая столица Франции?"

Традиционная модель: Ищет в своих весах паттерны "Франция", "столица", "Париж". Находит статистическую связь. Выдает ответ.

Engram модель: Видит запрос. Обращается к таблице фактов "География". Находит запись "Франция → столица: Париж". Использует модель рассуждений, чтобы сформулировать ответ: "Столица Франции - Париж".

Разница кажется незначительной? Подождите.

Теперь спросим: "Что произойдет, если Франция перенесет столицу в Марсель?"

Традиционная модель: "Франция всегда имела столицу в Париже". Или начинает галлюцинировать про исторические переносы столиц.

Engram модель: Обновляет таблицу фактов. Теперь "Франция → столица: Марсель". Модель рассуждений использует обновленные факты. Готово.

АспектТрадиционная модельEngram модель
Обновление знанийПолное переобучениеОбновление таблицы фактов
ГаллюцинацииВысокий рискМинимальный риск
Размер моделиГигантский (миллиарды параметров)Компактный (миллионы параметров)
Стоимость RL обученияАстрономическаяУмеренная

1Таблицы фактов: не просто база данных

Таблицы фактов в Engram - это не SQL база. Это нейросетевые структуры, оптимизированные для быстрого поиска и извлечения.

Каждая таблица специализируется на определенном типе знаний:

  • Географические факты (столицы, население, координаты)
  • Научные константы и формулы
  • Программные API и документация
  • Исторические даты и события

Прелесть в том, что таблицы можно обновлять независимо. Новая версия библиотеки Python? Обновили таблицу "Python API". Модель рассуждений даже не заметила.

2Модель рассуждений: чистый интеллект

Вот где происходит магия. Модель рассуждений в Engram архитектуре - это компактная нейросеть, которая не хранит факты. Она хранит только умение работать с фактами.

Представьте, что вы учите ребенка не запоминать энциклопедию, а учите его пользоваться библиотекой. Ребенок маленький (малая модель), но если у него есть доступ к библиотеке (таблицам фактов), он может ответить на любой вопрос.

Эта модель учится:

  • Как формулировать запросы к таблицам фактов
  • Как комбинировать информацию из разных таблиц
  • Как строить логические цепочки на основе фактов
  • Как генерировать естественные ответы

Ключевое преимущество: RL обучение такой модели стоит в разы дешевле. Вы обучаете не гигантскую сеть, а компактный движок рассуждений. Это как разница между обучением пилота на Boeing 747 и на легком спортивном самолете.

Почему это убьет гигантов

Давайте посмотрим на цифры. На 22.01.2026 типичная большая модель типа GPT-5 имеет:

  • Более 1 триллиона параметров
  • Стоимость обучения: $100+ миллионов
  • Время инференса: 100-500 мс на токен
  • Частота галлюцинаций: 3-5% даже после RLHF

Engram модель на 22.01.2026:

  • Модель рассуждений: 50-100 миллионов параметров
  • Таблицы фактов: эквивалент 500+ миллиардов параметров в традиционной модели
  • Стоимость обучения: $1-5 миллионов
  • Время инференса: 10-30 мс на токен
  • Частота галлюцинаций: <0.1% (факты проверяются таблицами)

Видите разницу? Engram дает вам качество гигантской модели по цене маленькой.

Что это значит для разработчиков

Если вы думаете, что это академическая теория - ошибаетесь. Engram уже меняет ландшафт.

IQuest-Coder-V1 40B уже использует похожие принципы для программирования. Модель в 40 миллиардов параметров обгоняет GPT-5.1 в кодинге. Как? Отделяя знание API от умения писать код.

Genesis-152M-Instruct показал, что даже 152 миллиона параметров достаточно для качественных инструкций, если правильно организовать доступ к знаниям.

Что вы можете делать уже сейчас:

  1. Начинать проектировать системы с разделением знаний и логики. Не пытайтесь запихнуть все в одну модель.
  2. Строить специализированные таблицы фактов для вашей предметной области.
  3. Экспериментировать с малыми моделями, которые используют внешние базы знаний.
  4. Готовиться к переходу, когда фреймворки типа Engram станут стандартом.

Предупреждение: не пытайтесь реализовать полный Engram самостоятельно в продакшене. Это сложная архитектура, которая требует глубокого понимания. Лучше дождаться открытых реализаций от DeepSeek или сообщества.

Главный вопрос: когда?

DeepSeek анонсировал Engram в конце 2025. На 22.01.2026 архитектура проходит внутреннее тестирование. Ожидаемая публикация - первая половина 2026 года.

Что будет дальше:

  • Q2 2026: Первые open-source реализации Engram архитектуры
  • Q3 2026: Появление специализированных моделей на Engram для программирования, науки, медицины
  • Q4 2026: Engram становится стандартом для enterprise решений
  • 2027: Большинство новых моделей используют разделение знаний и рассуждений

Это не просто еще одна архитектура. Это конец эры гигантских монолитных моделей. Начинается эра компактных, специализированных, обновляемых систем.

Что делать прямо сейчас

Не ждите. Начните думать в терминах Engram уже сегодня:

  1. Аудит ваших текущих ML систем. Где у вас смешаны знания и логика? Разделите их.
  2. Постройте прототип таблицы фактов для вашей основной предметной области.
  3. Экспериментируйте с малыми моделями (7B, 13B), которые используют внешние базы знаний.
  4. Следите за обновлениями DeepSeek. Они будут первыми.
  5. Изучайте латентное рассуждение и Sparse Autoencoders. Это фундамент, на котором строится Engram.

Помните: когда все побегут покупать GPU для тренировки гигантских моделей, умные компании уже будут строить системы на Engram. Разница в стоимости будет измеряться порядками. Разница в качестве - тоже.

Гиганты вроде GPT-5 и Claude 4.5 еще похваляются своими размерами. Но их дни сочтены. Скоро 50-миллионная модель с правильной архитектурой будет делать то же самое, что они делают сегодня. Быстрее. Дешевле. Надежнее.

И самое ироничное: чтобы понять, почему Engram победит, не нужна гигантская модель. Достаточно простого человеческого рассуждения. А это, кажется, все еще бесплатно.