Перейти к содержанию
Новое AiManual теперь в MAX Подписаться
Публикация AiManual

Запуск LLM на bare-metal: UEFI-приложение без ОС для максимально легковесного inference

Экспериментальный проект: UEFI-приложение для запуска LLM на голом железе. Прямой доступ к памяти, никакой операционной системы. Обзор для энтузиастов.

Коротко

Что будет в материале

  1. 01

    Когда операционная система только мешает

  2. 02

    Что это за зверь и как он работает

  3. 03

    С чем это вообще сравнивать

  4. 04

    Где эта штука может пригодиться

Когда операционная система только мешает

Представьте, что ваш компьютер включается. На экране нет логотипа Windows, нет загрузчика GRUB. Только черный фон и белая строка: "Prompt: ". Вы вводите вопрос. Через секунду нейросеть отвечает. Никакой операционной системы между вами и железом. Ни одного лишнего байта.

Это не концепт. Это рабочая реальность на март 2026 года. Bare-metal UEFI LLM — это приложение, которое загружается прошивкой материнской платы и сразу начинает генерировать текст. Никакого ядра, никаких драйверов, никаких системных вызовов. Только ваш код, память и процессор.

💡
Если концепция bare-metal LLM вам в новинку, сначала прочтите наш базовый материал: Bare-Metal LLM: как запустить языковую модель без операционной системы. Там объясняются фундаментальные принципы.

Что это за зверь и как он работает

Проект — это монолитное UEFI-приложение, написанное на C. Оно компилируется в единый бинарный файл с расширением .efi. Вы записываете его на флешку или жесткий диск, настраиваете UEFI на загрузку с этого носителя — и все. Система стартует прямо в инференс-движке.

Внутри — переработанный под freestanding-режим движок, совместимый с актуальными форматами моделей, вроде GGUFv3. Он умеет загружать веса, выполнять матричные умножения на CPU (поддержки GPU в чистом UEFI пока нет, и вряд ли появится) и выводить текст через простейший VGA-буфер или консоль UEFI.

Забудьте про многозадачность, виртуальную память и файловую систему. Здесь все вручную. Выделил регион физической памяти под модель — работай в нем. Кончилась память — система просто зависнет. Это ад для разработчика и мечта для перфекциониста, который ненавидит накладные расходы.

С чем это вообще сравнивать

Альтернатив, по правде говоря, почти нет. Это уникальный эксперимент на стыке прошивок и искусственного интеллекта.

ПодходНакладные расходыСложностьДля кого
UEFI Bare-Metal LLMПрактически нулевыеЗапредельнаяИсследователи, энтузиасты хардкора
Llama.cpp под Linux (актуальная версия 5.2)Умеренные, есть планировщик, драйверыНизкаяПрактически все, кто работает с локальными LLM
MLC в браузереВысокие (браузер, JS-рантайм)Очень низкаяДемонстрации, быстрое тестирование
Запуск на специализированном железе (как в нашем гайде по сборке станции)Зависит от ОССредняя (настройка железа)Профессионалы, нуждающиеся в мощности

Единственный относительно близкий аналог — это запуск LLM на микроконтроллерах, но там используются совершенно другие архитектуры (ARM Cortex-M) и крошечные модели. Здесь же речь о полноценном x86_64-сервере или ПК.

Где эта штука может пригодиться

Сценарии использования узкие, но яркие.

  • Автономные диагностические системы. Сервер, который при включении сам анализирует свои логи и выдает рекомендации по исправлению ошибок. Без ОС — меньше точек отказа.
  • Экстремальный embedded. Специализированное оборудование, где каждый мегабайт ОЗУ и каждый цикл процессора на счету. Например, в промышленных контроллерах.
  • Исследовательский стенд. Если нужно измерить чистое время инференса без влияния планировщика ОС. Для академических статей — идеально.
  • Арт-проекты и демо. Загрузочная флешка, которая при запуске компьютера начинает писать стихи. Звучит как магия, а выглядит впечатляюще.

Практический пример: вы хотите оживить старый сервер Dell T7910 из нашего гайда. У него много RAM, но слабые CPU. Установка Linux и llama.cpp съест часть ресурсов. Bare-metal UEFI-приложение использует всю память исключительно под модель, выжимая максимум из старых ядер.

Кому стоит (и не стоит) с этим связываться

Попробуйте, если вы:

  • Системный программист, который знает UEFI Specification наизусть (или готов ее выучить).
  • Одержимы идеей минимализма и контроля над железом.
  • Работаете над embedded-проектом, где Linux слишком жирный, а FreeRTOS — слишком примитивный.
  • Просто хотите похвастаться перед коллегами самым необычным способом запуска LLM.

Бегите прочь, если вы:

  • Ожидаете удобный веб-интерфейс, историю чатов или поддержку GPU.
  • Планируете использовать это в продакшене. (Серьезно, даже не думайте).
  • Не готовы к часам отладки, когда система падает без каких-либо сообщений об ошибках.
  • Ищете способ запустить маленькую LLM на ноутбуке для повседневных задач. Возьмите llama.cpp — не мучайте себя.

Основной инструмент — это форк llama.cpp, адаптированный для сборки с EDK II (инструментарий разработки UEFI). Все актуальные обновления основного репозитория, включая поддержку новейших моделей вроде Llama 4 8B или Gemma 3 Nano, приходится вручную переносить в bare-metal-версию. Это адская рутина.

На дворе 2026 год, а мы все еще отлаживаем баги выравнивания памяти вручную. Иногда кажется, что весь этот проект — одна большая шутка над индустрией, которая ушла в облака и контейнеры. Но когда видишь, как на экране без ОС рождается связный текст, понимаешь — это красиво. Это чистый код, чистый металл. И, возможно, именно так будет выглядеть загрузка будущих автономных AI-устройств.

Подписаться на канал