Выпускаешь модель для мобилок? Запускаешь inference на Snapdragon через QNN или TFLite? Тогда тебе знаком этот ад: в CI все тесты проходят, а на реальном устройстве у пользователей — лаги, нагрев и разряженная батарея за час. Среднее время отклика (mean latency) — это ложь. Реальность — это p95 и p99, когда каждый сотый запрос тормозит так, что хочется швырнуть телефон об стену.
Проблема не в твоем коде. Проблема в том, как ты его тестируешь. Эмуляторы? Шутка. Бенчмарки на "холодном" процессоре? Не смеши. Настоящее мобильное железо живет своей жизнью: троттлинг из-за перегрева, скачки частоты CPU/GPU/NPU, борьба за память с другими процессами, внезапные вызовы сборщика мусора. Это хаос, который нельзя смоделировать. Его можно только измерить. На реальном устройстве. В реальных условиях.
Что EdgeGate делает иначе
EdgeGate — не очередной фреймворк для бенчмаркинга. Это система CI-тестирования, которая физически управляет парком реальных Android-устройств (в основном на Snapdragon, потому что они доминируют в сегменте с NPU). Она не спрашивает "какая средняя скорость?". Она спрашивает: "Что происходит в худшем случае?" И делает это автоматически, после каждого коммита.
Ключевая фишка EdgeGate v3.1 (актуально на февраль 2026) — интеграция с Qualcomm Neural Processing SDK (QNN) v2.18 и TensorFlow Lite v2.18. Он умеет прогонять одну и ту же модель через разные бэкенды (CPU, GPU, NPU, DSP) в одном прогоне и сравнивать не только скорость, но и стабильность вывода (numeric stability) и потребление энергии.
1Сценарий теста: не один замер, а история с напряжением
Типичный сценарий в EdgeGate выглядит так:
- Устройство (например, смартфон на Snapdragon 8 Gen 4) помещается в термокамеру. Температура поднимается до 40°C — имитация кармана в жаркий день.
- Запускается фоновый стресс-скрипт: имитация работы Spotify, мессенджера и скроллинга соцсетей.
- EdgeGate начинает циклический inference твоей модели (скажем, детектор объектов для AR-приложения). Не 10 раз, а 5000 раз.
- Параллельно система снимает метрики с частотой 100 Гц: температура каждого ядра, частоты, напряжение, ток потребления от аккумулятора, использование памяти, активность NPU.
Итог — не одно число, а временные ряды. Графики. Можно увидеть момент, когда срабатывает троттлинг и p99 latency взлетает с 15 мс до 120 мс. Можно поймать "просадку" батареи, когда NPU внезапно начинает жрать на 30% больше энергии из-за неоптимального графа вычислений в TFLite.
| Метрика | Что показывает | Почему важно |
|---|---|---|
| p95 Latency | Время, ниже которого работают 95% запросов | Определяет плавность интерфейса. Если p95 > 33 мс (1 кадр при 30 FPS) — пользователь заметит тормоза. |
| p99 Latency | Время, ниже которого работают 99% запросов | Критично для real-time приложений (AR, голосовые ассистенты). Выбросы здесь убивают UX. |
| Energy per Inference | Джоули, потребленные на один вывод модели | Прямой перевод в время автономной работы. Разработчики часто забывают об этом, фокусируясь только на скорости. |
| Thermal Throttling Count | Количество срабатываний троттлинга за сессию | Показатель устойчивости нагрузки. Частый троттлинг = нестабильная производительность в длительной сессии. |
Чем EdgeGate не является (и спасибо за это)
Это не AI-агент для управления смартфоном. Там цель — автоматизировать UI-тесты. Здесь цель — измерить физические параметры системы под нагрузкой AI.
Это не фреймворк для запуска моделей типа KernelAI. Ты не будешь через EdgeGate запускать LLM для чата. Ты будешь тестировать, как твоя оптимизированная под Snapdragon модель ведет себя в бою.
Важный нюанс: EdgeGate фокусируется на Snapdragon, потому что у Qualcomm самая сложная и многоуровневая экосистема для AI (QNN, Hexagon DSP, Adreno GPU, NPU). Тестирование на MediaTek или китайских чипах требует других драйверов и конфигураций, которые пока поддерживаются хуже.
С чем сравнивать? Альтернативы, которых почти нет
Пейзаж здесь пустынный. Большинство команд пишут кастомные скрипты на Python с adb и systrace. Это больно, хрупко и непереносимо.
- Android Studio Profiler: Хорош для разовых исследований, но не для CI. Нет автоматизации, нет управления температурой, нет агрегации p95/p99 по множеству прогонов.
- Qualcomm Profiler: Мощный, но требует ручного подключения, лицензии и глубокого погружения в документацию QNN. Не встраивается в пайплайн.
- Самописные решения на основе AI Doomsday Toolbox: Некоторые команды пытаются адаптировать инструменты для распределенного inference под задачи тестирования. Получается громоздко, но работает, если нет бюджета на EdgeGate.
EdgeGate занимает нишу именно потому, что берет всю эту боль на себя: драйверы, калибровку датчиков, управление устройствами по сети, хранение и визуализацию исторических данных. Ты получаешь отчет в Confluence или Slack: "Коммит abc123 увеличил p99 latency на NPU на 12% при температуре 35°C. Вероятная причина — изменение графа в TFLite конвертере."
Кому это впишется в workflow (а кому нет)
Бери EdgeGate, если:
- Ты разрабатываешь on-device AI для массовых Android-приложений (камеры, AR, голосовые помощники).
- У тебя уже есть CI/CD пайплайн и ты понимаешь, что тесты на эмуляторе — это самообман.
- Ты столкнулся с проблемами типа "NPU не работает" и хочешь отлавливать такие регрессии автоматически.
- Ты оптимизируете модели под конкретное железо (например, для запуска LLM на Android с NPU) и тебе нужно сравнивать производительность разных бэкендов (ORT vs TFLite vs QNN).
Не трать время, если:
- Ты делаешь исследовательский прототип и тебе достаточно mean latency на холодном устройстве.
- Твоя целевая платформа — iPhone или планшеты на Apple Silicon. EdgeGate заточен под Android.
- Ты работаешь с очень маленькими моделями, где троттлинг и энергопотребление не являются проблемой.
- У тебя нет доступа к парку физических устройств (EdgeGate можно использовать с облачными сервисами вроде AWS Device Farm, но это дороже и сложнее).
Конец эпохи "у меня на макбуке работает"
Тренд 2025-2026 годов — смещение AI inference на край сети (edge). Пользователи ждут, что приложения с AI будут такими же отзывчивыми и энергоэффективными, как и все остальные. Хаки с облачным inference уже не катят из-за задержек и требований приватности.
Инструменты вроде EdgeGate — это признание того, что разработка мобильного AI перестала быть чисто программной задачей. Это задача системного уровня, где код, железо, термодинамика и поведение пользователя сплетаются в один клубок. Развязывать его вслепую — путь к плохим отзывам в маркете и возвратам устройств.
Следующий шаг? Предсказываю, что к концу 2026 подобные системы начнут интегрировать с симуляторами износа батареи и будут давать прогнозы вроде: "Эта версия модели сократит время автономной работы типичного пользователя на 23 минута в день из-за неоптимального использования DSP". Тестирование станет не просто проверкой "работает/не работает", а инструментом проектирования пользовательского опыта. И те, кто это поймет первыми, будут делать мобильный AI, который не бесит.
