Загрузка сайтаLoading website

Обновить страницуReload page
Инженерные статьи3 мин чтения

Нейросети на микроконтроллерах: STM32, ESP32 и RP2040

Нейросети всё чаще запускают прямо на микроконтроллерах. Так получаются устройства, которые принимают решения локально, без постоянной связи с облаком: умные датчики, носимая электроника, промышленная диагностика. Ниже — что реально запустить на STM32, ESP32 и RP2040 и как уложить модель в ограничения памяти и питания.

ЧерновикМатериал готовится к публикации. Отмеченные данные требуют уточнения у инженеров.
Содержание

Зачем обработка на устройстве

  • Скорость и энергия: решение принимается на месте, данные не гоняются в облако.
  • Приватность: данные не покидают устройство.
  • Надёжность: система работает без связи.
  • Экономия: меньше трафика и нагрузки на серверы.

Инструменты

ИнструментДля чего
TensorFlow Lite for MicrocontrollersУниверсальный движок; есть порты для STM32, ESP32 и RP2040
CMSIS-NNОптимизированные ядра нейросетевых операций для Arm Cortex-M
STM32Cube.AIКонвертация и оптимизация моделей под STM32
ESP-DL и ESP-NNБиблиотеки Espressif с оптимизацией под ESP32-S3
Edge ImpulseОблачная платформа: сбор данных, обучение и экспорт готового проекта

Оперативной памяти у таких микроконтроллеров обычно сотни килобайт, поэтому модель и буферы приходится планировать вплоть до байта.

STM32

Старшие семейства, например STM32H7 и STM32U5, справляются с лёгкими свёрточными и рекуррентными сетями. Для изображений и более тяжёлых моделей у ST есть STM32N6 со встроенным нейроускорителем.

Типичные задачи:

  • распознавание голосовых команд;
  • классификация вибраций и поиск аномалий в оборудовании;
  • обработка сигналов датчиков для предиктивной диагностики.

На Cortex-M стоит использовать CMSIS-NN: оптимизированные свёртки заметно ускоряют вычисления по сравнению с базовыми ядрами TFLM. [УТОЧНИТЬ: подтвердить цифру ускорения из ваших проектов, в старой статье — 2–4 раза]

ESP32-S3

ESP32-S3 сочетает Wi-Fi и Bluetooth с векторными инструкциями в ядрах Xtensa LX7, которые ускоряют операции нейросетей. Отдельного нейросопроцессора в нём нет; максимальную скорость дают оптимизированные библиотеки Espressif.

Применения: распознавание объектов на борту камеры, голосовые интерфейсы в носимых устройствах, детекция присутствия и жестов. [УТОЧНИТЬ: подтвердить: обработка аудиопотока в реальном времени на ESP32-S3 — из вашего проекта?]

RP2040

Бюджетный двухъядерный Cortex-M0+ с 264 КБ SRAM, без аппаратного блока операций с плавающей точкой и без нейроускорителя. Поэтому модели для него квантуют в int8. Небольшие свёрточные сети на изображениях 96×96 — например, детекция человека — укладываются в его память.

Подходит для недорогих датчиков, обучающих устройств и прототипов.

Как уложить модель в микроконтроллер

  • Квантование весов из float32 в int8 — модель становится вчетверо меньше.
  • Упрощение архитектуры — малые фильтры свёрток (3×3), меньше слоёв.
  • Раздельный бюджет памяти для Flash (веса) и SRAM (рабочие буферы).
  • Сон между инференсами для экономии энергии.

Пример из практики

Интеллектуальный датчик вибрации для предиктивной диагностики подшипников: STM32H7, TensorFlow Lite for Microcontrollers, свёрточная сеть с квантованием в int8. Устройство анализирует спектр вибрации в реальном времени и передаёт по LoRaWAN только сигналы тревоги — это позволило сократить трафик до 90%. [УТОЧНИТЬ: подтвердить, что это проект АКСОНИМ, и цифру экономии трафика]

Что выбрать

  • STM32 — промышленные и медицинские системы.
  • ESP32-S3 — IoT и умный дом с Wi-Fi и Bluetooth.
  • RP2040 — бюджетные решения и прототипы.