Нейросети на микроконтроллерах: STM32, ESP32 и RP2040
Нейросети всё чаще запускают прямо на микроконтроллерах. Так получаются устройства, которые принимают решения локально, без постоянной связи с облаком: умные датчики, носимая электроника, промышленная диагностика. Ниже — что реально запустить на STM32, ESP32 и RP2040 и как уложить модель в ограничения памяти и питания.
Содержание
Зачем обработка на устройстве
- Скорость и энергия: решение принимается на месте, данные не гоняются в облако.
- Приватность: данные не покидают устройство.
- Надёжность: система работает без связи.
- Экономия: меньше трафика и нагрузки на серверы.
Инструменты
| Инструмент | Для чего |
|---|---|
| TensorFlow Lite for Microcontrollers | Универсальный движок; есть порты для STM32, ESP32 и RP2040 |
| CMSIS-NN | Оптимизированные ядра нейросетевых операций для Arm Cortex-M |
| STM32Cube.AI | Конвертация и оптимизация моделей под STM32 |
| ESP-DL и ESP-NN | Библиотеки Espressif с оптимизацией под ESP32-S3 |
| Edge Impulse | Облачная платформа: сбор данных, обучение и экспорт готового проекта |
Оперативной памяти у таких микроконтроллеров обычно сотни килобайт, поэтому модель и буферы приходится планировать вплоть до байта.
STM32
Старшие семейства, например STM32H7 и STM32U5, справляются с лёгкими свёрточными и рекуррентными сетями. Для изображений и более тяжёлых моделей у ST есть STM32N6 со встроенным нейроускорителем.
Типичные задачи:
- распознавание голосовых команд;
- классификация вибраций и поиск аномалий в оборудовании;
- обработка сигналов датчиков для предиктивной диагностики.
На Cortex-M стоит использовать CMSIS-NN: оптимизированные свёртки заметно ускоряют вычисления по сравнению с базовыми ядрами TFLM. [УТОЧНИТЬ: подтвердить цифру ускорения из ваших проектов, в старой статье — 2–4 раза]
ESP32-S3
ESP32-S3 сочетает Wi-Fi и Bluetooth с векторными инструкциями в ядрах Xtensa LX7, которые ускоряют операции нейросетей. Отдельного нейросопроцессора в нём нет; максимальную скорость дают оптимизированные библиотеки Espressif.
Применения: распознавание объектов на борту камеры, голосовые интерфейсы в носимых устройствах, детекция присутствия и жестов. [УТОЧНИТЬ: подтвердить: обработка аудиопотока в реальном времени на ESP32-S3 — из вашего проекта?]
RP2040
Бюджетный двухъядерный Cortex-M0+ с 264 КБ SRAM, без аппаратного блока операций с плавающей точкой и без нейроускорителя. Поэтому модели для него квантуют в int8. Небольшие свёрточные сети на изображениях 96×96 — например, детекция человека — укладываются в его память.
Подходит для недорогих датчиков, обучающих устройств и прототипов.
Как уложить модель в микроконтроллер
- Квантование весов из float32 в int8 — модель становится вчетверо меньше.
- Упрощение архитектуры — малые фильтры свёрток (3×3), меньше слоёв.
- Раздельный бюджет памяти для Flash (веса) и SRAM (рабочие буферы).
- Сон между инференсами для экономии энергии.
Пример из практики
Интеллектуальный датчик вибрации для предиктивной диагностики подшипников: STM32H7, TensorFlow Lite for Microcontrollers, свёрточная сеть с квантованием в int8. Устройство анализирует спектр вибрации в реальном времени и передаёт по LoRaWAN только сигналы тревоги — это позволило сократить трафик до 90%. [УТОЧНИТЬ: подтвердить, что это проект АКСОНИМ, и цифру экономии трафика]
Что выбрать
- STM32 — промышленные и медицинские системы.
- ESP32-S3 — IoT и умный дом с Wi-Fi и Bluetooth.
- RP2040 — бюджетные решения и прототипы.