恩智浦的i.MX RT系列跨界处理器，为在设备端实现智能运算提供了更高性价比的方案，解锁了在嵌入式应用中部署人工智能算法的新途径。

恩智浦的工程师们从多种角度，做了很多有创新的尝试和工作，为客户提供了丰富的选项，也很好地展示了i.MX RT产品的高性能和高扩展适应性。

本文及随后的一些小文将分别介绍这些精彩的成果。

引 言

多目标检测是机器学习重要的研究领域之一，可以广泛应用于机器人，安防和工业监控等领域。

针对多目标检测任务，目前比较流行的是基于卷积神经网络（Conventional Neural Network，CNN）的算法，例如Yolo，SSD和RetinaNet等。

然而，目前已有CNN方法均不适用于嵌入式平台的部署，这是因为目标检测是一个比较繁重的任务，而现有的检测模型过于复杂，对平台的算力和内存的需求很高，因此无法将其部署在嵌入式平台。

本文基于开源算法，提出了一种轻量化的目标检测网络，大量运用深度可分离卷积以及全新的尺度变换结构，使得模型计算复杂度和结构得到极大简化，进而使多目标检测在MCU上的实现成为可能。

提出的检测算法在NXP微控制器i.MX RT1170上的部署实验结果表明：该算法极大降低了对于ROM和RAM的消耗，运行时间得到大幅度优化，检测速度最高可达10FPS，并且模型精度可以媲美开源的YoloV3-tiny，YoloV4-tiny等模型。

实时多人体检测算法

1. 网络结构设计

本文采用的网络结构设计主要分为两部分，第一部分为网络主体结构，用来逐层提取样本的有效特征。该主体结构借鉴了MobileNetV2的轻量特性，并充分考虑了模型在部署方面对于ROM和RAM的优化。

网络主要特点概括如下：

（1）大量运用深度可分离卷积来减少参数量，进而减少ROM的消耗。深度可分离卷积相对于传统的卷积可以大大较少参数规模。例如对于一个输入有8个通道，输出有16个通道的传统3*3卷积， 其参数量为16*8*3*3=1152；而深度可分离卷积参数量仅有8*3*3+1*1*8*16=200。

（2）模型结构设计上遵循的是加大网络模型深度，缩小每层的宽度，这样带来的好处是减少每层推理所需要的内存占用。这是因为在嵌入式设备中，运行内存极为紧张，而优化过的模型可以减少RAM的使用。

（3）考虑到模型部署需要用到8位整型量化，这里我们采用Relu激活函数。这是因为目前还没有任何研究表明哪种激活函数具有更高的精度，但对于量化来说，显然Relu会比pRelu（图1），leakyRelu或者sigmoid等函数具有更快的推理时间和更低的量化损失。

（4）网络设计中尺度变换结构采用了1*1，3*3和5*5三种卷积核尺寸，进而同时兼顾不同大小目标的定位精度；同时，我们提出的尺度预测结构更为简单，减少了网络模型部署的难度。

2. 网络模型融合压缩与量化

对于训练后的网络模型，可以通过网络模型的融合压缩以及量化技术，加快其在嵌入式设备上的推理时间。

因为本文设计网络中为了使每层数据分布更加均匀（有助于减少整型量化中的损失），采用了Batchnorm对数据进行约束。此外，Batchnorm还可以将输入分布更多的分散在非饱和区，进而减小梯度弥散，加快收敛过程。模型训练结束后，Batchnorm中参数就固化了，可以将其参数融合进卷积层中，最终避免Batchnorm层在实际模型推理中的时间消耗。

模型量化的目的是为了加快模型在MCU上的推理时间，这是因为大多数MCU内核采用Arm Cortex-M 架构，其对定点乘法运算的速度要比浮点运算快得多。此外，模型量化还可以节省模型对于ROM和RAM的需求。

本文采用全8位整型量化的方式对模型进行推理加速。

3. 实验结果分析

本文提出的模型针对目前较为流行的开源公版模型YoloV3-Tiny和YoloV4-Tiny进行对比，实验结果如下：

如图2所示，该模型极大地降低了ROM和RAM的占用，这对于内存大小较为紧张的嵌入式设备来说意义重大。

而在推理时间上，本文提出的模型具有更为突出的优势。作者在NXP微控制器i.MX RT1170（ARM Cortex-M7，1GHz）上的实验结果表明，相比开源模型动辄几秒钟的推理时间，我们提出的网络模型将时间消耗控制在200ms以内，使其部署在微控制器上更加高效。

注意，图2中的时间消耗对比是假设YoloV3-Tiny和YoloV4-Tiny均进行8位整型量化，并且直接使用未经修改的开源算法得到的推理时间。实际上，直接使用开源的、未经修改的YoloV3-Tiny和YoloV4-Tiny等网络结构，由于其复杂结构，部署难度较高。而本文提出网络模型在结构上进行了极大优化，可以利用现有开源工具进行量化部署。

对于模型预测精度，作者进行了如图3的测试对比实验。在多个样本集上，本文提出模型的预测精度可以媲美开源的YoloV3-Tiny和YoloV4-Tiny等模型。

基于i.MX RT1170的实时多人体检测系统

神经网络模型在边缘设备上的部署，是深度学习技术落地的一大关键部分。本文以多人体检测模型为例，分享如何将现有的神经网络模型，部署到NXP的微控制器i.MX RT1170EVK开发板上，并实现实时多人体检测系统。

部署流程如图4所示，首先需要将训练的模型进行模型框架转换，这是因为开源的量化工具仅支持少量的模型框架。

第二步需要对模型进行融合优化，然后利用量化工具将模型进行量化，并转换为MCU可以执行的代码；最后对模型的预处理和后处理进行编程实现，这样摄像头抓取的图像数据就可以进行预处理后送入量化模型，然后根据模型输出特征图进行后处理，提取出有效的候选框作为预测框。

本文采用NXP i.MX RT1170EVK开发板进行多人体检测系统的实现。

i.MX RT1170是NXP的一款跨界MCU，采用主频达1GHz的Cortex®-M7内核和主频达400MHz的Cortex-M4，这里我们仅使用M7内核。

此外，RT1170EVK上搭载了MIPI接口的OV5640摄像头，分辨率达到720*1280，同时配有5.5寸高清显示屏，分辨率同样达到720*1280。

这里我们采用FreeRTOS系统进行摄像头的实时读取和LCD的实时显示，摄像头和LCD的分辨率均设为最高的720*1280，刷新率均设为15FPS。

系统实现流程如图5所示，摄像头抓取的图像经过PXP转换，然后进行预处理送入模型，最后经过后处理将预测框显示在LCD上。

最终，基于i.MX RT1170的人体检测系统可以实现快速精准的多人体位置预测，测试视频如下。

• ST31N600安全微控制器集成能量收集和生物特征识别安全电路与最新一代 Arm® SecurCore™处理器
• 基于ST31N600的卡上生物特征识别系统 (BSoC)和卡动态验证(dCVV)解决方案将亮相Trustech 2021展会

意法半导体(STMicroelectronics，简称ST；纽约证券交易所代码:STM)推出最新一代 ST31安全微控制器，助力接触式和非接触式支付卡、身份证和闸机提高交易安全性。

上海先楫半导体科技有限公司于近日发布了全新的高性能实时RISC-V微控制器HPM6000系列。该系列旗舰产品HPM6750采用双RISC-V内核，主频高达800MHz ，凭借先楫半导体的创新总线架构、高效的L1缓存和本地存储器， 创下了MCU高于9000 CoreMark™和4500以上 的DMIPS性能新记录，为边缘计算的应用提供了极大的算力。

谈到此次发布的产品，先楫半导体CTO赵建斌说：”我们首先要感谢的是公司团队夜以继日的努力，团队在短短八个月内就完成流片，并且首次流片即可量产，这充分展示了先楫团队顶尖的技术实力和突出的拼搏精神。”谈到产品时，赵建斌用“创新、跨越”来形容这一款芯片：“全新的芯片系统架构定义、全新CPU内核、大量自主创新的IP设计，以及完整的配套生态，打造出了高性能的国产MCU系列，使我们的客户可以在不必增加成本和功耗的前提下，满足更高效的工业控制，更丰富的显示功能和更强大的数据处理要求。”

HPM6000全系列产品支持双精度浮点运算及强大的DSP扩展，内置2MB SRAM，并提供了丰富的多媒体功能，马达控制模块和通讯接口。HPM6000系列的多媒体模块包括硬件图形加速，双摄像头，可支持高达1366X768, 60FPS的LCD显示, 以及多路语音和数字麦克风接口。马达控制模块包括多个高速和高精度的模数转换器（ADC），多组纳秒级高分辨率PWM及模拟比较器等；通讯接口包括了两个千兆实时以太网，支持IEEE1588，两个内置PHY的高速USB，四路CAN-FD及丰富的UART，SPI，I2C。在安全方面，HPM6000 系列微控制器提供安全启动保证了启动代码不可篡改，防止软件恶意代码克隆及非法代码执行；集成 AES-128/256、SHA-1/256 加速引擎，支持密钥管理和保护；ROM 集成 Flash loader，支持代码加密烧写和升级。HPM6000产品系列范围宽广，包括多核HPM6750及单核HPM6450选项，及入门级的HPM6120版本。

张江高科总经理何大军在谈到先楫半导体此次发布通用MCU产品的意义时表示：“首先祝贺先楫半导体HPM6000芯片的成功发布，很高兴看到成立于张江的初创公司设计出国际领先水平的芯片产品。先楫半导体这款新产品填补了中国在高端MCU领域的空白，为建立国产替代、自主可控、性能安全的RISC-V计算平台作出了贡献。张江科学城正重点布局集成电路设计产业，以设计为引领带动全产业链发展，形成千亿级产业规模的创新核，旨在建设成为世界级集成电路产业集群。”

先楫半导体也为开发者提供了完备的生态系统，包括一个基于VS CODE框架的免费集成开发环境HPM Studio，以及PC端图形界面的SoC资源配置工具。先楫半导体还将提供基于BSD许可证的SDK，其中包含了底层驱动、中间件和RTOS， 例如littlevgl， lwIP， TinyUSB， FreeRTOS等。以上所有官方软件产品都将开源。配以高性价比的评估板，先楫半导体将会与RISC-V社区的其他伙伴合作，为打造更好的RISC-V生态作出贡献。

关于先楫

上海先楫半导体科技有限公司成立于2020年6月，公司总部坐落在上海市张江高科技园区，致力于高性能MCU芯片、及嵌入式解决方案的开发，产品覆盖微控制器、微处理器和周边芯片，以及配套的开发工具和生态系统。2021年10月，先楫半导体完成了近亿元Pre-A轮融资。

2021年11月11日，「D Forum 2021 微控制器论坛」在台北华南银行总行会议中心举行，活动现场热闹非凡。据主办方DIGITIMES统计，活动当天早上10点到场观众已达200余人次。兆易创新GD32 MCU在黄金位置的摊位重点展示了最新发布的产品，与IAR Systems、Tencent共同推出的MCU开发套件，以及一系列电机驱动和电源Demo。

GigaDevice MCU销售经理杨永圣(Kim Yang)以「GD32以广泛布局驱动MCU创新」为题进行分享。针对MCU产品所关注的主流趋势，包括物联网(IoT)、工业控制和智慧家庭的应用，随着IoT装置不断走向更轻薄短小，电池续航力更长，MCU的功能也愈来愈复杂，推演出GigaDevice的产品策略将持续加深并加广32位MCU的产品布局。

GigaDevice是中国微控制器(MCU)市场第一品牌。2013年以Cortex-M3内核MCU开始进入市场，2015年进入高速成长期，持续推出各种内核的领先产品。2021年GigaDevice更把握市场机遇，服务于创新应用和开发需求，并积极开拓产能，出货量可望持续提升。截至目前，GD32系列MCU累计出货量更是超过8亿颗，成绩斐然！

GigaDevice完整的产品线罗列多样化的功能与型号，以满足各种应用场景的需求。因应软件兼容性的考虑，以延续最新ARMv8-M架构为主，GigaDevice的产品策略为发展ARM Cortex-M23与Cortex-M33核心的MCU产品线，并且于全球首家推出基于RISC-V核心的32位通用MCU产品线。目前超过400个产品型号上市，服务客户超过2万家。

藉由中国本土日益壮大的半导体制造生态系统与供应链，GigaDevice提供了充足的产能和迅速的交货期。半导体制程节点上，2020年已经进入40奈米，2021年更积极进入22奈米制程，并兼顾产品效能与功率消耗。尤其在成本优势上，更是GigaDevice在市场上的重要要求。主要客户群以打造智能制造、消费性电子、物联网与车用电子的应用为主，目前在全球市场的5G通信、新能源和储能、工业控制、安防监控、小型家电、健康医疗、汽车周边与智慧家庭等领域均有重大斩获，并为未来扩展做好准备。

在今年的新产品介绍上，以低功耗GD32L233系列、Wi-Fi无线通信GD32W515系列和功率管理PMU(Power Management Unit) GD30系列模拟器件为主：

针对能效敏感的行业用户

提供了具备更多外设资源和应用灵活性的产品选择，并以多种低功耗模式实现了优异的功耗效率。深度睡眠(Deep-sleep)电流降至2uA，唤醒时间低于10uS，待机(Standby)电流最低仅有0.4uA。

在资安保护上的着墨

从TrustZone、Secure Boot、Wi-Fi的WPA3机制，并有PSA认证机制，强化物联网终端的安全可信赖，从而大幅度提升IoT节点的信息安全设计。

GD30系列PMU模拟器件

市场上诸如TWS耳机、马达驱动、通讯基础设施，或是动力电池管理系统的装置正当红，所以整合这4个应用方向的GD30系列PMIC产品线，相当具有市场潜力，并能满足客户在功率管理上的殷切需求。搭配使用GD32 MCU，可为客户提供一站式的解决方案。

另外，对于RISC-V核心的支持，GigaDevice于全球率先推出GD32VF103 RISC-V系列通用型MCU，并与第三方联合打造RISC-V生态系统。目前从软件链接库、集成开发环境（IDE）、软件除错、嵌入式操作系统，以及AWS、Tencent云端连接，服务RISC-V在IoT市场的多样化应用。在开发平台上大力拥抱SEGGER、IAR Systems等业界主流工具厂商的嵌入式系统开发环境，也是为了日后RISC-V市场动能预先布局。

GigaDevice积极参与世界各地的大学项目，与大学教授合作，编写技术培训材料和书籍，支持并赞助学生竞赛，与大专院校共建联合实验室。目前已出版业界第一本选用GD32VF103系列芯片作为介绍主题的技术丛书。此外，GigaDevice也是RISC-V国际协会(RISC-V International)战略会员，持续在全球关键的展览和研讨会上推广RISC-V技术，推动RISC-V生态建设的规范化发展。

随着GD32系列MCU在市场上的成熟量产与广泛应用，杨永圣表示，在5G、AI与物联网等新技术的带动下，全球掀起智慧化浪潮，MCU做为终端设备的关键零组件，各地市场也出现大幅成长，大陆又是首屈一指的指标性市场，GigaDevice将持续打造高性能、低成本和高精密制程的MCU产品线，让开发者以更方便易用的使用体验构建MCU未来。

论坛同期还进行了新闻报道和品牌专访，持续提升了GigaDevice在台湾市场的品牌知名度和在研发人员群体中的认可度。

11月16日，由《EE Times》与《EDN》出版集团ASPENCORE主办的首届「EE Awards Asia-亚洲金选奖」颁奖典礼在台北寒舍艾美酒店隆重举行。通过广大电子产业相关人士及媒体分析师团队的综合评审，雅特力AT32F407系列MCU产品凭借出色的性能和市场表现，斩获「年度最佳MCU」产品奖。

此次颁奖典礼，雅特力产品与行销处长杜立博先生代表公司上台领奖。现场汇聚了200多家半导体/电子产业领域的顶尖厂商代表与专业精英人士，共同表彰领域内的优秀企业、产品以及对产业贡献卓著的人物。此次荣获「年度最佳MCU」产品奖，证明雅特力AT32F407系列MCU获得了行业内人士的高度认可。

本次获奖的AT32F407系列微控制器搭载32位ARM® Cortex®-M4内核，配合先进制程可达超高效能240MHz的运算速度，最高可支持1MB Flash及224KB SRAM，超越业界同级芯片水平。AT32F407另外特别支持8组UART串口，2组CAN总线，还集成兼容IEEE-802.3 10/100Mbps以太网口控制器特别适用于物联网应用，以及USB设备应用不需外挂晶振，可同时提升终端产品的可靠度与降低成本的多重用途。

AT32F407凭借其丰富的片上资源分配、高集成及高性价比的一流市场竞争力，应用在越来越多的终端产品市场，在工业自动化、电机控制、物联网及消费性电子等领域已得到用户的广泛认可，成为相关领域系统设计与项目开发的主流首选。