万物互联的概念逐渐深入到了各个领域，如何安全地让设备接入网络也成为了一个挑战。同时，设备的功能也愈发复杂，越来越多的设备具备了“边缘计算”的算力和能力，MCU上承载的算法（例如AI/电机/传感器融合等）也越来越多，保护运行于MCU上固件的知识产权也愈发重要。

追本溯源：安全应从生产源头开始

也正因为如此，我们需要全链路的安全。从源头上，保证MCU被安全地配置，在工厂生产时，密钥和固件被安全地注入芯片。与此同时，设备的附加值越高，越需要考虑设备的固件不会被意外流出。

越来越多的公司专注于研发，并将生产委托给第三方工厂，因此有时也需要保证工厂不会违规进行超额的生产。如果不考虑这些问题，公司花费高额代价和投入建立的技术壁垒，很有可能会变成全行业众人皆知的“经典参考方案”。

NXP基于智能卡的安全生产方案

为了解决这些问题，NXP推出了基于智能卡的安全生产方案。

恩智浦智能卡可信生产是为原始设备制造商（OEM）管理其与签订合同的制造商（CM）的生产过程而提供的安全方案。通过免费的MCUXpresso Secure Provisioning Tool (SEC) 图形化工具和恩智浦提供的智能卡，OEM的机密信息和知识产权在其生产过程中被加密保护并安全地转移到恩智浦的MCU上。智能卡基于恩智浦的高安全SmartMX控制器，在高安全性应用中被广泛使用。

基于此方案，OEM可以在智能卡中配置并锁定生产限额，防止CM进行超额生产，由SEC工具在智能卡配合下生成的工厂审计日志使OEM能够审查配置的设备数量。设备的证书被生成并传递给OEM，设备启用时可使用此证书完成设备在云端云服务的注册。

基于智能卡的安全生产流程如下图所示：

下面进行分项讲解：

第一步

OEM需要准备OEM的密钥和准备烧录的固件。NXP将会提供用于安全置备的固件（以SB2格式加密保护）和NXP_PROD_DevAttest_CA_PUK证书。

第二步

通过SEC工具写恩智浦智能卡，OEM将定制化数据（如生产数量限制和OEM密钥）配置进智能卡中。OEM使用SEC工具，生成经过签名/加密的OEM固件。所有这些资料都被包装成一个OEM量产资料包。一般来说，OEM量产包应包含定制化数据的智能卡、经过签名/加密的OEM固件和恩智浦提供的置备固件。

第三步

OEM将包含定制化后的智能卡和量产资料包发给与其签订合同的制造商（CM)。

第四步

CM使用OEM定制化配置后的智能卡，并通过SEC工具，将NXP提供的置备固件加载到目标设备上。

第五步

智能卡向目标设备发送一个挑战（challenge），用于验证目标设备的真实性。

第六步

目标设备对挑战（challenge）做签名响应（response），智能卡将会根据NXP_PROD_DevAttest_CA_PUK证书对响应（response）进行验证。

第七步

验证通过后，智能卡生成会话密钥（session keys）和OEM证书。然后，它与目标设备交换会话密钥，建立加密通道，并传输OEM证书和OEM密钥。此时，OEM设备证书从现在起取代了NXP_PROD_DevAttest_CA_PUK证书。因此， OEM拥有该设备的所有权。

第八步

复位目标设备。然后，经过签名/加密的OEM固件被传输到目标设备上。目标设备将会进行固件的烧写。

第九步

所有生产都已完成，CM将审计日志和智能卡送回至OEM。OEM可以分析审计日志，并可以根据需求，选择性地从日志中提取设备证书，上传到云服务提供商（如AWS、微软Azure等）。

从上述流程可以看出，每一颗芯片的生产和烧录，都必须通过智能卡进行。智能卡可以记录已生产的数量，并将判断是否超出了OEM预设的生产数量的限制。一旦超过限制，生产过程将无法进行，因此CM无法进行超出限额的额外的设备生产。

这从技术上，限制了CM的行为。并且，CM拿到的量产资料包中的固件，全部都是被NXP Secure Binary格式加密保护的，原始的固件不会从OEM流出，因此也不会泄露OEM的知识产权。整个过程中需要的密钥也都被智能卡妥善管理，为应用的密钥管理体系打下了坚实的基础。

看起来这是一个复杂的过程，但实际，基于图形化的SEC工具，仅需花费几分钟，就可以完成所有操作。并且，SEC工具还支持量产模式，方便工厂产线的操作人员简化操作，只需通过简单的鼠标点击，就可以完成生产。

安全生产的低成本解决方案

基于智能卡的安全生产解决方案补足了安全生产的低成本解决方案，是传统更昂贵的HSM和第三方芯片烧写服务的有益补充。我们使客户能够充分利用恩智浦MCU的先进安全功能来保护其重要资产。

通过购买高性价比的智能卡和使用免费的MCUXpresso SEC工具，我们的客户可以准备安全的固件来保护他们的知识产权，管理密钥和执行设备置备。智能卡解决方案没有最低订购量，并可完全控制生产数量，因此，安全制造成为能负担得起的选项。

目前，此方案支持LPC55Sxx (LPC55S6x、LPC55S2x、LPC55S1x、LPC55S0x) 设备，NXP官网提供了基于智能卡的安全生产方案的视频教程。可以与当地NXP的销售/FAE联系，来获取智能卡和更多信息。

来源：本文转载自「恩智浦MCU加油站」公众号，作者为恩智浦应用技术工程师刘豪

目前，车规MCU成为汽车芯片需求最热门的品类，传统上，这类车规MCU芯片主要被ST、NXP等公司垄断，从2019年年开始，本土车规MCU需求走热，国内IC厂商也开始进入这个领域，那车规MCU和消费级MCU需求差异在哪里？在今天召开的第12届松山湖中国IC创新高峰论坛上，苏州云途半导体有限公司技术市场总监顾光跃在推介云途的车规MCU时候先做了一些科普。

他指出车规MCU更看重可靠性和安全性，所以在设计阶段需要考虑大量的设计冗余，此外，在车规MCU制造和封测阶段也有特殊的要求，之后还要进行多个车规的认证，只有这些流程符合才是车规芯片。

据他介绍，苏州云途的高端32位车规MCU YTM32B1ME基于32位车规级ARM Cortex-M33内核，采用行业领先的40nm e-Flash工艺，CPU全温域主频高达120MHz，提供1.25MB嵌入式闪存，符合ISO26262的ASIL-B等级要求，可靠性满足AEC-Q100、Grade1标准，信息安全方面支持AES、SHA以及国密SM4等多种加密算法，并提供符合AUTOSAR标准的MCAL，可用于车身、底盘、动力域等场景。

据他介绍，相比目前车规MCU多多用M4内核，M33在功能安全上优势更明显。

该芯片还有其他一些亮点，如：
● 16通道DMA 支持；
● I/D cache
● 丰富外设：
● FlexCAN with FD support
● LinFlex/lIC/SPI/SENT
● EtherNET
● QSPI with XIP
● 12bit ADC with programmable trigger
● Analog comparator DAC
● Multiple Timers: eTMR, pTMR, IpTMR, TMR, RTC
● 支持IS026262 ASIL-B功能安全
● ECC for Flash and RAM w/ Error injection and record
● Clock/Power Monitor
● MPU/CRC and peripheries protection unit
● 安全：Up to 32 secure keys storage
● AES/SM4/SHA/TRNG
● 温度范围：-40 到 125°C
● 供电：2.7-5.5 V
● 封装：64/100/144 LQFP YUNTU此外

顾光跃表示相比NXP 同类产品，云途的车规MCU在车规安全方面更全面。

据他介绍，AECQ有7个大项49个小项，其中跟MCU有关的有29项。

据他介绍，云途的车规MCU已经获得了如下认证；

据他介绍，苏州云途半导体有限公司成立于2020年7月，创始团队源于NXP，是一家专注于车规级芯片的集成电路设计公司，致力于提供全面的车规级芯片解决方案，为全球智能化出行技术的创新提供保障。公司产品已经完成了7次流片，目前已有近30家客户基于YTM32B1ME产品前期的资料和样品做出了需求评估与方案设计，云途公司即将正式提供开发板、量产样品、工具链与方案咨询等各项完备量产支持。

最近，云途还完成了数亿元人民币A+轮融资。除了小米产投和联新资本持续加注，劲邦资本、北汽产投、芯动能、汇添富、永鑫资本等新机构也加码投资，在资本寒冬等现在获得数亿融资也凸显了云途产品的领先性。（完）

恩智浦的i.MX RT系列跨界处理器，为在设备端实现智能运算提供了更高性价比的方案，解锁了在嵌入式应用中部署人工智能算法的新途径。

恩智浦的工程师们从多种角度，做了很多有创新的尝试和工作，为客户提供了丰富的选项，也很好地展示了i.MX RT产品的高性能和高扩展适应性。

本文及随后的一些小文将分别介绍这些精彩的成果。

引 言

多目标检测是机器学习重要的研究领域之一，可以广泛应用于机器人，安防和工业监控等领域。

针对多目标检测任务，目前比较流行的是基于卷积神经网络（Conventional Neural Network，CNN）的算法，例如Yolo，SSD和RetinaNet等。

然而，目前已有CNN方法均不适用于嵌入式平台的部署，这是因为目标检测是一个比较繁重的任务，而现有的检测模型过于复杂，对平台的算力和内存的需求很高，因此无法将其部署在嵌入式平台。

本文基于开源算法，提出了一种轻量化的目标检测网络，大量运用深度可分离卷积以及全新的尺度变换结构，使得模型计算复杂度和结构得到极大简化，进而使多目标检测在MCU上的实现成为可能。

提出的检测算法在NXP微控制器i.MX RT1170上的部署实验结果表明：该算法极大降低了对于ROM和RAM的消耗，运行时间得到大幅度优化，检测速度最高可达10FPS，并且模型精度可以媲美开源的YoloV3-tiny，YoloV4-tiny等模型。

实时多人体检测算法

1. 网络结构设计

本文采用的网络结构设计主要分为两部分，第一部分为网络主体结构，用来逐层提取样本的有效特征。该主体结构借鉴了MobileNetV2的轻量特性，并充分考虑了模型在部署方面对于ROM和RAM的优化。

网络主要特点概括如下：

（1）大量运用深度可分离卷积来减少参数量，进而减少ROM的消耗。深度可分离卷积相对于传统的卷积可以大大较少参数规模。例如对于一个输入有8个通道，输出有16个通道的传统3*3卷积， 其参数量为16*8*3*3=1152；而深度可分离卷积参数量仅有8*3*3+1*1*8*16=200。

（2）模型结构设计上遵循的是加大网络模型深度，缩小每层的宽度，这样带来的好处是减少每层推理所需要的内存占用。这是因为在嵌入式设备中，运行内存极为紧张，而优化过的模型可以减少RAM的使用。

（3）考虑到模型部署需要用到8位整型量化，这里我们采用Relu激活函数。这是因为目前还没有任何研究表明哪种激活函数具有更高的精度，但对于量化来说，显然Relu会比pRelu（图1），leakyRelu或者sigmoid等函数具有更快的推理时间和更低的量化损失。

（4）网络设计中尺度变换结构采用了1*1，3*3和5*5三种卷积核尺寸，进而同时兼顾不同大小目标的定位精度；同时，我们提出的尺度预测结构更为简单，减少了网络模型部署的难度。

2. 网络模型融合压缩与量化

对于训练后的网络模型，可以通过网络模型的融合压缩以及量化技术，加快其在嵌入式设备上的推理时间。

因为本文设计网络中为了使每层数据分布更加均匀（有助于减少整型量化中的损失），采用了Batchnorm对数据进行约束。此外，Batchnorm还可以将输入分布更多的分散在非饱和区，进而减小梯度弥散，加快收敛过程。模型训练结束后，Batchnorm中参数就固化了，可以将其参数融合进卷积层中，最终避免Batchnorm层在实际模型推理中的时间消耗。

模型量化的目的是为了加快模型在MCU上的推理时间，这是因为大多数MCU内核采用Arm Cortex-M 架构，其对定点乘法运算的速度要比浮点运算快得多。此外，模型量化还可以节省模型对于ROM和RAM的需求。

本文采用全8位整型量化的方式对模型进行推理加速。

3. 实验结果分析

本文提出的模型针对目前较为流行的开源公版模型YoloV3-Tiny和YoloV4-Tiny进行对比，实验结果如下：

如图2所示，该模型极大地降低了ROM和RAM的占用，这对于内存大小较为紧张的嵌入式设备来说意义重大。

而在推理时间上，本文提出的模型具有更为突出的优势。作者在NXP微控制器i.MX RT1170（ARM Cortex-M7，1GHz）上的实验结果表明，相比开源模型动辄几秒钟的推理时间，我们提出的网络模型将时间消耗控制在200ms以内，使其部署在微控制器上更加高效。

注意，图2中的时间消耗对比是假设YoloV3-Tiny和YoloV4-Tiny均进行8位整型量化，并且直接使用未经修改的开源算法得到的推理时间。实际上，直接使用开源的、未经修改的YoloV3-Tiny和YoloV4-Tiny等网络结构，由于其复杂结构，部署难度较高。而本文提出网络模型在结构上进行了极大优化，可以利用现有开源工具进行量化部署。

对于模型预测精度，作者进行了如图3的测试对比实验。在多个样本集上，本文提出模型的预测精度可以媲美开源的YoloV3-Tiny和YoloV4-Tiny等模型。

基于i.MX RT1170的实时多人体检测系统

神经网络模型在边缘设备上的部署，是深度学习技术落地的一大关键部分。本文以多人体检测模型为例，分享如何将现有的神经网络模型，部署到NXP的微控制器i.MX RT1170EVK开发板上，并实现实时多人体检测系统。

部署流程如图4所示，首先需要将训练的模型进行模型框架转换，这是因为开源的量化工具仅支持少量的模型框架。

第二步需要对模型进行融合优化，然后利用量化工具将模型进行量化，并转换为MCU可以执行的代码；最后对模型的预处理和后处理进行编程实现，这样摄像头抓取的图像数据就可以进行预处理后送入量化模型，然后根据模型输出特征图进行后处理，提取出有效的候选框作为预测框。

本文采用NXP i.MX RT1170EVK开发板进行多人体检测系统的实现。

i.MX RT1170是NXP的一款跨界MCU，采用主频达1GHz的Cortex®-M7内核和主频达400MHz的Cortex-M4，这里我们仅使用M7内核。

此外，RT1170EVK上搭载了MIPI接口的OV5640摄像头，分辨率达到720*1280，同时配有5.5寸高清显示屏，分辨率同样达到720*1280。

这里我们采用FreeRTOS系统进行摄像头的实时读取和LCD的实时显示，摄像头和LCD的分辨率均设为最高的720*1280，刷新率均设为15FPS。

系统实现流程如图5所示，摄像头抓取的图像经过PXP转换，然后进行预处理送入模型，最后经过后处理将预测框显示在LCD上。

最终，基于i.MX RT1170的人体检测系统可以实现快速精准的多人体位置预测，测试视频如下。