边缘AI

自动驾驶和电气化都是汽车行业的重要趋势。人工智能（AI）在这一趋势中发挥着至关重要的作用，它使车辆能够探测行人、分析驾驶员行为、识别交通标志、控制轨迹等。由于自动驾驶高度依赖具有机器学习（ML）能力的AI系统和能够安全、可靠、实时并行处理大量数据的处理器，因此边缘AI成为实现这一目标的关键技术。为应对这一挑战，全球功率系统和物联网领域的半导体领导者英飞凌科技股份公司（FSE代码：IFX / OTCQX代码：IFNNY）旗下公司Imagimob将机器学习功能集成到英飞凌符合ASIL-D标准的汽车 MCU中，例如AURIX™ TC3x和AURIX™ TC4x，增强其汽车产品的机器学习性能。

TriCore支持的AURIX™

英飞凌科技微控制器（MCU）高级副总裁Thomas Boehm表示：“将安全可靠的AI功能集成到MCU系列中对于推动汽车行业的自动驾驶应用至关重要。我们很高兴看到AURIX™ MCU获得Imagimob Studio的支持，让全球开发人员都能使用该系列微控制器，突出体现了英飞凌在业内的创新领导者角色。”

Imagimob首席技术官Alexander Samuelsson表示：“通过将AURIX™集成到Imagimob Studio中，我们为汽车行业带来了综合全面的机器学习兼容性和功能。这意味着我们平台支持的所有用例也可用于英飞凌的AURIX™ MCU。”

通过Imagimob Studio，开发人员可以为边缘创建强大的ML模型，并将其部署到英飞凌成熟的AURIX™ MCU上。这一过程从在Imagimob Studio中创建ML模型开始。AI模型完成后，用户可以选择直接部署在平台内的MCU上。然后系统会指导用户无缝部署代码，从而简化在MCU上实施ML的过程，并创建先进的ML模型。此外，Imagimob Studio还提供警报器检测示例项目，来演示模型的创建和部署。通过实例代码，用户能够了解如何使用AURIX™ MCU 和麦克风隔离罩创建声学模型。Imagimob还开发了新的回归模型，可用于计算剩余电池电量、健康状况和使用时间。

通过AURIX™ TC4x实现先进的AI用例

可扩展的AURIX™ TC4x MCU系列为符合ASIL-D标准的汽车级AURIX™ TC3x系列提供了向上升级途径，并采用一代TriCore 1.8内核而增强性能。此外，AURIX™ TC4x带有可扩展的加速器套件。该套件包含一个并行处理单元（PPU）和多个智能加速器，支持以经济高效的方式集成AI。AURIX™ TC4x 系列将这些技术进一步转化为更强大的机器学习能力，使开发人员能够同时部署多个模型或更复杂的模型。例如AURIX™ TC3x可以进行基本的警报器检测，而AURIX™ TC4x则可以同时进行警报器检测和语音交互。

供货情况

了解Imagimob Studio，请见 https://www.imagimob.com/studio。有关英飞凌AURIX™系列的更多信息，敬请访问http://www.infineon.com/AURIX。

关于Imagimob

Imagimob是一家快速成长的初创企业，致力于推动边缘人工智能和微型机器学习的前沿创新，助力客户打造引领未来的智能产品。公司总部位于瑞典斯德哥尔摩，自2013年以来一直服务汽车、制造业、医疗保健和生活方式领域的全球客户。2020年，Imagimob推出Imagimob Studio平台，用于在资源有限的设备上快速、轻松地开发端到端边缘人工智能应用。Imagimob Studio可在整个开发过程中为用户提供指导和助力，从而提高生产力，加快产品上市速度。新推出的Ready Models可以快速、轻松地实现边缘人工智能。Imagimob致力于最前沿的研究，是人工智能和嵌入式技术的市场领导者。Imagimob于2023年5月加入英飞凌。

关于英飞凌

英飞凌科技股份公司是全球功率系统和物联网领域的半导体领导者。英飞凌以其产品和解决方案推动低碳化和数字化进程。该公司在全球拥有约58,060名员工(截至2024年9月底)，在2024财年（截至9月30日）的营收约为150亿欧元。英飞凌在法兰克福证券交易所上市（股票代码：IFX），在美国的OTCQX国际场外交易市场上市（股票代码：IFNNY）。

更多信息，请访问www.infineon.com

更多新闻，请登录英飞凌新闻中心：https://www.infineon.com/cms/cn/about-infineon/press/market-news/

英飞凌中国

英飞凌科技股份公司于1995年正式进入中国大陆市场。自1995年10月在无锡建立第一家企业以来，英飞凌的业务取得非常迅速的增长，在中国拥有约3,000多名员工，已经成为英飞凌全球业务发展的重要推动力。英飞凌在中国建立了涵盖生产、销售、市场、技术支持等在内的完整的产业链，并在销售、技术应用支持、人才培养等方面与国内领先的企业、高等院校开展了深入的合作。

围观 12

导语

工业应用数字化和智能化程度，是衡量新质生产力的重要标准。STM32最新一代64位微处理器STM32MP2凭借先进算力、丰富接口和高安全性，为高性能和高度互联的工业4.0应用赋能。

STM32MP2四大关键特性，为工业4.0应用赋能

STM32MP2系列的第一颗产品STM32MP25现已量产，结温范围-40~125摄氏度，支持10年100%的运行时间，并与其它STM32产品一样具有10年滚动供货保障。

▲ 图示：STM32MP25框图

STM32MP2具有异构架构及卓越性能、强大的安全性能、先进的边缘AI能力与多媒体功能，并拥有丰富的外设接口和片上功能，可以在应用中为CPU减负。

STM32MP25具有大小核异构架构，性能卓越：主频为1.5GHz的双核Cortex-A35和主频为400MHz的Cortex-M33，大小核均可单独启动。Cortex-A35大核通常运行基于Linux 或Android 的应用，结合3D GPU、视频编解码、高速外设接口等可实现用户高端复杂的业务需求；Cortex-M33核不仅具备直接访问片上SRAM资源的能力，还能够高效地访问板载DDR存储，运行基于裸机或实时操作系统（RTOS）的硬实时等关键应用时，能够享有高数据吞吐率和充足的内存资源，从而确保系统的高效运行和实时响应。异构双核可基于片上共享内存实现高效的双核通信，并可灵活分配片上资源。

更强的安全特性，适用于工业4.0应用：STM32MP25通过了SESIP 三级以及PSA 一级目标认证，内置强大的安全加密硬件，可以实现存储器和外设保护，防止非法访问与控制；具有安全加密加速器，增强抵御物理攻击的稳健性；支持运行时代码隔离保护，以及产品生命周期内的设备真伪验证。

先进的边缘AI及丰富的多媒体功能，为更多工业场景赋能：STM32MP25内置算力高达1.35 TOPS的NPU边缘AI加速器，支持带ISP的 MIPI CSI接口，可实现如机器视觉在内的多种AI应用；STM32MP25还内置主频900MHz的3D GPU；开发者可灵活选择在CPU、GPU、NPU上运行AI应用。

3D GPU支持高达1080p分辨率，配有ISP处理器的MIPI CSI-2 摄像头接口，STM32MP25还内置全高清视频编解码并具有丰富的显示接口，支持RGB、LVDS 和DSI输出。

STM32MP25 具有丰富的外设接口和片上功能，可在应用中为CPU减负。

▲ 图示：工业HMI网关框图

以工业HMI网关为例：

STM32MP25内置的H.264全高清视频处理器、3D GPU图形处理器、ISP图像信号处理器以及显示控制器、辅助Cortex-A35 CPU实现高性能HMI 图形交互界面；
Cortex-M33 MCU处理工业硬实时应用；
STM32MP25内置TSN交换机功能的多路千兆以太网可以实现以太网环形拓扑；
PCIe高速接口便于用户连接FPGA等外设实现高速通信；
通过CANFD，UART/USART等总线接口可以实现多种现场总线通信；
Cortex-A35和Cortex-M33有各自独立的电源域，可单独启动，确保工业场景中，A35内核上基于Linux或Android的应用因某种原因需要重启时，不会打断M33上的实时应用；
Cortex-A35能效卓越，与配套电源管理芯片STPMIC25相结合，可简化设计，优化功耗；用户在设计产品时，无需额外为MP25配置散热装置，既节省了物料成本和PCB空间，又确保了产品的可靠性、稳定性以及更长的生命周期。

STM32MP2产品阵容强大

STM32MP25根据外设不同，目前有STM32MP257、STM32MP255、STM32MP253、STM32MP251四类产品子线已量产。此外，STM32MP23 和STM32MP21 也会在今年和明年陆续发布。

STM32MP2软件生态统一，硬件封装兼容

整个STM32MP2系列实现了软件生态统一和硬件封装兼容，用户可灵活选型。AI应用生态：ST提供丰富的生态工具和软件，通过模型训练、基准测试和模型优化、创建并部署应用三个阶段，支持用户将AI方案无缝集成到STM32MP2项目中。

模型训练阶段：开发者可以使用自己的模型，也可以使用STM32模型库中预训练模型和训练脚本；

基准测试和模型优化阶段：含云端版和离线版两个工具，实现模型的量化、优化、转换和基准测试。

创建并部署应用阶段：基于OpenSTLinux的X-LINUX-AI扩展包，是一站式AI解决方案，涵盖AI框架和应用以及工具框架，可以帮助用户快速开发AI应用。
STM32MP2软硬件生态：借助STM32完备的生态系统，有效降低用户开发时间与成本。

STM32 MPU嵌入式软件包含：Android、OpenSTLinux、OpenWrt用于支持Cortex-A35的开发，STM32Cube用于支持Cortex-M33的开发（裸机或RTOS开发）。

STM32 MPU官方嵌入式软件OpenSTLinux采用统一的软件架构，有三个版本，便于项目迁移。

同时提供丰富的扩展包，其中X-LINUX-AI和X-LINUX-RT扩展包，将助力用户释放AI应用潜力和提升工业应用中Linux系统实时性能。

开发软件：Linux开发支持Buildroot和Yocto，STM32CubeIDE用于Cortex-M33内核的开发；STM32Cube有针对于MPU的增强版，可用于芯片选型、硬件配置、编译开发及固件烧录等全栈开发。

硬件参考设计：MP2的每种封装都有模块化参考设计，包含最小系统部分及典型外设部分，已通过信号完整性和电源完整性的检测，开发者可以即插即用的方式进行复用；并提供多种开发板供用户进行前期方案评估。

来源：STM32

免责声明：本文为转载文章，转载此文目的在于传递更多信息，版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题，请联系小编进行处理（联系邮箱：cathy@eetrend.com）。

围观 34

随着以ChatGPT为代表的AI大模型的衍生应用不断推出，许多终端开始智能化体验升级，从而产生了海量的终端数据分析处理需求。企业的业务部署场景和数据产生正在向端侧、边缘侧“迁移”。边缘人工智能，又称为“边缘计算”，是指在边缘侧使用人工智能算法和模型处理和分析数据，而不是将数据传输到中央服务器进行处理。在边缘侧设备中运行AI有很多优势：设备响应速度快、超低延时；降低数据传输量；更有效地保护隐私、增强信息安全；降低边缘侧设备的运行功耗；还可以降低推理成本以实现其他新的功能操作。

目前，逐步成熟并规模化落地的边缘AI应用场景主要集中在工业和物联网领域。

预测性维护

预测性维护（PdM）是工业互联网的重要应用，在上世纪90年代就已经被用于飞机发动机领域。最近几年，随着工业人工智能技术和边缘计算技术的逐步推进和成熟，过去仅仅集中应用于高端装备的预测性维护，可以“飞入寻常百姓家”，具备了大范围应用的经济性前提。

在工业维护 — 状态监测/预测性维护应用中，边缘AI系统可用于实时监测工业设备和系统的健康状况和性能，主动且精确地识别潜在的故障，从而将供电中断的影响降至最低。

ST基于STM32硬件平台，通过NanoEdge Studio模型创建工具，为工业预测性维护提供完整的解决方案，如为驱动层的变频器、伺服等设备提供的方案自带机器学习功能，只需通过本体电流、电压进行故障检测和预测性维护，用户不需要增加额外的传感器，可以有效节约成本。为确保开发者能够轻松、快速地构建准确、高效的人工智能算法，以经济的方式将算法部署在资源受限的边缘计算设备上，NanoEdge AI Studio现已完全免费，允许在所有STM32 MCU上免费无限量部署。

另一个预测性维护应用场景是振动检测。用户只需在设备外置振动检测小盒子，借助NanoEdge AI库在终端设备上的学习能力进行渐进式学习，通过传感器（振动传感器、超声、温湿度、气压和加速度计）以高精准度实时检测设备的任何偏移或者异常，然后通过不同的通信协议发出警报，以便在发生重大故障之前作出调整。这些功能的实现得益于在超低功耗STM32微控制器上运行的机器学习算法。

机器视觉

随着工业数字化、智能化转型逐渐深入，市场对于工业机器视觉的需求逐渐增多。机器视觉用计算机模拟人的视觉功能，用于实际检测、测量和控制，具有高度自动化、高效率、高精度和适应较差环境等优点。

在工业领域，机器视觉对计算高效性和实时性有严格要求，将计算资源部署在工业现场附近才能满足需求，因此边缘计算成为关键节点。

机器视觉在工业领域的应用场景主要是通过工业相机进行拍照，并利用AI算法进行快速判断，实现丰富的视觉识别应用，如各种条形码、二维码识别、瑕疵识别/检测、PCB检测、半导体产线破损检测系统等。

STM32针对机器视觉应用提供了强大的硬件平台，包括集成硬件NPU和丰富视频接口的STM32MCU和MPU。

STM32N6是ST首款集成自研硬件NPU神经网络硬件处理单元的通用微控制器，其算力可达0.6TOPS(每秒0.6万亿次运算)。STM32N6还集成了新IP和视频外设，如MIPI CSI摄像机、机器视觉图像信号处理器（ISP）、H.264视频编码器和支持时间敏感网络（TSN）端点的千兆以太网控制器。此外，STM32N6是一款通用STM32产品，符合工业客户的所有要求，包括在高温环境中工作。

STM32MP2是ST去年推出的第二代MPU产品，是一款带有神经处理单元（NPU）的64位微处理器，采用大小核异构架构：主频为1.5GHz的双核Cortex-A35和主频为400M的Cortex-M33内核，大小核均可单独启动。Cortex-A35大核通常运行基于Linux 或Android 的应用，Cortex-M33核运行基于裸机或RTOS的硬实时应用。异构双核可基于片上共享内存实现高效的双核通信，并可灵活分配片上资源。

STM32MP25具有先进的边缘AI能力以及丰富的多媒体功能。它内置有1.35 TOPS算力(每秒1.35万亿次运算)的NPU加速器，并且还支持带ISP的 MIPI CSI接口，可以实现如机器视觉在内的多种AI应用；STM32MP25还内置有900MHz的3D GPU，全高清视频编解码，并配有ISP处理器的MIPI CSI-2 摄像头接口，以及丰富的显示接口，支持RGB、LVDS 和DSI输出的全高清视频。

基于STM32MP2卓越的处理性能及先进的边缘AI和多媒体功能，开发者可灵活选择在CPU、GPU、NPU上运行AI应用。

典型应用场景：电梯

边缘AI解决方案为很多传统行业赋予了新价值和新生命，其中一个典型案例就是电梯应用。该应用将预测性维护与机器视觉场景汇于一身，可实现语音识别、视觉识别、手势识别、群控箱智能算法、电梯故障点检测和预测性维护。

智能化电梯预测性维保解决方案融合了云计算、大数据和机器学习的优势，可以对所有连接的设备进行实时监控，并通过数据分析识别潜在问题并提供建议，以便维保人员及时修复故障以及进行预防性保养，大大提升电梯的安全性和可用性。

电梯的机器视觉识别应用将高清影像、精准数据与智能分析融为一体，赋予电梯前所未有的“视觉”、“感知”与“思维”，确保安全、高效运行。具体场景包含：

负责安全、身份识别的人脸识别；
负责电梯安全的危险物品识别（如电瓶车识别，这是最近热议话题）；
判断人员流动、计数功能，可配合群控箱算法做群控，实现节能减排的目标。

ST 边缘AI助工业客户快速落地

ST为边缘AI提供丰富的硬件产品、软件工具和强大的生态系统，保证开发者能够在MCU和MPU上优化和运行AI模型，帮助工业用户快速落地。

在硬件方面，ST不断推出更多通用和带硬件加速的MCU和MPU，如STM32 N6和STM32MP2。

在软件工具方面，ST提供丰富的软件工具，满足用户的各种需求，包括：

NanoEdge AI Studio：面向STM32 MCU的自动化机器学习工具；
STM32Cube.AI：适用于STM32 MCU的AI模型优化器；
STM32Cube.AI开发者云平台，可创建、优化和生成适用于STM32微控制器的人工智能，以及进行基准测试；
X-LINUX-AI，STM32 MPU上面向OpenSTLinux的完整AI框架，可简化基于OpenSTLinux的项目中经训练的AI模型的集成。

ST的目标是通过嵌入式AI，赋能工业自动化，为传统行业开启全新应用可能性，解锁AI应用的普惠之道。下篇文章，我们将探讨工业应用的功能安全和信息安全，敬请关注！

来源：STM32

围观 89

集成Helium的RA8 MCU支持什么？

Helium性能提升是通过处理宽128位矢量寄存器来实现的，这些寄存器可以通过一条指令保存多个数据元素（SIMD）。在流水线执行阶段，可能会有多个指令重叠。Cortex-M85是一个双节拍CPU内核，可以在一个时钟周期内处理两个32位数据字，如图1所示。乘法累加操作需要从内存加载到向量寄存器，然后进行乘法累加，这可能会在从内存加载下一个数据的同时发生。加载和乘法的重叠使CPU的性能是同等标量处理器的两倍，而不会造成面积和功耗上的损失。

图1 CM85是一个双拍CPU

这意味着每个时钟周期可以处理两个32位字

Helium引入了150条新的标量和矢量指令，用于加速信号处理和机器学习，包括：

低开销分支扩展（LOBE），用于优化分支和环路操作
允许有条件地执行向量中每个通道的通道预测
用于读取和写入非连续内存位置的矢量收集-加载和分散存储指令，在实现循环缓冲区时很有用
DSP算法中使用的复数的算术运算，例如加法、乘法、旋转
DSP功能，例如用于FIR滤波器的循环缓冲器、用于FFT实现的位反转寻址、图像和视频处理中的格式转换
支持有限域算术、加密算法和纠错的多项式数学
支持音频/图像处理中使用的8、16和32位定点整数数据，以及用于信号处理的ML和半精度、单精度和双精度浮点数据

这些特性使支持Helium的MCU特别适合AI/ML和DSP类型的任务，而无需在系统中使用额外的DSP或硬件AI加速器，从而降低成本和功耗。

采用RA8M1 MCU的语音AI应用

瑞萨在一些AI/ML用例中成功展示了Helium的这种性能提升，与Cortex-M7 MCU相比，性能显着提升——在某些情况下超过3.6倍。其中一个应用是在RA8M1上运行的语音命令识别用例，它实现了深度神经网络（DNN），该网络经过数千种不同的声音进行训练，并支持40多种语言。此语音应用程序对简单的关键字识别进行了增强，并支持自然语言理解（NLU）的修改形式，该形式不仅依赖于命令单词或短语，而是寻找意图。这样就可以使用更自然的语言，而不必记住确切的关键词或短语。

语音实现利用了带有Helium的Cortex-M85内核上提供的SIMD指令。RA8M1具有大容量内存、支持音频采集，最重要的是，Cortex-M85内核和Helium实现了高性能和ML加速，因此非常适合此类语音AI解决方案。即使该解决方案在有和没有Helium的情况下初步实现也表明，与基于 Cortex-M7的MCU相比，提高了2倍以上的推理性能，如图2所示。

图2 RA8M1 MCU上的语音AI应用展示了CM85在有和没有 Helium的情况下比CM7的性能改进

很明显，采用Helium的RA8 MCU无需任何额外的硬件加速即可显著提高神经网络性能，从而为实现更简单的AI和机器学习用例提供了低成本、低功耗的选择。

引用

本文引用了以下文档：

“Arm® Helium™ Technology，M-Profile Vector Extension（MVE）for Arm® Cortex-M® Processors”，作者：Jon Marsh，Arm

“Armv8.1-M 架构简介”，作者：Joseph Yiu，Arm，2019年2月

资源

RA8M1产品详细介绍页

https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/ra-cortex-m-mcus/ra8m1-480-mhz-arm-cortex-m85-based-microcontroller-helium-and-trustzone

工程师博客：终端AI在嵌入式视觉应用中的革命

https://www.renesas.cn/cn/zh/blogs/revolution-endpoint-ai-embedded-vision-applications

阅读应用说明，详细了解携带Helium的RA8 MCU 的性能优势

renesas.cn/cn/zh/document/apn/high-performance-ra8-using-cm85-core-helium-v10

RA8系列产品介绍

RA8系列目前已有3款产品量产，包含RA8M1、RA8D1 及RA8T1。

RA8M1

此产品是RA8系列主流通用型MCU，适用于工业自动化、家用电器、智能家居、消费品、楼宇/家居自动化和医疗/保健细分市场中的各种高性能和计算密集型应用场景。同时由灵活软件包（FSP）和一整套软硬件开发工具提供全面支持。

RA8D1

此产品针对HMI应用，集成了高性能CM85内核和大内存，以及丰富的外设集，包括带并行RGB和MIPI-DSI接口的高分辨率TFT-LCD控制器、2D绘图引擎、16位摄像头接口和多个外部内存接口，经过优化可满足各种图形和视觉AI应用的需求。同时由灵活软件包（FSP）和一整套软硬件开发工具提供全面支持。

RA8T1

此产品针对电机应用，不仅集成了高达2MB的大容量闪存、1MB SRAM（包括TCM）、PWM定时器、模拟功能、多种连接功能，还支持高级安全特性和安全功能。RA8T1产品组通过其高性能和丰富的集成功能，在用户系统上实现高级电机控制或附加功能。RA8T1产品组支持灵活配置软件包（FSP）和合作伙伴生态系统，以及电机控制评估套件、软件和工具。

您可点击链接进入瑞萨技术论坛：

https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/

来源：瑞萨嵌入式小百科

围观 16

随着物联网的爆炸式增长，设备通过无处不在的有线和无线连接相互连接和通信。这种超连接性允许收集大量数据，然后将这些数据进行收集、分析从而做出明智的决策。从数据中获取见解并根据这些见解做出自主决策的能力是人工智能（AI）的本质。人工智能（AI）和物联网（IoT）或人工智能物联网（AIoT）的结合，可以创建“智能”设备，这些设备可以从数据中学习并在没有人为干预的情况下做出决策。

在边缘设备上构建智能的趋势有以下几个驱动因素：

边缘决策可减少与云连接相关的延迟和成本，并使实时操作成为可能
云带宽不足导致计算和决策需要边缘设备
安全性是一个关键的考虑因素 - 对数据隐私和机密性的要求推动了在设备本身上处理和存储数据的需求

因此，边缘人工智能具有自主性、更低延迟、更低功耗、更低带宽要求、更低成本和更高安全性等优势，所有这些都使其对新兴应用和用例更具吸引力。

AIoT为MCU开辟了新的市场，使越来越多的新应用和用例成为可能，这些应用和用例可以使用MCU与某种形式的AI加速相结合，以促进边缘和端点设备的智能控制。这些支持AI的MCU为计算和机器学习（ML）提供了独特的DSP功能，并用于关键字识别、传感器融合和振动分析等各种应用。更高性能的MCU可实现更复杂的视觉和成像领域的应用，如人脸识别、指纹分析和物体检测。

神经网络用于AI/ML应用，例如图像分类、人员检测和语音识别。这些是用于实现机器学习算法的基本构建块，并广泛使用线性代数运算，例如用于推理处理、网络训练和权重更新的点积和矩阵乘法。正如您可能想象的那样，将AI构建到边缘产品中需要处理器具有强大的计算能力。这些新兴AI应用的设计人员需要满足对更高性能、更大内存和更低功耗的需求，同时保持低成本。在过去的日子里，这是GPU和MPU的职权范围，它们具有强大的CPU内核、大内存资源和用于分析的云连接。最近，可以使用AI加速器从主CPU卸载此任务。其他边缘计算应用（如音频或图像处理）需要支持快速乘法累加运算。通常，设计人员选择在系统中添加DSP来处理信号处理和计算任务。所有这些选项都提供了所需的高性能，但会大大增加系统成本，并且往往更耗电，因此不适合低功耗和低成本的端点设备。

MCU如何填补这一空白？

更高性能MCU的出现使得低成本、低功耗的边缘AIoT成为现实。AIoT是通过最新MCU更高的计算能力以及更适合这些终端设备中使用的资源受限MCU的轻量级神经网络模型来实现的。与MPU或DSP相比，基于MCU的物联网设备上的AI可实现实时决策和更快的事件响应，并且还具有更低的带宽要求、更低的功耗、更低的延迟、更低的成本和更高的安全性等优势。MCU还提供更快的唤醒时间，从而实现更快的推理时间和更低的功耗，以及与存储器和外设的更高集成度，以帮助降低成本敏感型应用的整体系统成本。

基于Cortex-M4/M33的MCU可以满足更简单的AI用例的需求，例如性能需求较低的关键字识别和预测性维护任务。然而，当涉及到更复杂的用例时，如视觉AI（目标检测、姿态估计、图像分类）或语音AI（语音识别、NLP），需要更强大的处理器。较旧的Cortex-M7内核可以处理其中一些任务，但推理性能较低，通常仅在2-4 fps范围内。

我们需要的是具有AI加速功能的更高性能微控制器。

RA8系列高性能AI MCU简介

全新RA8系列MCU采用基于Arm v8.1M架构的Arm Cortex-M85内核和7级超标量流水线，可提供计算密集型神经网络处理或信号处理任务所需的额外加速。

Cortex-M85是性能最高的Cortex-M内核，配备Helium™，即Arm v8.1M架构中引入的Arm M -Profile矢量扩展（MVE）。Helium是一种单指令多数据（SIMD）向量处理指令集扩展，它可以通过使用单个指令处理多个数据元素来提升性能，例如在多个数据上重复乘法累加。与较旧的Cortex-M7内核相比，Helium显著加速了资源受限的MCU器件中的信号处理和机器学习能力，并在ML任务中实现了前所未有的4倍加速，在DSP任务中实现了前所未有的3倍加速。RA8 MCU具有大容量内存、高级安全性以及丰富的外设和外部接口，非常适合语音和视觉AI应用，以及需要信号处理支持的计算密集型应用，例如音频处理、JPEG解码和电机控制。

有关瑞萨RA MCU的更多信息请访问：

RA MCU

https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/ra-cortex-m-mcus

您可识别下方二维码或复制网址到浏览器中打开进入瑞萨技术论坛：

https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/

来源：瑞萨嵌入式小百科

围观 27

摘要

ST在边缘人工智能领域投入已超过10年，不仅拥有STM32Cube.AI和NanoEdge™ AI Studio软件工具；还与NVIDIA合作，整合NIVIDIA TAO和STM32Cube.AI工具，让开发者STM32微控制器上无缝训练和实现神经网络模型。

本文为2023 STM32峰会连接篇重点内容。

ST 为什么要积极投入边缘人工智能及我们所提供的服务 (Cube.AI, NEAI)

人工智能无处不在，但实现的方式和涉及到的软硬件实现是不同的。随着嵌入式应用需求的深入和迭代，边缘人工智能正成为热议话题，它将提供越来越多的产品价值，也或将成为改变AI未来游戏规则的驱动力。

在这场人工智能浪潮中，很多数人的观念还停留在人工智能是由云服务器中的大型数据中心驱动，但在边缘侧、在应用设备终端涌现出一种非常不同且令人振奋的分化 —— 边缘人工智能，它由芯片来驱动。这是STM32擅长的领域，它将在边缘人工智能的实现和落地发挥关键作用。

显而易见，在边缘侧设备中运行人工智能模型有很多优势：设备响应速度快、超低延时；降低数据传输量；更有效地保护隐私、增强信息安全；降低边缘侧设备的运行功耗；还可以降低推理成本以实现其他新的功能操作。

我们花了10年时间研发投入边缘人工智能的硬件和软件栈开发。为了在可预见的未来，当嵌入式人工智能普及时，可以向STM32用户提供完成的产品组合。不仅包括硬件、加速引擎，还有极为重要的软件工具，保证开发者能够在MCU和MPU上优化和运行AI模型。

从“Orlando”芯片的问世，到广受欢迎的“STM32Cube.AI”工具的诞生，使开发者在MCU上优化AI模型成为可能；再到对”Cartesiam“的收购，让我们拥有了NanoEdge AI Studio这一工具，可以提供一个易于实施的TinyML解决方案，解决预测性维护等工业应用问题；近来，我们又专注STM32N6的研发，这是第一个带有神经网络硬件处理单元的微控制器。

STM32Cube.AI是一款用来评估、转换、优化和部署已训练好的神经网络模型的工具，适合主流的人工智能框架，可为开发者提供评估和调整算法的能力。

NanoEdge™ AI Studio（NanoEdgeAIStudio）是一种新型机器学习（ML）技术，它进一步降低了边缘人工智能开发的门槛。NanoEdge™ AI Studio可以开发人员基于少量数据，通过创建、清理、优化数据集等步骤创建适配的ML库。NanoEdge具有异常检测与设备学习的能力，也提供分类和回归库。

STM32 x NVIDIA TAO，让边缘AI走向“破茧时刻“

在最近的GTC活动中，英伟达发布了TAO工具包。NVIDIA TAO是一个加速AI算法开发和优化的开发环境，TAO工具包提供了一个低代码的人工智能框架，以加速视觉模型的开发，从新手到专家级数据科学家都能快速上手使用。

TAO 5.0版本有很多令人惊叹的功能和变化：

它首次开放源代码，允许定制和完全控制，并允许将模型部署到STM32平台！
TAO 5.0提供了更多的深度学习任务，包括分类/检测/分割/字符识别和最常见的神经网络框架；
TAO面向人员、交通、字符识别相关任务提供了30多个高质量的预训练模型，用户可以将其部署到STM32平台。TAO 5.0有Mask Auto Labeling功能，会自动创建掩码标签。
TAO还添加了AutoML功能，它可以自动训练模型，使其达到最佳精度，我们的研究数据表明准确度提高了20%。

NVIDIA与意法半导体的合作的关键是整合NIVIDIA TAO和STM32Cube.AI工具，让开发者有可能在资源有限的STM32微控制器上无缝地训练和实现神经网络模型，以达到适配的性能和精度！