AI

AI(人工智能)是指计算机系统通过模拟、复制、甚至超越人类智能的能力。这包括执行诸如学习、推理、问题解决和语言理解等智能任务。AI系统使用算法和模型,通过从大量数据中学习并适应,以实现对复杂任务的执行。

本文重点解释如何使用硬件转换卷积神经网络(CNN),并特别介绍使用带CNN硬件加速器的人工智能(AI)微控制器在物联网(IoT)边缘实现人工智能应用所带来的好处。

AI应用通常需要消耗大量能源,并以服务器农场或昂贵的现场可编程门阵列(FPGA)为载体。AI应用的挑战在于提高计算能力的同时保持较低的功耗和成本。当前,强大的智能边缘计算正在使AI应用发生巨大转变。与传统的基于固件的AI计算相比,以基于硬件的卷积神经网络加速器为载体的智能边缘AI计算具备惊人的速度和强大的算力,开创了计算性能的新时代。这是因为智能边缘计算能够让传感器节点在本地自行决策而不受5G和Wi-Fi网络数据传输速率的限制,为实现之前难以落地的新兴技术和应用场景提供了助力。例如,在偏远地区,传感器级别的烟雾/火灾探测或环境数据分析已成为现实。这些应用支持电池供电,能够工作很多年的时间。本文通过探讨如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换来说明如何实现这些功能。

采用超低功耗卷积神经网络加速器的人工智能微控制器

MAX78000是一款有超低功耗CNN加速器的AI微控制器片上系统,能在资源受限的边缘设备或物联网应用中实现超低功耗的神经网络运算。其应用场景包括目标检测和分类、音频处理、声音分类、噪声消除、面部识别、基于心率等健康体征分析的时间序列数据处理、多传感器分析以及预测性维护。

图1为MAX78000的框图,其内核为带浮点运算单元的Arm® Cortex®-M4F内核,工作频率高达100 MHz。为了给应用提供足够的存储资源,MAX78000还配备了512 kB的闪存和128 kB的SRAM。该器件提供多个外部接口,例如I2C、SPI、UART,以及用于音频的I2S。此外,器件还集成了60 MHz的RISC-V内核,可以作为一个智能的直接存储器访问(DMA)引擎从/向各个外围模块和存储(包括闪存和SRAM)复制/粘贴数据。由于RISC-V内核可以对AI加速器所需的

1.png

图1.MAX78000的结构框图

传感器数据进行预处理,因而Arm内核在此期间可以处于深度睡眠模式。推理结果也可以通过中断触发Arm内核在主应用程序中执行操作,通过无线传输传感器数据或向用户发送通知。

具备用于执行卷积神经网络推理的专用硬件加速器单元是MAX7800x系列微控制器的一个显著特征,这使其有别于标准的微控制器架构。该CNN硬件加速器可以支持完整的CNN模型架构以及所有必需的参数(权重和偏置),配备了64个并行处理器和一个集成存储器。集成存储器中的442 kB用于存储参数,896 kB用于存储输入数据。不仅存储在SRAM中的模型和参数可以通过固件进行调整,网络也可以实时地通过固件进行调整。器件支持的模型权重为1位、2位、4位或8位,存储器支持容纳多达350万个参数。加速器的存储功能使得微控制器无需在连续的数学运算中每次都要通过总线获取相关参数——这样的方式通常伴有高延迟和高功耗,代价高昂。CNN加速器可以支持32层或64层的网络,具体层数取决于池化函数。每层的可编程图像输入/输出大小最多为1024 × 1024像素。

CNN硬件转换:功耗和推理速度比较

CNN推理是一项包含大型矩阵线性方程运算的复杂计算任务。Arm Cortex-M4F微控制器的强大能力可以使得CNN推理在嵌入式系统的固件上运行。但这种方式也有一些缺点:在微控制器上运行基于固件的CNN推理时,计算命令和相关参数都需要先从存储器中检索再被写回中间结果,这会造成大量功耗和时延。

表1对三种不同解决方案的CNN推理速度和功耗进行了比较。所用的模型基于手写数字识别训练集MNIST开发,可对视觉输入数据中的数字和字母进行分类以获得准确的输出结果。为确定功耗和速度的差异,本文对三种解决方案所需的推理时间进行了测量。

2.png

表1.手写数字识别的CNN推理时间和推理功耗,基于MNIST数据集

方案一使用集成Arm Cortex-M4F处理器的MAX32630进行推理,其工作频率为96 MHz。方案二使用MAX78000的CNN硬件加速器进行推理,其推理速度(即数据输入与结果输出之间的时间)比方案一加快了400倍,每次推理所需的能量也仅为方案一的1/1100。方案三对MNIST网络进行了低功耗优化,从而最大限度地降低了每次推理的功耗。虽然方案三推理结果的准确性从99.6%下降到了95.6%,但其速度快了很多,每次推理只需0.36 ms,推理功耗降也低至仅1.1 µW。两节AA碱性电池(总共6 Wh能量)可以支持应用进行500万次的推理(忽略系统其它部分的功耗)。

这些数据说明了硬件加速器的强大计算能力可以大大助益无法利用或连接到连续电源的应用场景。MAX78000就是这样一款产品,它支持边缘AI处理,无需大量功耗和网络连接,也无需冗长的推理时间。

MAX78000 AI微控制器的使用示例

MAX78000支持多种应用,下面本文围绕部分用例展开讨论。其中一个用例是设计一个电池供电的摄像头,需要能检测到视野中是否有猫出现,并能够通过数字输出打开猫门允许猫进入房屋。

图2为该设计的示例框图。在本设计中,RISC-V内核会定期开启图像传感器并将图像数据加载到MAX78000的CNN加速器中。如果系统判断猫出现的概率高于预设的阈值,则打开猫门然后回到待机模式。

3.png

图2.智能宠物门框图

开发环境和评估套件

边缘人工智能应用的开发过程可分为以下几个阶段:

第一阶段:AI——网络的定义、训练和量化

第二阶段:Arm固件——将第一阶段生成的网络和参数导入C/C++应用程序,创建并测试固件

开发过程的第一阶段涉及建模、训练和评估AI模型等环节。此阶段开发人员可以利用开源工具,例如 PyTorch 和 TensorFlow。MAX78000 的GitHub网页也提供全面的资源帮助用户在考虑其硬件规格的同时使用PyTorch构建和训练AI网络。网页也提供一些简单的AI网络和应用,例如面部识别(Face ID),供用户参考。

图3显示了采用PyTorch进行AI开发的典型过程。首先是对网络进行建模。必须注意的是,MAX7800x微控制器并非都配置了支持所有PyTorch数据操作的相关硬件。因此,必须首先将ADI公司提供的ai8x.py文件包含在项目中,该文件包含MAX78000所需的PyTorch模块和运算符。基于此可以进入下一步骤构建网络,使用训练数据对网络进行训练、评估和量化。这一步骤会生成一个检查点文件,其中包含用于最终综合过程的输入数据。最后一步是将网络及其参数转换为适合CNN硬件加速器的形式。值得注意的是,虽然任何PC(笔记本、服务器等)都可用于训练网络,但如果没有CUDA显卡,训练网络可能会花费很长的时间——即使对于小型网络来说也有可能需要几天甚至几周的时间。

开发过程的第二阶段是通过将数据写入CNN加速器并读取结果的机制来创建应用固件。第一阶段创建的文件通过#include指令集成到C/C++项目中。微控制器的开发环境可使用Eclipse IDE和GNU工具链等开源工具。ADI公司提供的软件开发套件(Maxim Micros SDK (Windows))也已经包含了所有开发必需的组件和配置,包括外设驱动以及示例说明,帮助用户简化应用开发过程。

4.png

图3.AI开发过程

成功通过编译和链接的项目可以在目标硬件上进行评估。ADI开发了两种不同的硬件平台可供选用:图4为 MAX78000EVKIT ,图5为 MAX78000FTHR ,一个稍小的评估板。每个评估板都配有一个VGA摄像头和一个麦克风。

5.png

图4.MAX78000评估套件

6.png

图5.MAX78000FTHR评估套件

结论

以前,AI应用必须以昂贵的服务器农场或FPGA为载体,并消耗大量能源。现在,借助带专用CNN加速器的MAX78000系列微控制器,AI应用依靠单组电池供电就可以长时间运行。MAX78000系列微控制器在能效和功耗方面的性能突破大大降低了边缘AI的实现难度,使得新型边缘AI应用的惊人潜力得以释放。

来源:亚德诺半导体

免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 33

意法半导体(ST)发布了STM32Cube.AI version 7.2.0,这是微控制器厂商推出的首款支持超高效深度量化神经网络的人工智能(AI)开发工具。

“意法半导体STM32Cube.AI

STM32Cube.AI 将预先训练好的神经网络转换成STM32微控制器(MCU)可以运行的C语言代码,是充分利用嵌入式产品有限的内存容量和算力开发尖端人工智能解决方案的重要工具,将人工智能从云端下移到边缘设备,能够为应用带来巨大的优势,其中包括原生隐私保护、确定性实时响应、更高的可靠性和更低的功耗。边缘人工智能还有助于优化云计算使用率。

现在,通过支持 qKeras 或 Larq 等深度量化输入格式,开发者可以进一步降低神经网络代码量、内存占用和响应延迟,这些优势让边缘人工智能释放出更多可能,包括经济型应用和成本敏感应用。因此,开发者可以创建边缘设备,例如,功能和性能先进的电池续航更长的自供电的物联网端点。从超低功耗 Arm Cortex-MCU® 微控制器,到利用 Cortex-M7M33 和 Cortex-A7 内核的高性能产品,意法半导体的STM32系列为开发者提供了许多适合的硬件平台。

STM32Cube.AI 7.2.0版还增加了对TensorFlow 2.9模型的支持,改进了内核性能,新加了scikit-learn机器学习算法和开放神经网络交换(ONNX)运算符。

有关 STM32Cube.AI v7.2.0的更多信息和免费下载,请访问 www.st.com

博客网址:https://blog.st.com/stm32cubeai-v72/

围观 8

据IoT Analytics数据,2022年活跃连接的物联网设备将达到144亿,2025年将增长至270亿。作为物联设备中必不可少的控制与计算的大脑,MCU也将迎来持续增长。Yole最新数据显示,2022年MCU的市场规模预计为200亿美元以上,并且将保持7.1%年复合增长率,于2027年达到300亿美元市场规模。

“Quarterly
Yole development Microcontroller
Quarterly Market Monitor Q1 2022

数百亿的市场背后,蕴含着持续不断的技术创新,从简单控制到IoT大脑,MCU一路高歌猛进,热度不减。

MCU的进化之路:从简单控制到IoT大脑

上世纪60年代末70年代初,微控制器(MCU)的产品雏形出现。早期均是多芯片的方案,从Intel的MCS-4(Micro-Computer Set-4)开始,明确了CPU、RAM、ROM和I/O这样的一个具有通用性的基本系统架构。随后出现的TMS1000,将这四个部分整合在一个芯片中,便成为了历史上第一个真正意义上的MCU。

“Lee
Lee Boysel 组装了一个8 位 AL1 的系统
证明它可以作为微处理器工作

通用型MCU的出现,繁荣了后面50年的电子设备创新,各种品类层出不穷。MCU的功能和规格也随着技术发展、应用需求提升而进化。进入到IoT时代之后,MCU的角色更是成为了端侧的计算中枢,成为端侧的物联生态构建的决定因素。

“连接现实与数字世界"
连接现实与数字世界

如上图所示,典型的IoT应用由感知、计算、执行、连接和安全几部分组成。传感器检测大量的环境信息,将物理世界的模拟信号转换为数字信号数据,传递给后端的MCU中进行计算分析和处理;MCU根据计算结果给出决策信号到后端的执行层;执行层根据MCU给出的动作指令完成相应动作;在整个过程中,必要的数据也会通过无线连接的方式上传到云端进行云AI运算或存储。

从单点的设备到联网的端侧设备,对于MCU提出了更高的要求。纵观整个MCU市场,呈现出以下的技术演进趋势。

第一是对于算力提升的要求,同时也要追求更高的能效比。高端MCU的主频已经提升到GHz级,采用双CPU核的架构,针对不同工作负载实现灵活调度,有的MCU将会集成专用的NPU核来执行特定的AI/ML工作。

第二是无线射频功能的集成,支持例如BLE、Sub-G、Zigbee等无线通信协议。通过内部集成无线功能,简化了系统整体设计,缩减PCB面积,帮助非射频专业开发者在产品中快速构建无线连接。

第三是具备图形交互界面(GUI)的能力。从传统的机械按键+段式LCD显示,到现在的语音控制、图形界面交互控制,人机交互效果越来越友好。MCU需要具备足够的图形处理能力(2.5D、3D图形化加速器),支持不同的接口和显示屏的底层驱动,具备足够丰富的图形库开发资源。

第四是对于安全(Security)的更高要求。设计者开始明确:安全应该是从硬件设计之初就开始考量,而不是仅仅存在于软件层面的安全设计。像Arm在Cortex-M的中引入了Trustzone硬件安全架构,通过硬件隔离实现安全的密钥信息存储。在Trustzone的安全设计基础上,不同MCU中还会集成一系列安全功能,譬如HSM、AES、硬件密钥、双组闪存等等。

第五是强调MCU的整体开发生态,在MCU芯片之上构建较为完整方案加速客户的上市时间。从前端的传感器连接,到后端的上云提供完整的开发链条;一些简单的设计可以通过低代码的图形化开发工具快速完成;提高同一MCU平台上不同型号之间的代码的复用性,缩减用户进行MCU升级时进行代码迁移的成本。

业界领先厂商已经向着上述几个技术趋势去发力,推出符合AIoT时代需求的新一代MCU产品。如下图所示,英飞凌计划将会在下一代MCU产品中提供包括连接、机器学习、人机接口、传感等功能,并提供包括软件硬件参考、安全、IoT云在内的全方案开发平台。

“英飞凌下一代MCU产品"
英飞凌下一代MCU产品

芯片即方案:一颗MCU满足全部IoT应用需求

IoT Analytics总结了2022年物联网的十大技术趋势,其中提到:完备5G基础设施将会加速IoT垂直领域应用发展;IoT将会改变制造业,并成为实现可持续发展的关键技术;云平台商和IT厂商开始竞逐边缘端平台市场;AI变得无处不在,隐形AI在各行各业释放潜能;AI的计算正在向着边缘端拓展,实现端侧部署。

“2022年物联网10大技术趋势"
2022年物联网10大技术趋势

端侧物联网应用需要选择什么样的MCU,才能迎合这样的IoT发展需求?对于开发者而言,在选型的阶段将传统的通用型MCU,替换成选择一颗IoT MCU,可谓整个开发工作已经成功了大半。

PSoC6是一款专门为IoT和消费类应用而生的双核无线MCU,是一款可编程嵌入式系统级芯片解决方案。

首先作为IoT Purpose的MCU,双核的架构设计是其一大特色,用户可以根据不同工作负载动态分配M4核和M0+核的工作任务,M4核专注于高性能计算处理,M0+核则专注于实时监控的工作,例如无线通讯协议的频繁监控采样和回应等工作。M0+作为M4的减压引擎,允许M4进入睡眠状态;这种双核架构实现了功耗和性能的完美平衡。

“”PSoC6
PSoC6 Block diagram

可编程模块是PSoC系列的另一特色,在CPU的外围有12个类似于PLD的可编辑的数字逻辑单元(UDB),这种硬件可编程模块为MCU提供了更高的灵活度,并且可以通过PSoC Creator软件来实现硬件编程,避免HDL的陡峭学习曲线。

无线功能的集成是作为IoT MCU的必要元素,PSoC6支持Bluetooth 5和WiFi无线连接方式,开发者还可以通过可编程硬件模块创建自定义的AFE,并支持产品最后一分钟的设计更改,最大限度地减少PCB的重新设计。英飞凌还提供了AIROC这一Wi-Fi+蓝牙Combo的单芯片方案,可以与PSoC6一起构成更完整的从端到云的无线开发生态。

“AIROC系列无线连接产品"
AIROC系列无线连接产品

在安全性方面,PSoC6内置了IoT安全模块,同时支持多个安全环境,无需额外外部安全存储器或元件,同时集成包括ECC²和AES³在内的多种行业标准密码算法。此外,PSoC64安全系列还经过了PSA二级安全认证,集成了硬件RoT和开箱即用的Amazon FreeRTOS。

“PSoC
PSoC 64 Standard Secure – AWS MCU — PSA Level2认证书

在开发生态方面,英飞凌提供了Modus Toolbox这一跨平台开发工具,提供工程的创建、编辑、编译、调试、烧写等功能,同时它还集成了实时操作系统、硬件外设驱动、无线连接的驱动库和众多的中间件。通过Modus Toolbox软件平台,结合英飞凌的传感器、无线连接、MCU、执行器完整的产品阵营,开发者可以轻松实现从传感器到云端的完整IoT应用开发。

“ModusToolbox跨平台开发工具"
ModusToolbox跨平台开发工具

以上几大特质融合在一起,让PSoC6成为了IoT开发的利器。以智能门锁应用为例,传统方案需要将指纹识别、语音识别、触控、无线连接等多个不同的芯片整合在一起构成一个系统方案;而现在一颗PSoC6就具备了这些功能,极大地简化了开发流程,缩减了整体成本并提高了安全性。

“PSoC6智能门锁应用实例"
PSoC6智能门锁应用实例

从边缘ML到TinyML,将AI的触角拓展到极致边缘端

纵观业界趋势,AI正逐渐向边缘端发展。机器学习(下文简称ML)的训练一般会在云端进行,而ML的推理会越来越多在设备端进行。在边缘端进行ML的处理,可以提高本地的设备响应,减少云端上传的数据带宽,提高本地数据的安全性。当前在一些MCU中也会添加特定的加速器,通过专用算力来进行ML的运算,从而释放CPU的通用算力。

“机器学习从云端向边缘端迁移"
机器学习从云端向边缘端迁移

与智能手机等边缘设备不同,在MCU为计算中心的端侧设备上进行机器学习面临着不小的挑战。这种更边缘侧的机器学习应用需要在本地有限的计算资源上,满足超低功耗的要求(mW级乃至更低)。为了区分,业界将这种更为极致的边缘侧ML称为TinyML。TinyML对接的传感器数据的种类相比边缘ML设备要复杂的多,因此数据的标签化处理工作也更复杂;很多云端和边缘ML上成熟的算法模型因为体积太大,往往也不能直接在TinyML应用中进行部署;软件和硬件的配合也需要有更成熟的方案。大部分IoT设备的开发者并不具备资深的AI/ML的知识,帮助这些开发者越过陡峭的学习曲线,避免繁杂的算法、软件工作,快速实现TinyML的部署,才会迎来IoT应用的新一轮爆发。

为了解决TinyML的应用难题,英飞凌与SensiML携手一起构建了从云端训练、到嵌入式软件开发、再到最终硬件部署的一套完整的边缘侧机器学习应用方案。

“PSoC6,XENSIV和SensiML解决方案"
PSoC6,XENSIV和SensiML解决方案

SensiML致力于为极致边缘的IoT设备构建准确的AI传感器算法。英飞凌的XENSIV传感器捕获原始的传感数据信息;透过SensiML Analystics Toolkit平台的Data Capture Lab进行数据的收集和标签化处理;Aanlystics Studio进行数据清理,生成数据特征和适合PSoC6平台的嵌入式AI模型;Knowledge Pack进行数据特征提取和模型优化,优化好的模型可以在PSoC6的平台进行部署。Test App可以将实时数据导入进行在线模型验证,同时也可以在设备上进行模型验证。

“SensiML工作流程"
SensiML工作流程

SensiML的Analystics Toolkit完善后导出ML模型,通过ModusToolbox将其部署到PSoC6和XENSIV的硬件平台上。

英飞凌与SensiML一起构建了云端训练、嵌入式软件开发和ML硬件部署的垂直开发生态,开发者即使并不是AI/ML的算法研究者,也可以在XENSIV和PSoC6平台上快速构建边缘ML的应用,推进边缘ML的部署。

“用于机器学习前景的ModusToolbox"
用于机器学习前景的ModusToolbox

结语

从通用MCU到IoT MCU,再到具备TinyML特质的IoT MCU,微控制器的发展与整个消费电子设备的演进浪潮休戚相关。单品MCU已经不足以满足当下IoT开发者的需求,选择一颗MCU即选择了一个完整的开发生态。英飞凌构建了包括感知、计算、执行、连接和安全在内的完整的物联网生态,并且通过与SensiML的合作帮助实现物联网的边缘AI部署。

“英飞凌完整一站式物联网解决方案"
英飞凌完整一站式物联网解决方案

当物联网端侧开始拥抱AI,一个全新的IoT局面即将开启。在下一波百亿物联设备的背后,离不开英飞凌的MCU及其全面IoT解决方案的参与。

来源:英飞凌
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 48

据21ic报道,IoT Analytics数据显示,2022年活跃连接的物联网设备将达到144亿,2025年将增长至270亿[i]。作为物联设备中必不可少的控制与计算的大脑,MCU也将迎来持续增长。Yole最新数据显示,2022年MCU的市场规模预计为200亿美元以上,并且将保持7.1%年复合增长率,于2027年达到300亿美元[ii]市场规模。

数百亿的市场背后,蕴含着持续不断的技术创新,从简单控制到IoT大脑,MCU一路高歌猛进,热度不减。

MCU的进化之路:从简单控制到IoT大脑

上世纪60年代末70年代初,微控制器(MCU)的产品雏形出现。早期均是多芯片的方案,从Intel的MCS-4(Micro-Computer Set-4)开始,明确了CPU、RAM、ROM和I/O这样的一个具有通用性的基本系统架构。随后出现的TMS1000,将这四个部分整合在一个芯片中,便成为了历史上第一个真正意义上的MCU。

通用型MCU的出现,繁荣了后面50年的电子设备创新,各种品类层出不穷。MCU的功能和规格也随着技术发展、应用需求提升而进化。进入到IoT时代之后,MCU的角色更是成为了端侧的计算中枢,成为端侧的物联生态构建的决定因素。

“”图:连接现实与数字世界"
图:连接现实与数字世界

如上图所示,典型的IoT应用由感知、计算、执行、连接和安全几部分组成。传感器检测大量的环境信息,将物理世界的模拟信号转换为数字信号数据,传递给后端的MCU中进行计算分析和处理;MCU根据计算结果给出决策信号到后端的执行层;执行层根据MCU给出的动作指令完成相应动作;在整个过程中,必要的数据也会通过无线连接的方式上传到云端进行云AI运算或存储。

从单点的设备到联网的端侧设备,对于MCU提出了更高的要求。纵观整个MCU市场,呈现出以下的技术演进趋势。

第一是对于算力提升的要求,同时也要追求更高的能效比。高端MCU的主频已经提升到GHz级,采用双CPU核的架构,针对不同工作负载实现灵活调度,有的MCU将会集成专用的NPU核来执行特定的AI/ML工作。

第二是无线射频功能的集成,支持例如BLE、Sub-G、Zigbee等无线通信协议。通过内部集成无线功能,简化了系统整体设计,缩减PCB面积,帮助非射频专业开发者在产品中快速构建无线连接。

第三是具备图形交互界面(GUI)的能力。从传统的机械按键+段式LCD显示,到现在的语音控制、图形界面交互控制,人机交互效果越来越友好。MCU需要具备足够的图形处理能力(2.5D、3D图形化加速器),支持不同的接口和显示屏的底层驱动,具备足够丰富的图形库开发资源。

第四是对于安全(Security)的更高要求。设计者开始明确:安全应该是从硬件设计之初就开始考量,而不是仅仅存在于软件层面的安全设计。像Arm在Cortex-M的中引入了Trustzone硬件安全架构,通过硬件隔离实现安全的密钥信息存储。在Trustzone的安全设计基础上,不同MCU中还会集成一系列安全功能,譬如HSM、AES、硬件密钥、双组闪存等等。

第五是强调MCU的整体开发生态,在MCU芯片之上构建较为完整方案加速客户的上市时间。从前端的传感器连接,到后端的上云提供完整的开发链条;一些简单的设计可以通过低代码的图形化开发工具快速完成;提高同一MCU平台上不同型号之间的代码的复用性,缩减用户进行MCU升级时进行代码迁移的成本。

业界领先厂商已经向着上述几个技术趋势去发力,推出符合AIoT时代需求的新一代MCU产品。如下图所示,英飞凌计划将会在下一代MCU产品中提供包括连接、机器学习、人机接口、传感等功能,并提供包括软件硬件参考、安全、IoT云在内的全方案开发平台。

芯片即方案:一颗MCU满足全部IoT应用需求

IoT Analytics总结了2022年物联网的十大技术趋势[iii],其中提到:完备5G基础设施将会加速IoT垂直领域应用发展;IoT将会改变制造业,并成为实现可持续发展的关键技术;云平台商和IT厂商开始竞逐边缘端平台市场;AI变得无处不在,隐形AI在各行各业释放潜能;AI的计算正在向着边缘端拓展,实现端侧部署。

端侧物联网应用需要选择什么样的MCU,才能迎合这样的IoT发展需求?对于开发者而言,在选型的阶段将传统的通用型MCU,替换成选择一颗IoT MCU,可谓整个开发工作已经成功了大半。

PSoC6是一款专门为IoT和消费类应用而生的双核无线MCU,是一款可编程嵌入式系统级芯片解决方案。

首先作为IoT Purpose的MCU,双核的架构设计是其一大特色,用户可以根据不同工作负载动态分配M4核和M0+核的工作任务,M4核专注于高性能计算处理,M0+核则专注于实时监控的工作,例如无线通讯协议的频繁监控采样和回应等工作。M0+作为M4的减压引擎,允许M4进入睡眠状态;这种双核架构实现了功耗和性能的完美平衡。

可编程模块是PSoC系列的另一特色,在CPU的外围有12个类似于PLD的可编辑的数字逻辑单元(UDB),这种硬件可编程模块为MCU提供了更高的灵活度,并且可以通过PSoC Creator软件来实现硬件编程,避免HDL的陡峭学习曲线。

无线功能的集成是作为IoT MCU的必要元素,PSoC6支持Bluetooth 5和WiFi无线连接方式,开发者还可以通过可编程硬件模块创建自定义的AFE,并支持产品最后一分钟的设计更改,最大限度地减少PCB的重新设计。英飞凌还提供了AIROC这一Wi-Fi+蓝牙Combo的单芯片方案,可以与PSoC6一起构成更完整的从端到云的无线开发生态。

在安全性方面,PSoC6内置了IoT安全模块,同时支持多个安全环境,无需额外外部安全存储器或元件,同时集成包括ECC²和AES³在内的多种行业标准密码算法。此外,PSoC64安全系列还经过了PSA二级安全认证,集成了硬件RoT和开箱即用的Amazon FreeRTOS。

在开发生态方面,英飞凌提供了Modus Toolbox这一跨平台开发工具,提供工程的创建、编辑、编译、调试、烧写等功能,同时它还集成了实时操作系统、硬件外设驱动、无线连接的驱动库和众多的中间件。通过Modus Toolbox软件平台,结合英飞凌的传感器、无线连接、MCU、执行器完整的产品阵营,开发者可以轻松实现从传感器到云端的完整IoT应用开发。

“图:ModusToolbox跨平台开发工具"
图:ModusToolbox跨平台开发工具

以上几大特质融合在一起,让PSoC6成为了IoT开发的利器。以智能门锁应用为例,传统方案需要将指纹识别、语音识别、触控、无线连接等多个不同的芯片整合在一起构成一个系统方案;而现在一颗PSoC6就具备了这些功能,极大地简化了开发流程,缩减了整体成本并提高了安全性。

从边缘ML到TinyML,将AI的触角拓展到极致边缘端

纵观业界趋势,AI正逐渐向边缘端发展。机器学习(下文简称ML)的训练一般会在云端进行,而ML的推理会越来越多在设备端进行。在边缘端进行ML的处理,可以提高本地的设备响应,减少云端上传的数据带宽,提高本地数据的安全性。当前在一些MCU中也会添加特定的加速器,通过专用算力来进行ML的运算,从而释放CPU的通用算力。

与智能手机等边缘设备不同,在MCU为计算中心的端侧设备上进行机器学习面临着不小的挑战。这种更边缘侧的机器学习应用需要在本地有限的计算资源上,满足超低功耗的要求(mW级乃至更低)。为了区分,业界将这种更为极致的边缘侧ML称为TinyML。TinyML对接的传感器数据的种类相比边缘ML设备要复杂的多,因此数据的标签化处理工作也更复杂;很多云端和边缘ML上成熟的算法模型因为体积太大,往往也不能直接在TinyML应用中进行部署;软件和硬件的配合也需要有更成熟的方案。大部分IoT设备的开发者并不具备资深的AI/ML的知识,帮助这些开发者越过陡峭的学习曲线,避免繁杂的算法、软件工作,快速实现TinyML的部署,才会迎来IoT应用的新一轮爆发。

为了解决TinyML的应用难题,英飞凌与SensiML携手一起构建了从云端训练、到嵌入式软件开发、再到最终硬件部署的一套完整的边缘侧机器学习应用方案。

“图:PSoC6,XENSIV和SensiML解决方案"
图:PSoC6,XENSIV和SensiML解决方案

SensiML致力于为极致边缘的IoT设备构建准确的AI传感器算法。英飞凌的XENSIV传感器捕获原始的传感数据信息;透过SensiML Analystics Toolkit平台的Data Capture Lab进行数据的收集和标签化处理;Aanlystics Studio进行数据清理,生成数据特征和适合PSoC6平台的嵌入式AI模型;Knowledge Pack进行数据特征提取和模型优化,优化好的模型可以在PSoC6的平台进行部署。Test App可以将实时数据导入进行在线模型验证,同时也可以在设备上进行模型验证。

SensiML的Analystics Toolkit完善后导出ML模型,通过ModusToolbox将其部署到PSoC6和XENSIV的硬件平台上。

英飞凌与SensiML一起构建了云端训练、嵌入式软件开发和ML硬件部署的垂直开发生态,开发者即使并不是AI/ML的算法研究者,也可以在XENSIV和PSoC6平台上快速构建边缘ML的应用,推进边缘ML的部署。

结语

从通用MCU到IoT MCU,再到具备TinyML特质的IoT MCU,微控制器的发展与整个消费电子设备的演进浪潮休戚相关。单品MCU已经不足以满足当下IoT开发者的需求,选择一颗MCU即选择了一个完整的开发生态。英飞凌构建了包括感知、计算、执行、连接和安全在内的完整的物联网生态,并且通过与SensiML的合作帮助实现物联网的边缘AI部署。

当物联网端侧开始拥抱AI,一个全新的IoT局面即将开启。在下一波百亿物联设备的背后,离不开英飞凌的MCU及其全面IoT解决方案的参与。

[i] 《Number of connected IoT devices growing 18% to 14.4 billion globally》https://iot-analytics.com/number-connected-iot-devices/
[ii] 《Yole Développement - MCU Quarterly Market Monitor Q1 2022 - Product Brochure》https://s3.i-micronews.com/uploads/2022/04/Microcontroller-Quarterly-Market-Monitor-Q1-2022-Product-Brochure.pdf
[iii]《10 IoT technology trends to watch in 2022》https://iot-analytics.com/iot-technology-trends/

来源:美通社
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 21

一场新冠肺炎疫情导致的“缺芯”问题,使人们对MCU的关注度大幅提升。同时也进一步增加了MCU的应用范围,从家电、工控、照明等传统领域,到AIoT、智能汽车、智慧医疗等新兴市场,几乎无处不在。MCU技术的发展、产品的开发,亦与市场应用密不可分。芯片架构的优化、接口功能的丰富,都离不开应用需求端的推动。那么,当前MCU的热点应用市场有哪些?

Silicon Labs(亦称“芯科科技”)公司MCU产品经理Eric Bauereis先生近期获邀参加中国电子报(CENA)的MCU专题采访,在2022年开年之际通过问答形式的访谈为行业人士带来MCU行业的市场发展及技术趋势的最新解析。Bauereis表示,智能家居、智能制造、智能驾驶等物联网热门应用以及人工智能(AI)迅速发展之下,其设备开发各有着不同的要求,未来在越来越多的应用中需要将无线连接功能整合到MCU中;而MCU上也需要多个内核来处理专用功能,进而带动芯片设计和工艺改良的需求。

MCU市场需求强劲

CENA:您对于MCU市场的整体走势怎样看待?供需结构有何变化?

Bauereis:尽管MCU需求的增长可能略低于高端处理器需求的增长,但 MCU厂商面临的供应链挑战更大,因为MCU产品通常采用扩产空间较小且提升产能动力更弱的成熟工艺。我们预计市场对 MCU的需求将继续增长,同时供应紧张还将持续一段时间。

技术呈多元化发展

CENA:人工智能、智能制造、智能驾驶等热点应用对MCU产品性能需求有何特点?MCU的技术发展有何变化趋势?

Bauereis:人工智能、智能制造、智能驾驶等热门应用有着不同的要求,因此技术发展的趋势不仅仅是局限于几个领域。一般来说,越来越多的应用需要充分利用无线连接和分布式处理。无线连接可以是独立的,但在越来越多的应用中需要将无线连接功能整合到MCU中。同样,随着处理需求的增加,分布式方法变得越来越普遍。这可能意味着一个网络中有多个MCU,也可能意味着MCU上有多个内核来处理专用功能。

MCU站上风口差异化成国内企业的制胜机会

CENA:您认为中国MCU企业这两年发展情况怎么样?目前的主要困难是什么?

Bauereis:过去几年,中国MCU公司不断发展壮大。在大多数情况下,他们在供应链运营方面面临着与所有MCU公司相同的问题;同时中国MCU厂商也面临与贸易争端相关的问题。大多数厂商继续关注成本和客户服务,或供应链方面的问题。有厂商开始通过改进工具和软件以获得更好的设计体验,从解决项目的总成本和维持长期合作关系等方面入手。一些公司通过为特定市场提供特定的性能或功能来实现差异化,但这些市场通常是在亚太地区。

完整文章内容已刊载于CENA网站,原文链接:http://www.cena.com.cn/industrynews/20211227/114614.html

来源:STM32单片机
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 95

成功案例

行走在田园和山间,欣赏美好景色和呼吸新鲜空气时,常常可以见到用于灌溉的机井。你可能除了小心,并没有更多留意它们。然而你可曾想到,它们与人工智能和微控制器也会关联在一起?

虽然人工智能早已在身边,但是在“原味”的微控制器应用场景中如何落地深度学习技术,人们还一直还在摸索。这次,小编就给还在上下求索的小伙伴们讲一个让“微控制器+AI”成功落地的小故事。

深井中强大的边缘抄表器

故事的主角是由北京市水务局和北京鸿成鑫鼎智能科技有限公司联合开发的“边缘抄表器”模块,这个模块将率先用于机械水表的智能抄表。我们先上靓照——

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

左边那个戴在水表上面浅蓝色的“帽子”就是它了,右边的图则是它的“裸照”。这个边缘智能抄表模块采用恩智浦i.MX RT1020跨界单片机读取摄像头并运行基于深度学习的“SlimSSD”检测算法,直接扣在水表表盘上就可以拍照并且识别表盘的读数。

这个模块非常强大,可以用在很多场合,除了安装在家里,还可以“落地”到主干水管上——

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

甚至还不只满足于 “落地”,更要“落井”——

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

方案广受好评,获得发明专利

这款模块经过近两年的开发和严格测试,在成果鉴定中得到了肯定的评价:

“边缘AI抄表器通讯畅通率达95%以上,平均识别准确率为83.42%,其中8块表识别准确率在98%以上,在性能方面取得了不错的成绩;自动辅助数据矫正和人工审核矫正率100%,数据真实可用;耗电量按1天1条数据功耗折算,可平均工作4425.6天(约12.1年),已大大超过了8年的设计寿命。”

更可喜的是,经过改进模型,最新的讯畅通率达96%!

下图是使用边缘AI抄表器检测出识别区域,识别出读数,并把识别结果和原始图片中检测区域一并上传的效果,一次无线传输的数据量仅几百字节(而发送全图要几万字节)。

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

北京水务局还计划在北京市东水西调管理处、门头沟区70多处机井、甘家口大大厦等地进行应用推广试点。实现乡村水井、耕地和林区机井、供水管道网络处无人值守的用水计量,实现了无需替换原有水表,就实现了自动抄表的功能。

更加可喜的是,这个边缘AI抄表器的设计经过多次反复设计、打版,边缘AI抄表器的适用性越来越强,并且得到了含金量很高的发明专利。

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

解析方案的精髓:深度学习

接下来,小编就给大家讲讲作为这个方案最“精髓”的部分——深度学习。

最让小编赞叹的是,这个抄表模块使用了比图像分类更先进的物体检测(Object Detection, OD)技术,实现了无需调整参数就能自动适应新的各种表盘。而直到最近,我们看到其他一些厂商才刚刚提出类似的基于深度学习技术,但使用手写数字分类的参考模型——注意,是刚刚才提出——而且还是使用深度学习计算机视觉中最基础的“图像分类”技术。

图像分类和物体检测的关键区别是啥呢,小编画了一个草图来说明(原谅小编的美术是数学老师教的)。

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

最重要的是分类模型把图像当作整体,给出一个类别(确切地说是预测各类别的概率并选最大的那一类);而检测模型要干两个事,既要找出图像中各个物体的位置,也要判断找出的物体是什么类别。不过,虽然看起来检测比分类强大得太多了,但神奇的是他们共享的技术却高度相似——特别地,在检测模型的组成部分中,最重要的被称为“骨干”(backbone)的关键部分,就是来自于分类模型的卷积神经网络部分,它用来提取出抽象概括的图像特征。

可以认为分类模型在卷积神经网络的基础上追加分类器(常常是单层全连接层,又叫感知机,就够了);而检测模型抽取卷积神经网络的多处中间结果和最终输出,并添加检测颈和检测头的相关结构,只是比分类器要复杂得多。骨干网络的训练一般也是借助分类模型来实现。

回到AI抄表的应用,如果用分类模型,就要为每种规格的表盘人工设定分类区域,每个数字一个,麻烦得很;但是检测模型就能自动找出在哪里读数,读几个数,显然是方便多了。而在这个具体的专利中,使用了一种单发多框检测器(Single Shot Multibox Detector, SSD)模型的优化版本——发明人称为 “SlimSSD”,从名字上可以看出它是一种更“苗条(Slim)”的SSD——发明人还使用注意力机制来更准确地帮助裁剪模型。

有关SSD的详情后面咱们再接着聊,这里不妨先给出某一个高度精简后类SSD模型的“长相”。

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

图中那个醒目的三段显示的竖长条就是这个模型的骨干,来自一个简洁的分类模型中卷积子网络的部分。下部的几支“并联”的结构用于各自检测和分类输入图片中不同大小的物体,最终汇总成左、右两支,分别给出检测出的物体坐标信息和物体类别信息。(查看有关SSD模型的论文,请点击这里>>)。

小贴士

在物体检测领域,最近的Yolo系列模型也非常有生命力,还有其他的一些超轻量级物体检测模型,如NanoDet,YoloX-nano, PP-PicoDet等正如同雨后春笋般的涌现。物体检测技术因为实用、方便,它们的超轻量化研究十分活跃。

SSD和很多其它深度神经网络一样,都非常的灵活,它的构成可以根据应用要求的不同像搭积木一样魔改和优化,对算力要求甚至可以有上百倍的优化,使得微控制器也可以承载。小编通过查阅专利号“CN113255650B”,发现客户优化的这个SlimSSD,把官方的SSD模型瘦身到仅有原版SSD模型的0.5%大小,而仍然保持99%的精度!这是什么概念?形象地说,就是原来一个200斤的壮汉能背200斤的麻袋,现在是一个1斤的小人能背198斤的麻袋!嗯,差不多就是葫芦娃中的大红娃。

别让算力限制了你的想象

这个成功的故事也深深地震撼了小编,感觉自己对深度学习和实际应用的认知不足,限制了自己的想象力。

有感于很多人觉得“算力小于0.5TOPS都干不了啥事”,而这个智能边缘抄表方案是在理论上有效算力仅有0.0003TOPS的i.MX RT1020平台上完成的,这可是1600多倍啊!并且是无人值守的环境下仅靠电池就能一天抄一次连续工作12年以上!

看到这里,小编想用一句话来表达内心的感叹:

深度学习 => 创奇迹

深度学习 + NXP微控制器 => 再创奇迹

除了模型本身的先进性,更难能可贵的是这个模块的主要开发团队北京鸿成鑫鼎科技公司在两年前就开始了项目,而NXP用于微控制器的eIQ机器学习套件是半年前才发布,他们仅凭我们的技术支持就独自完成了这样一个看似不可能,甚至我们也没敢想的奇迹!

其中,令小编印象最深的,就是北京鸿成鑫鼎的总裁廉永康先生,三年前小编与他在一次MCU+AI研讨会中相识,当时小编对该项目的想法是——可以使用基础的图像分类“试一试”,而廉永康先生却毅然启动了这个项目,以极大的胆识采用了更先进的物体检测方法。要知道,3年前别说是基础的图像分类,就算是深度学习在微控制器上的基础软件也几乎还是空白,Arm CMSIS-NN也才发布几个月。

写在最后的话

上面的小故事告一段落,但完整的故事还在继续。小编了解到,北京鸿成鑫鼎科技公司没有就此止步,而是在此基础上,进一步开发出了可以用在水表以外的像灭火器压力计、液晶显示仪表上的改版,让微控制器和人工智能的结合给人民的安居乐业保驾护航!在这其中,恩智浦的高品质长寿命微控制器也将继续履行承担计算平台的光荣使命。

最后,小编想说,深度学习的抻缩性远比我们想象要大得多,只要根据应用的实际要求和硬件平台的特点合理优化和化简模型,有很多想都不敢想的应用都可以变成现实。尤其是不要小看了微控制器的潜力。

微控制器虽然算力比PC或应用处理器弱得多,但是它上面的负担开销轻得更多,再加上深度学习模型这种极大的伸缩性,有太多的“不可能”实际上是可能的,就等您延续奇迹的故事。奇迹多了,也就变得平凡了。

本文作者为恩智浦半导体系统工程师宋岩。感谢北京鸿成鑫鼎智能科技有限公司为本文提供的相关图片,文中部分数据和信息参考自以下这篇文章>>

来源:NXP客栈
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 49

近日,西人马科技发布了FT1700芯片,这是西人马推出的首款一体式AI SoC芯片。

FT1700的性能特点

FT1700芯片基于异构多核处理器架构,集成了4个CPU和4个DSP,即8个核心处理器,同时还集成了一个实时处理器,可用于实时系统控制;视觉AI DSP可用于高性能机器视觉计算阵列,另外还有4K图像/视频编解码,以及高性能有线/无线数据接口可用于传输实时音频/视频流。

“△FT1700芯片实拍图"
△FT1700芯片实拍图

FT1700芯片可提供0.5T~1T的算力,可用于工业检测、边缘计算、机器视觉、智能制造、自动数据采集系统(ADAS)、工业机器人控制、行业无人机等多种AI应用场景。

FT1700参考平台包含系统核心板(SOM)和定制化开发平台(CDP)两大部分。SOM是FT1700的最小系统核心板,提供高稳定性算力评估环境、丰富的外设接口验证能力,尤其适合市场推广期的平台评估、强调快速迭代的整机原型产品验证开发。客户可以聚焦具体业务接口设计,不再拘泥于繁杂的SOC硬件最小系统设计细节,以便加速项目开发进度。SOM包含4x16 bit DDR4 4Gb、8GB eMMC,CDP支持千兆以太网、USB3.0、TypeC、HDMI串口、3.5mm耳机接口等。

FT1700的潜在应用市场

SoC芯片技术的一大关键优势是可以降低系统板上因信号在多个芯片之间进出带来的延迟而导致的性能局限,提高了系统的可靠性,降低了系统成本。FT1700是专为物流仓储、智能监控、边缘计算、工业检测、ADAS/DMS、汽车行驶记录仪、工业无人机等多种应用而设计的一体式SoC芯片。FT1700芯片利用多核心的并行计算优势,有着超高的计算能力,可快速识别图像、图形、视频和音频,然后做出判断。

例如现在的物流仓储运输系统普遍使用计算机系统记录、跟踪货物的流通情况,面对成千上万的大小货物,扫码登记录入信息是唯一可行的方法。FT1700芯片支持各种代码类型,包括条形码和二维码,该芯片还可以识别摄像机拍摄到的外包装上的字符和数字。

FT1700芯片还可用于无人停车场管理。在车辆进出停车场时,监控摄像机对车辆的牌照进行图像采集,系统对采集到的图像进行预处理,FT1700芯片对车牌字符进行分割后识别,然后输出识别结果,包括车牌号码和归属地、车牌颜色等,帮助系统跟踪车辆在停车场内的停留位置和时间。

行业无人机对电力、石油、天然气管线的空中巡检已经成为这类野外作业的普遍模式,有效克服了地形复杂、距离远和人员不宜到达的缺点。无人机携带的高速摄像机可以在快速的飞行过程中连续拍摄管线的高清视频。基于特殊的算法,FT1700芯片可以快速识别管线图像,判别出管线是否存在故障以及故障的类型。

西人马发力SoC芯片

纵观近年来的芯片技术发展趋势,未来的芯片技术是向着智能化方向发展,SoC芯片就是智能芯片的代表之一。西人马依据行业方向和市场不断变化的痛点需求,以及西人马自身的客户特点,公司在AI SoC芯片方面加大研发投入力度,今年首先发布了FT1700芯片。

目前无论是国际还是国内市场,SoC芯片研发领域都呈现出群雄并起的态势。以IDM模式经营的西人马作为SoC芯片领域内的“新同学”,将主要根植于自身在MEMS、ASIC、MCU芯片上的深厚根基,发挥自己的后发优势,为全球客户提供全新的SoC产品系列。

在今年上半年,西人马发布了两款MCU芯片CU0102B和CU0801A。CU0102B芯片采用0.18um CMOS BCD工艺制造,该款芯片与压电传感器如压电加速度计、压力以及MEMS压电麦克风等一起集成使用,即可以生产出稳定可靠的IEPE传感器。CU0801A芯片专为智能传感器应用、PLC、电源监控、报警系统、手持式设备、数据记录应用、马达控制和PC外围设备等多种工业、消费类应用场景,适合传感器、工业控制、电源监控等微小信号采集的应用场景。CU0102B和CU0801A再加上此次发布的FT1700,西人马在不到五个月的时间内连续发布了三款芯片产品,这显示出西人马强劲的芯片开发实力。

西人马为客户提供了“端-边-管-云-用”的一体化解决方案

“端”指的是数据采集层,涉及芯片、传感器,西人马目前拥有MEMS、ASIC、MCU等先进芯片,可以覆盖高端加速度计、压力、红外、气体、金属颗粒、信号处理、AI等产品。研发的传感器系列有压电式加速度传感器、高温传感器、微型传感器、温振一体传感器、模态测试传感器、电容式加速度传感器、压力传感器等。

“边”指的是边缘计算层,是连接端、小边、大边、云的采集器和边缘计算服务器,采用了业内领先的模块化设计思路和CPU+FPGA+IO的整体架构,结合西人马的主控芯片MCU、AI实现算力可扩展、自主可控的数据采集、智能控制的边缘设备,适用于工业领域的实时采集、处理、智能运算等需求。

“管”为基础通信能力,西人马和通信运营商深度合作,部署5G+MEC平台,实现控制面和用户面分离,通过网络切片提供各种等级SLA。

“云”指的是塔斯云,是西人马全面感知的智能大脑,通过监测端侧海量时序时空数据,形成多维信息融合的智能决策图谱。塔斯云通过开源、合作的方式,应用学术界和各类行业界的前沿技术,配合工具化、模块化、行业套件化的产品设计,并借助丰富的模型库、传感器库、知识库、算法库和前端组件库,助力各垂直领域快速上线、赋能增效和产业升级。

“用”指的是行业应用,西人马一体化解决方案可以应用于民用航空、轨道交通、风电、钢铁、电力、汽车和消费类电子领域。

来源: 西人马FATRI
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 24

AI:Artificial Intelligence,即人工智能。

AI与我们息息相关,手机导航、语音控制、智慧工厂、物流等这些都会运用AI相关技术。

近两年世界各大知名MCU厂商也都在陆续推出自家功能更强并支持AI功能的MCU和MPU芯片,ARM新推出的内核Cortex-M55具有更强的运算能力,目前很多高性能MCU都基于该内核。

1、AI普及

随着人工智能的普及,很多使用MCU开发的产品也走向了AI的世界。AI设计主要参与方都是功能强大的CPU,GPU和FPGA等。MCU与强大的人工智能(AI)有什么关系?

随着AI从云到边缘的发展,使得这一观点正在迅速改变,AI计算引擎使MCU能够突破嵌入式应用可能的极限,嵌入式设计已经能够提高网络攻击的实时响应能力和设备安全性。

云计算推动了对具有AI功能的MCU的需求;它减少了数据传输所需的带宽,并节省了云服务器的处理能力,如下图:

“”

配备AI算法的MCU正在应用包含对象识别,启用语音服务和自然语言处理等功能的应用程序。它们还有助于提高物联网(IoT),可穿戴设备和医疗应用中电池供电设备的准确性和数据隐私性。

那么,MCU如何在边缘和节点设计中实现AI功能?下面简要介绍了三种基本方法,这些方法使MCU能够在IoT网络边缘执行AI加速。

2、MCU + AI场合

第一种方法(可能是最常见的方法)涉及各种神经网络(NN)框架(例如Caffe 2,TensorFlow Lite和Arm NN)的模型转换,用于在MCU上部署云训练的模型和推理引擎。有一些软件工具可以从云中获取经过预训练的神经网络,并通过将其转换为C代码来针对MCU进行优化。

在MCU上运行的优化代码可以在语音,视觉和异常检测应用程序中执行AI功能。工程师可以将这些工具集下载到MCU配置中,并运行优化神经网络的推论。这些AI工具集还提供了基于神经网络的AI应用程序的代码示例。

AI执行模型转换工具可以在低成本和低功耗MCU上运行优化神经网络的推论,如下图所示:

“”

第二种方法是绕过了对从云借用的预训练神经网络模型的需求,设计人员可以将AI库集成到微控制器中,并将本地AI培训和分析功能纳入其代码中。

随后,开发人员可以基于从边缘的传感器,麦克风和其他嵌入式设备获取的信号来创建数据模型,并运行诸如预测性维护和模式识别之类的应用程序。

第三,AI专用协处理器的可用性使MCU供应商能够加快机器学习功能的部署。诸如Arm Cortex-M33之类的协处理器利用了诸如CMSIS-DSP之类的流行API来简化代码的可移植性,从而使MCU与协处理器紧密耦合,可加快AI功能,如协处理相关和矩阵运算。

同时,新推出的Cortex-M55具有更强的AI处理能力。

上述软件和硬件平台演示了如何通过根据嵌入式设计要求开发的推理引擎在低成本MCU中实现AI功能。这很关键,因为支持AI的MCU很有可能在IoT、工业、智能建筑和医疗应用中改变嵌入式设备的设计。

本文转载自:strongerHuang
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:
cathy@eetrend.com)。

围观 69

据IC Insights市场研究报告统计,受物联网、汽车电子、人工智能等行业应用带动,微控制器(MCU)销售规模预计将从2016年的166亿美元上升至2020年的209亿美元,年均增长率为5.5%。Arm嵌入式与汽车事业部市场营销高级总监Rhonda Dirvin日前接受了《电子工程专辑》的采访,不但畅谈了Arm在人工智能、先进工艺、异构处理方面的最新进展,也对与RISC-V架构的竞争做出了回应。

MCU喜迎AI新机遇,但先进工艺恐成“拦路虎”?看看Arm怎么说
Arm嵌入式与汽车事业部市场营销高级总监Rhonda Dirvin

电子工程专辑:自2017年以来,包括MCU在内的很多电子元器件、分立器件都传出缺货消息。您对2018年MCU市场需求状况是如何看待的?MCU价格走势是否会发生较大变化?

Rhonda Dirvin:据ICInsights预测,2018年全球电子系统市场将增长5%,至16220亿美元,而今年全球半导体市场预计将飙升14%,至5091亿美元,首次超过5000亿美元的水平。如果2018年的预测实现,每个电子系统中的半导体产品平均占比将达到31.4%,打破2017年创下的28.8%的历史记录。

Arm预计MCU市场在未来十年将会有巨大增长,尤其是在物联网的推动下。然而,其中许多芯片的成本将非常低,而这将不可避免地导致芯片的平均价格下降。

为了帮助芯片创新企业降低初期财务支出、风险并加快上市时间,Arm DesignStart提供了一条无需预付授权费即可获取嵌入式IP的途径。对于那些希望快速生产定制SoC的团队来说,这是一个理想的起点,因为它包括CPU和系统IP、免费的软件工具试用版,以及可获取广泛的Arm生态系统和知识库资源。

我们看到越来越多的Cortex-A处理器被应用于深度嵌入式应用程序,如果将这些Cortex-A设备视为MCU类,可能会增加MCU的平均价格。

电子工程专辑:人工智能、智能制造、自动驾驶是当前最为热门的应用领域,MCU在其中扮演着怎样的角色?

Rhonda Dirvin:工业自动化、机器人和自动驾驶汽车无疑为更加智能的微控制器提供了契机。AI芯片如果想取代传统芯片,需要具备更强的能力。例如,电机控制器可带有附加传感器来检测振动或噪声,以收集正在运行的电机的信息,然后使用机器学习算法进行电机的自动调节,提高电机运行效率。

目前来看,这些新兴应用尚处于起步阶段,规模并不大。但是,AI功能可以集成到每个MCU中。人工智能的一个子集是机器学习(ML),机器学习技术正被广泛应用于所有市场。有一个明显的趋势是,机器学习推理向“边缘”移动,甚至向最小的嵌入式设备移动,有时也被称为“远边缘”。用于Cortex-M CPU的CMSIS-NN软件库在M级设备上提供了优化的机器学习性能。这使得在“永久在线”的使用情况下,能够高效地执行机器学习应用程序,例如关键词检索和图像对象检测。

而自动驾驶需要不同类型的处理过程。某些部件需要确定性的实时响应和最高水平的系统性功能,以实现功能安全,基于Cortex-R和Cortex-M的部件可以提供这种功能组合;在一些解决方案中需要有不同安全级别的相关软件,Arm不仅提供了经过认证的工具链,许多实时操作系统也经过了认证,比如已经发布的Compiler 6和Keil RTX安全认证版本,以及平台安全架构(PSA),通过提供安全的基本构建模块,包括可信固件和示例案例分析,让安全实施变得更容易。

电子工程专辑:Arm如何将自己无可比拟的低功耗技术优势与人工智能应用相结合?

Rhonda Dirvin:AI本身也是可以节能的。例如,电机控制器可以通过附加传感器检测振动或噪声,以收集正在运行的电机的信息,然后使用机器学习算法进行电机的自动调节,提高电机运行效率。电机节省的功耗将比处理器使用的功耗大许多倍。

为了降低处理器消耗的功率,Arm拥有多种不同性能的处理器。一些用于低成本微控制器的Arm嵌入式处理器具有附加功能,用来加速机器学习算法中使用的数学函数,这可以减少其它芯片的面积和功耗。

大多数MCU都是使用较旧的节点工艺(55nm甚至更大)制造的,在这种情况下静态功耗基本不是问题。但当走向更小节点时,静态功耗就变成一个越发重要的因素。Arm的处理器与物理IP配合使用,可降低动态和静态功耗,这包括关闭当前未运行的功能块和降低电压,从而降低运行处理器所需的功耗。Arm为其Cortex-M微处理器及其神经网络处理器分别引入了优化的物理IP库,分别为POP和机器学习POP。

我们也确实看到许多领先的MCU厂商正在向更小节点演进(如40纳米)。例如,目前基于40纳米的NXP iMX RT处理器包含一个运行速度高达600MHz的Arm Cortex - M7处理器;瑞萨(Renesas)在其协同微控制器中使用40纳米工艺,而意法半导体(ST)在其近期发布的基于Cortex-M的STM32芯片中同时使用40纳米和90纳米工艺;SoC供应商RDA在其基于Cortex-M4的Wi-Fi SoC中采用了40纳米工艺。因为嵌入式闪存可用性仍然是许多MCU供应商的关键要求之一,所以要采用超过40纳米的工艺可能更具挑战性。

电子工程专辑:在MCU市场,同构和异构多核技术正成为主要趋势,您对其未来的发展有何看法?

Rhonda Dirvin:考虑MCU+MCU组合也很重要——例如,恩智浦和意法半导体都提供许多基于Cortex-M的微控制器产品,它们可以跟不同的Cortex-M处理器在非对称多处理(AMP)安排下协同工作。当然,在某些情况下,MCU+DSP、DSP+FPGA或MCU+FPGA是行得通的。但是由于在学习不同类型的技术知识以及使不同的内核能够有效地协同工作方面的挑战,采用这些组合可能收效缓慢或是有限。当然也有成功的案例——例如,赛灵思Zynq系列和Intel(Altera) Arria系列都提供基于Cortex-A处理器的部件,而Arm也在与各种供应商合作,为异构多处理领域提供新的创新解决方案。

在信号处理方面,Arm提供带有可选DSP指令集的MCU处理器解决方案,提供一体化控制和数据处理解决方案。嵌入式工程师可以非常方便地使用Arm Cortex-M处理器设计信号处理功能,节省开发时间、精力和芯片面积。此外,这也意味着工程师可以获得对广泛的Cortex-M生态系统、Arm软件库和合作伙伴软件编解码器的访问权限,为涉及传感器融合、语音和音频交互等技术的应用程序创造新机遇。

电子工程专辑:RISC-V架构最近的发展势头看上去不错,Arm是否感受到了压力?

Rhonda Dirvin:一直以来都存在相互竞争的架构,尤其是在MCU市场,RISC-V也不例外。Arm多年来已经证明,我们拥有得到广泛生态系统支持的一流技术。Arm的IP产品超越了CPU,还提供安全的、系统级的解决方案、软件和开发工具,以及广泛的第三方生态系统。Arm也有不同的授权模式来支持广泛的客户。中国客户特别感兴趣的是DesignStart计划,该计划提供免预付授权金的Arm IP。在过去12个月中,在300家DesignStart Pro项目授权厂商中,有40%来自中国,这使得很多初创公司能够设计生产定制化芯片。我相信由于Arm的持续投资并提供我们的合作伙伴和行业所需的解决方案,Arm将继续在MCU市场及其他领域取得成功。

电子工程专辑:您认为中国MCU企业这两年发展情况怎么样?如何看待中国MCU未来的发展?

Rhonda Dirvin:从全球来看,8/16位MCU约占总销售额的40%,32位MCU占60%。Arm是目前32位MCU的市场领导者,我们估计占有超过80%的市场份额。在中国市场,目前Arm在中国的授权客户数量已超过150家,中国半导体公司共累计出货了140亿颗基于Arm的芯片,中国公司制造的复杂SoC中约95%是基于Arm架构的。

中国本土的MCU供应商正在不断成长。他们与OEM厂商有着密切的关系,这样OEM厂商才能帮助他们针对最相关的终端应用产品来更好地定制芯片,同时进一步改进他们的MCU产品,以便在全球范围内竞争。一个很好的例子是兆易创新(Gigadevice),他们已经出货了超过2亿颗GD32 MCU,这是Arm帮助中国MCU合作伙伴实现双赢的一个很好的例子。他们选择了Cortex-M处理器,从而在Arm广泛的生态系统中获得了广泛的选择和灵活性。

此外,在日常产品中引入智能化的需求推动了对智能传感器和智能模拟SoC的需求,这种需求推动了定制化芯片的扩张并带来了许多好处,比如降低了组件成本、增加了功能和产品差异化。

为了推动芯片领域的创新,Arm还推出了Arm DesignStart项目,努力以最快、最简单、最低风险的方式来评估定制化芯片并将其商业化。它包括两个最受欢迎的嵌入式处理器(Cortex-M0和Cortex-M3)及其相应的系统IP,以及软件工具试用版、专家支持和丰富的资源,所有这些都无需预付授权费。

本文来源:电子工程专辑
作者:邵乐峰

围观 538

页面

订阅 RSS - AI