AI技术

AI技术(人工智能技术)是模拟和实现人类智能的计算技术,涉及机器学习、深度学习、计算机视觉、自然语言处理等多个领域。AI技术使得计算机和机器能够像人类一样进行感知、学习、推理和决策。通过不断分析和学习大量数据,AI技术可以在没有明确编程的情况下完成任务,例如图像识别、语音识别、自动驾驶等。AI技术在医疗、金融、教育、零售等多个行业中得到广泛应用,推动了各行各业的数字化转型。

2023年9月12日,中国上海——芯原股份 (芯原,股票代码:688521.SH) 今日宣布以色列人工智能 (AI) 芯片制造商Hailo在其Hailo-15™高性能AI视觉处理器产品系列中,采用了芯原的图像信号处理器 (ISP) IP ISP8000L-FS和视频处理器 (VPU) IP VC8000E。这两款被采用的IP使Hailo创新的AI解决方案能够在广泛的应用中得到高效的实施部署,并缩短相关上市时间和降低工程成本。

1.png

芯原的ISP8000L-FS IP专为先进且高性能的摄像头应用而设计,具备面向特定应用的硬件安全机制,并已通过ISO 26262和IEC 61508功能安全标准双认证,非常适合对功能安全要求严苛的汽车及工业应用。ISP8000L-FS为单路4K@60fps或双路4K@30fps摄像头提供高质量且可靠的视频处理,并支持高动态范围 (HDR) 处理和2D/3D降噪等。

芯原的VC8000E视频编码器为用于回放和机器学习的多个视频流提供紧凑的存储。其可选择的视频格式和色位深度,以及用户可控的编码参数,能够在不同应用场景实现最优的视频编码。

Hailo视觉处理器产品总监Ori Katz表示:“通过集成芯原的ISP IP和高效的视频编码器IP,我们的AI视觉处理器将使监控和工业应用变得更加智能、安全、可靠和准确。”

芯原执行副总裁,IP事业部总经理戴伟进表示:“监控市场竞争激烈,产品需要高效率地满足特定功能。芯原丰富且灵活的IP解决方案旨在高效解决低延时、低功耗和最小化DDR等挑战。我们很荣幸能与Hailo开展长期合作,共同赋能快速增长的AI监控摄像头市场及其他工业领域。”

关于Hailo

Hailo是一家专注于AI的芯片制造商,其正在研发能够在边缘设备上实现数据中心级性能的AI处理器。该处理器基于传统计算机架构进行创新,使智能设备能够以最低的功耗、尺寸和成本,实时执行复杂的深度学习任务,如目标检测和分割。公司产品适用于多种智能机器和设备,覆盖的行业包括汽车、安防、工业4.0和零售。了解更多信息,请访问:https://hailo.ai

关于芯原

芯原微电子 (上海) 股份有限公司 (芯原股份,688521.SH) 是一家依托自主半导体IP,为客户提供平台化、全方位、一站式芯片定制服务和半导体IP授权服务的企业。在芯原独有的芯片设计平台即服务 (Silicon Platform as a Service, SiPaaS) 经营模式下,通过基于公司自主半导体IP搭建的技术平台,芯原可在短时间内打造出从定义到测试封装完成的半导体产品,为包含芯片设计公司、半导体垂直整合制造商 (IDM)、系统厂商、大型互联网公司和云服务提供商在内的各种客户提供高效经济的半导体产品替代解决方案。我们的业务范围覆盖消费电子、汽车电子、计算机及周边、工业、数据处理、物联网等行业应用领域。

芯原拥有多种芯片定制解决方案,包括高清视频、高清音频及语音、车载娱乐系统处理器、视频监控、物联网连接、智慧可穿戴、高端应用处理器、视频转码加速、智能像素处理等;此外,芯原还拥有6类自主可控的处理器IP,分别为图形处理器IP、神经网络处理器IP、视频处理器IP、数字信号处理器IP、图像信号处理器IP和显示处理器IP,以及1,500多个数模混合IP和射频IP。

芯原成立于2001年,总部位于中国上海,在中国和美国设有7个设计研发中心,全球共有11个销售和客户支持办事处,目前员工已超过1,400人。

来源:芯原VeriSilicon

免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 15

2023年7月11日,慕尼黑上海电子展盛大开幕。STM32携物联网&智能互联等领域的世界级领先产品和智能解决方案精彩亮相,各种前沿技术和应用演示令ST展位人气爆棚。

1.png

2.png

3.jpg

STM32:以边缘AI解决方案引领嵌入式AI新时代

2023年7月12日,ST微控制器市场部门市场经理丁晓磊在本次慕尼黑上海电子展的国际嵌入式系统创新论坛发表演讲,介绍ST在边缘人工智能领域的相关产品和技术,并分享ST边缘人工智能工具,实际应用案例以及生态系统等重点内容,让更多人了解了ST如何帮助客户使用我们的边缘人工智能产品和解决方案最终实现项目落地。

嵌入式人工智能将成为主流

随着企业的业务部署场景和数据产生正在向端侧、边缘侧“迁移”,嵌入式AI也迎来了快速发展的机遇期。

在边缘侧设备中运行AI有很多优势:设备响应速度快、超低延时;降低数据传输量;更有效地保护隐私、增强信息安全;降低边缘侧设备的运行功耗;还可以降低推理成本以实现其他新的功能操作。因此,边缘AI 可以为很多领域提供价值,比如:工业预测性维护,从家电到工业机器的控制系统,以及物联网 (IoT)应用,如智慧城市, 智慧楼宇, 智慧家庭和工业自动化等。

STM32 边缘AI解决方案加快嵌入式AI部署

作为该趋势的主要推动者,ST已经在AI方面投入大量资源,旨在帮助开发人员在基于微控制器/微处理器(STM32系列)和传感器(MEMS、ToF…)的嵌入式系统上快速部署AI应用。

ST提供了一整套工具、设计支持和服务,包括软件工具、模型库、 软件参考,硬件芯片,开发板等,在STM32 MCU、MPU和智能传感器上实现边缘AI,通过简单、快速、低成本的方式为许多解决方案带来智能化,例如:预测性维护、物联网产品、智能楼宇、资产跟踪、人数统计等等。

通过嵌入式AI,轻松增强应用,开启全新应用可能性,解锁AI应用普惠之道。ST在帮助客户使用我们的边缘人工智能产品和解决方案最终实现项目落地方面,已取得了丰富的应用案例,涵盖智慧城市、智能家居、娱乐、玩具、智能楼宇、交通运输、智能办公、工业、家电等各个领域。

4.png

▲ 图:STM32在电弧检测中的应用

STM32 Cube.AI:一个工具,两个版本,轻松将AI部署到STM32

STM32Cube.AI 软件工具,是ST提供的嵌入式AI工具,支持全系列STM32芯片,致力于在STM32实现优异的AI性能,可在 STM32硬件上实现更加便捷的评估、转换和部署机器学习或深度神经网络。该工具集成在STM32Cube MCU开发环境中,可以优化和调整模型,直接部署在目标板上。

STM32Cube.AI工具的两个版本包括:STM32Cube.AI和STM32Cube.AI开发者云。

5.png

STM32Cube.AI是STM32嵌入式AI工具的PC版本,可帮助优化STM32项目中经过训练的AI模型的性能和内存占用。

STM32Cube.AI开发者云平台是STM32最新的线上 AI 服务器,可直接评估模型的在板推理时间。它可用来创建、优化和生成适用于STM32微控制器的人工智能,以及进行基准测试。无需安装任何软件,也无需评估板。

NanoEdge AI Studio软件工具是ST为无AI专业知识的嵌入式开发者提供等一体化机器学习方案,助用户从头开始做自己的AI解决方案。ST重写了从代数、机器学习和信号处理的各种算法,并且使这些算法能够在MCU内学习和推理。

ST为嵌入式AI准备了一站式网站资源: https://stm32ai.st.com/zh,客户可随时登陆获取相关信息。

STM32 DEMO 展示精选
在本次慕尼黑电子展上,ST展示了两个重磅边缘AI技术方案:边缘人工智能洗衣机DEMO:该Demo演示了AI如何通过提供更准确的衣服重量测量, 帮助经典的电机控制设备达到更高的节能与节水等级。由NanoEdge AI Studio 生成的AI模型通过对电流信号进行特征分析与学习,使测量精度相对传统算法得到大幅提升。

6.jpg


STM32最新一代高性能MPU ——STM32MP257。STM32MP2是ST新推出的第二代64位工业4.0级边缘AI MPU,通过SESIP 3级认证,配备工业应用接口和专用边缘 AI加速单元。该产品在继承了STM32生态系统基础上,采用了全新的处理器架构,提升了工业和物联网边缘应用的性能和安全性。

7.jpg


STM32展台还展出了更多丰富的产品技术和解决方案Demo,涵盖图形界面、无线连接、安全类应用以及基于STM32的各类开发板演示。

图形界面类Demo包括:基于STM32U599驱动大圆屏的集合DEMO,Qt图形界面演示 -基于Qt+openST Linux的图形方案,基于LVGL+ 裸机程序图形方案的LVGL图形界面演示,基于OpenST Linux + LVGL的图形界面演示。

STM32WBA无线连接 Demo: 演示了STM32WBA 灵活的主从一体和强大的多连接功能,在低功耗蓝牙常规点对点通信功能上,扩展实现低延时和低功耗的星状网络通信,满足客户低功耗蓝牙更广的网络覆盖需求。

安全类应用Demo:STMH573I-DK板TrustZone隔离保护和OTFDEC性能演示

板卡类Demo包括:STM32C031系列NUCLEO板,STM32C031系列Discovery板,STM32C011系列Discovery板。

8.png

9.png

10.jpg

11.jpg

12.jpg

13.jpg

来源:STM32

免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 187

ST开辟边缘AI专区,请点击访问 https://stm32ai.st.com/zh/ 

嵌入式AI无疑将是下一个“科技风口”。

随着企业的业务部署场景和数据产生正在向端侧、边缘侧“迁移”,嵌入式AI也迎来了快速发展的机遇期——将推理过程移到深度边缘计算会带来诸多优势,比如系统响应能力、用户隐私保护、降低连接成本和功耗。

作为该趋势的主要推动者,意法半导体已经在AI方面投入大量资源,旨在帮助开发人员在基于微控制器/微处理器(STM32系列)和传感器(MEMS、ToF…)的嵌入式系统上快速部署AI应用。

ST提供了一整套工具,在STM32 MCU、MPU和智能传感器上实现边缘AI,通过简单、快速、低成本的方式为许多解决方案带来智能化,例如:预测性维护、物联网产品、智能楼宇、资产跟踪、人数统计等等。

应用案例

通过嵌入式AI,轻松增强应用,开启全新应用可能性,解锁AI应用普惠之道。ST提供了丰富的应用案例,涵盖智慧城市、智能家居、娱乐、玩具、智能楼宇、交通运输、智能办公、工业、家电等各个领域。用户可以探索这些具有启发性的真实示例,利用ST的资源打造自己的应用。

1.png

▲ 点击图片,了解详情

产品与解决方案

意法半导体为用户提供多种面向STM32和智能传感器的AI解决方案,多种微型机器学习解决方案,用于将AI嵌入到微控制器、微处理器和智能传感器上。无论在机器学习上的专业水平如何,ST提供的广泛产品都能让用户找到适合的工具,满足任何边缘AI项目需求。

2.png

▲ 点击图片,了解详情

NanoEdge AI Studio是一款简单易用的桌面工具,可增添新的数据处理功能以增强产品。任何涉及异常值/异常检测、分类或使用回归技术预测未来状态的应用案例,都可以利用机器学习的强大功能。NEAI Studio可在数分钟内创建针对任何STM32进行了优化的定制库,用以分析信号,提升产品智能性。

利用NanoEdge AI Studio,用户可以轻松为嵌入式器件生成机器学习库,其中包含数以百万计的预构建模型。这意味着无需收集和记录大而复杂的数据集。用户的模型也可以在自己器件上进行自我训练。

STM32Cube.AI是一款免费工具,可帮助优化STM32项目中经过训练的AI模型的性能和内存占用。它支持TensorFlow™ Lite、Keras和ONNX格式。如果用户具备AI知识,STM32Cube.AI将自动优化经过训练的人工神经网络,并为STM32微控制器生成对应的C代码。

STM32Cube.AI开发者云平台

STM32Cube.AI开发者云平台是STM32Cube.AI的在线版本。它可用来创建、优化和生成适用于STM32微控制器的人工智能,以及进行基准测试。无需安装任何软件,也无需评估板。利用ST Board Farm,甚至能通过多个评估板远程测试算法的实际性能。

该工具有PC版,也可通过STM32Cube.AI开发者云直接在线使用。这款在线平台提供基准测试服务,可以远程评估一系列STM32板件上的AI性能。此外,还可以访问STM32 Model Zoo,其中汇集了大量经过优化的AI模型以及一些应用示例、训练脚本等。

对于使用STM32 MPU的开发人员而言,X-LINUX-AI是一个库和运行系统的集合,可简化基于OpenSTLinux的项目中经训练的AI模型的集成。ST针对使用OpenSTLinux的开发人员开发了一个完整的框架,让用户轻松集成AI模型。

ST提供多种微控制器、微处理器和智能传感器,用以开发优化了功耗、尺寸和成本的边缘AI应用。

3.png

▲ 点击图片,了解详情

丰富的资源

用户可以在此寻找了解嵌入式机器学习所需的一切资源,查找各解决方案有用内容的链接:NanoEdge AI Studio、STM32Cube.AI和X-LINUX-AI;查找集成具体示例的功能包,轻松启动项目。

4.png▲ 点击图片,了解详情

准备好了吗?速速登陆STM32 AI解决方案专区,找到最适合的工具,通过AI升级你的产品,让我们一起开启AI应用创新的崭新旅程!

来源:STM32

免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 77

本文重点解释如何使用硬件转换卷积神经网络(CNN),并特别介绍使用带CNN硬件加速器的人工智能(AI)微控制器在物联网(IoT)边缘实现人工智能应用所带来的好处。

AI应用通常需要消耗大量能源,并以服务器农场或昂贵的现场可编程门阵列(FPGA)为载体。AI应用的挑战在于提高计算能力的同时保持较低的功耗和成本。当前,强大的智能边缘计算正在使AI应用发生巨大转变。与传统的基于固件的AI计算相比,以基于硬件的卷积神经网络加速器为载体的智能边缘AI计算具备惊人的速度和强大的算力,开创了计算性能的新时代。这是因为智能边缘计算能够让传感器节点在本地自行决策而不受5G和Wi-Fi网络数据传输速率的限制,为实现之前难以落地的新兴技术和应用场景提供了助力。例如,在偏远地区,传感器级别的烟雾/火灾探测或环境数据分析已成为现实。这些应用支持电池供电,能够工作很多年的时间。本文通过探讨如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换来说明如何实现这些功能。

采用超低功耗卷积神经网络加速器的人工智能微控制器

MAX78000是一款有超低功耗CNN加速器的AI微控制器片上系统,能在资源受限的边缘设备或物联网应用中实现超低功耗的神经网络运算。其应用场景包括目标检测和分类、音频处理、声音分类、噪声消除、面部识别、基于心率等健康体征分析的时间序列数据处理、多传感器分析以及预测性维护。

图1为MAX78000的框图,其内核为带浮点运算单元的Arm® Cortex®-M4F内核,工作频率高达100 MHz。为了给应用提供足够的存储资源,MAX78000还配备了512 kB的闪存和128 kB的SRAM。该器件提供多个外部接口,例如I2C、SPI、UART,以及用于音频的I2S。此外,器件还集成了60 MHz的RISC-V内核,可以作为一个智能的直接存储器访问(DMA)引擎从/向各个外围模块和存储(包括闪存和SRAM)复制/粘贴数据。由于RISC-V内核可以对AI加速器所需的

1.png

图1.MAX78000的结构框图

传感器数据进行预处理,因而Arm内核在此期间可以处于深度睡眠模式。推理结果也可以通过中断触发Arm内核在主应用程序中执行操作,通过无线传输传感器数据或向用户发送通知。

具备用于执行卷积神经网络推理的专用硬件加速器单元是MAX7800x系列微控制器的一个显著特征,这使其有别于标准的微控制器架构。该CNN硬件加速器可以支持完整的CNN模型架构以及所有必需的参数(权重和偏置),配备了64个并行处理器和一个集成存储器。集成存储器中的442 kB用于存储参数,896 kB用于存储输入数据。不仅存储在SRAM中的模型和参数可以通过固件进行调整,网络也可以实时地通过固件进行调整。器件支持的模型权重为1位、2位、4位或8位,存储器支持容纳多达350万个参数。加速器的存储功能使得微控制器无需在连续的数学运算中每次都要通过总线获取相关参数——这样的方式通常伴有高延迟和高功耗,代价高昂。CNN加速器可以支持32层或64层的网络,具体层数取决于池化函数。每层的可编程图像输入/输出大小最多为1024 × 1024像素。

CNN硬件转换:功耗和推理速度比较

CNN推理是一项包含大型矩阵线性方程运算的复杂计算任务。Arm Cortex-M4F微控制器的强大能力可以使得CNN推理在嵌入式系统的固件上运行。但这种方式也有一些缺点:在微控制器上运行基于固件的CNN推理时,计算命令和相关参数都需要先从存储器中检索再被写回中间结果,这会造成大量功耗和时延。

表1对三种不同解决方案的CNN推理速度和功耗进行了比较。所用的模型基于手写数字识别训练集MNIST开发,可对视觉输入数据中的数字和字母进行分类以获得准确的输出结果。为确定功耗和速度的差异,本文对三种解决方案所需的推理时间进行了测量。

2.png

表1.手写数字识别的CNN推理时间和推理功耗,基于MNIST数据集

方案一使用集成Arm Cortex-M4F处理器的MAX32630进行推理,其工作频率为96 MHz。方案二使用MAX78000的CNN硬件加速器进行推理,其推理速度(即数据输入与结果输出之间的时间)比方案一加快了400倍,每次推理所需的能量也仅为方案一的1/1100。方案三对MNIST网络进行了低功耗优化,从而最大限度地降低了每次推理的功耗。虽然方案三推理结果的准确性从99.6%下降到了95.6%,但其速度快了很多,每次推理只需0.36 ms,推理功耗降也低至仅1.1 µW。两节AA碱性电池(总共6 Wh能量)可以支持应用进行500万次的推理(忽略系统其它部分的功耗)。

这些数据说明了硬件加速器的强大计算能力可以大大助益无法利用或连接到连续电源的应用场景。MAX78000就是这样一款产品,它支持边缘AI处理,无需大量功耗和网络连接,也无需冗长的推理时间。

MAX78000 AI微控制器的使用示例

MAX78000支持多种应用,下面本文围绕部分用例展开讨论。其中一个用例是设计一个电池供电的摄像头,需要能检测到视野中是否有猫出现,并能够通过数字输出打开猫门允许猫进入房屋。

图2为该设计的示例框图。在本设计中,RISC-V内核会定期开启图像传感器并将图像数据加载到MAX78000的CNN加速器中。如果系统判断猫出现的概率高于预设的阈值,则打开猫门然后回到待机模式。

3.png

图2.智能宠物门框图

开发环境和评估套件

边缘人工智能应用的开发过程可分为以下几个阶段:

第一阶段:AI——网络的定义、训练和量化

第二阶段:Arm固件——将第一阶段生成的网络和参数导入C/C++应用程序,创建并测试固件

开发过程的第一阶段涉及建模、训练和评估AI模型等环节。此阶段开发人员可以利用开源工具,例如 PyTorch 和 TensorFlow。MAX78000 的GitHub网页也提供全面的资源帮助用户在考虑其硬件规格的同时使用PyTorch构建和训练AI网络。网页也提供一些简单的AI网络和应用,例如面部识别(Face ID),供用户参考。

图3显示了采用PyTorch进行AI开发的典型过程。首先是对网络进行建模。必须注意的是,MAX7800x微控制器并非都配置了支持所有PyTorch数据操作的相关硬件。因此,必须首先将ADI公司提供的ai8x.py文件包含在项目中,该文件包含MAX78000所需的PyTorch模块和运算符。基于此可以进入下一步骤构建网络,使用训练数据对网络进行训练、评估和量化。这一步骤会生成一个检查点文件,其中包含用于最终综合过程的输入数据。最后一步是将网络及其参数转换为适合CNN硬件加速器的形式。值得注意的是,虽然任何PC(笔记本、服务器等)都可用于训练网络,但如果没有CUDA显卡,训练网络可能会花费很长的时间——即使对于小型网络来说也有可能需要几天甚至几周的时间。

开发过程的第二阶段是通过将数据写入CNN加速器并读取结果的机制来创建应用固件。第一阶段创建的文件通过#include指令集成到C/C++项目中。微控制器的开发环境可使用Eclipse IDE和GNU工具链等开源工具。ADI公司提供的软件开发套件(Maxim Micros SDK (Windows))也已经包含了所有开发必需的组件和配置,包括外设驱动以及示例说明,帮助用户简化应用开发过程。

4.png

图3.AI开发过程

成功通过编译和链接的项目可以在目标硬件上进行评估。ADI开发了两种不同的硬件平台可供选用:图4为 MAX78000EVKIT ,图5为 MAX78000FTHR ,一个稍小的评估板。每个评估板都配有一个VGA摄像头和一个麦克风。

5.png

图4.MAX78000评估套件

6.png

图5.MAX78000FTHR评估套件

结论

以前,AI应用必须以昂贵的服务器农场或FPGA为载体,并消耗大量能源。现在,借助带专用CNN加速器的MAX78000系列微控制器,AI应用依靠单组电池供电就可以长时间运行。MAX78000系列微控制器在能效和功耗方面的性能突破大大降低了边缘AI的实现难度,使得新型边缘AI应用的惊人潜力得以释放。

来源:亚德诺半导体

免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 49

意法半导体(ST)发布了STM32Cube.AI version 7.2.0,这是微控制器厂商推出的首款支持超高效深度量化神经网络的人工智能(AI)开发工具。

“意法半导体STM32Cube.AI

STM32Cube.AI 将预先训练好的神经网络转换成STM32微控制器(MCU)可以运行的C语言代码,是充分利用嵌入式产品有限的内存容量和算力开发尖端人工智能解决方案的重要工具,将人工智能从云端下移到边缘设备,能够为应用带来巨大的优势,其中包括原生隐私保护、确定性实时响应、更高的可靠性和更低的功耗。边缘人工智能还有助于优化云计算使用率。

现在,通过支持 qKeras 或 Larq 等深度量化输入格式,开发者可以进一步降低神经网络代码量、内存占用和响应延迟,这些优势让边缘人工智能释放出更多可能,包括经济型应用和成本敏感应用。因此,开发者可以创建边缘设备,例如,功能和性能先进的电池续航更长的自供电的物联网端点。从超低功耗 Arm Cortex-MCU® 微控制器,到利用 Cortex-M7M33 和 Cortex-A7 内核的高性能产品,意法半导体的STM32系列为开发者提供了许多适合的硬件平台。

STM32Cube.AI 7.2.0版还增加了对TensorFlow 2.9模型的支持,改进了内核性能,新加了scikit-learn机器学习算法和开放神经网络交换(ONNX)运算符。

有关 STM32Cube.AI v7.2.0的更多信息和免费下载,请访问 www.st.com

博客网址:https://blog.st.com/stm32cubeai-v72/

围观 8

据IoT Analytics数据,2022年活跃连接的物联网设备将达到144亿,2025年将增长至270亿。作为物联设备中必不可少的控制与计算的大脑,MCU也将迎来持续增长。Yole最新数据显示,2022年MCU的市场规模预计为200亿美元以上,并且将保持7.1%年复合增长率,于2027年达到300亿美元市场规模。

“Quarterly
Yole development Microcontroller
Quarterly Market Monitor Q1 2022

数百亿的市场背后,蕴含着持续不断的技术创新,从简单控制到IoT大脑,MCU一路高歌猛进,热度不减。

MCU的进化之路:从简单控制到IoT大脑

上世纪60年代末70年代初,微控制器(MCU)的产品雏形出现。早期均是多芯片的方案,从Intel的MCS-4(Micro-Computer Set-4)开始,明确了CPU、RAM、ROM和I/O这样的一个具有通用性的基本系统架构。随后出现的TMS1000,将这四个部分整合在一个芯片中,便成为了历史上第一个真正意义上的MCU。

“Lee
Lee Boysel 组装了一个8 位 AL1 的系统
证明它可以作为微处理器工作

通用型MCU的出现,繁荣了后面50年的电子设备创新,各种品类层出不穷。MCU的功能和规格也随着技术发展、应用需求提升而进化。进入到IoT时代之后,MCU的角色更是成为了端侧的计算中枢,成为端侧的物联生态构建的决定因素。

“连接现实与数字世界"
连接现实与数字世界

如上图所示,典型的IoT应用由感知、计算、执行、连接和安全几部分组成。传感器检测大量的环境信息,将物理世界的模拟信号转换为数字信号数据,传递给后端的MCU中进行计算分析和处理;MCU根据计算结果给出决策信号到后端的执行层;执行层根据MCU给出的动作指令完成相应动作;在整个过程中,必要的数据也会通过无线连接的方式上传到云端进行云AI运算或存储。

从单点的设备到联网的端侧设备,对于MCU提出了更高的要求。纵观整个MCU市场,呈现出以下的技术演进趋势。

第一是对于算力提升的要求,同时也要追求更高的能效比。高端MCU的主频已经提升到GHz级,采用双CPU核的架构,针对不同工作负载实现灵活调度,有的MCU将会集成专用的NPU核来执行特定的AI/ML工作。

第二是无线射频功能的集成,支持例如BLE、Sub-G、Zigbee等无线通信协议。通过内部集成无线功能,简化了系统整体设计,缩减PCB面积,帮助非射频专业开发者在产品中快速构建无线连接。

第三是具备图形交互界面(GUI)的能力。从传统的机械按键+段式LCD显示,到现在的语音控制、图形界面交互控制,人机交互效果越来越友好。MCU需要具备足够的图形处理能力(2.5D、3D图形化加速器),支持不同的接口和显示屏的底层驱动,具备足够丰富的图形库开发资源。

第四是对于安全(Security)的更高要求。设计者开始明确:安全应该是从硬件设计之初就开始考量,而不是仅仅存在于软件层面的安全设计。像Arm在Cortex-M的中引入了Trustzone硬件安全架构,通过硬件隔离实现安全的密钥信息存储。在Trustzone的安全设计基础上,不同MCU中还会集成一系列安全功能,譬如HSM、AES、硬件密钥、双组闪存等等。

第五是强调MCU的整体开发生态,在MCU芯片之上构建较为完整方案加速客户的上市时间。从前端的传感器连接,到后端的上云提供完整的开发链条;一些简单的设计可以通过低代码的图形化开发工具快速完成;提高同一MCU平台上不同型号之间的代码的复用性,缩减用户进行MCU升级时进行代码迁移的成本。

业界领先厂商已经向着上述几个技术趋势去发力,推出符合AIoT时代需求的新一代MCU产品。如下图所示,英飞凌计划将会在下一代MCU产品中提供包括连接、机器学习、人机接口、传感等功能,并提供包括软件硬件参考、安全、IoT云在内的全方案开发平台。

“英飞凌下一代MCU产品"
英飞凌下一代MCU产品

芯片即方案:一颗MCU满足全部IoT应用需求

IoT Analytics总结了2022年物联网的十大技术趋势,其中提到:完备5G基础设施将会加速IoT垂直领域应用发展;IoT将会改变制造业,并成为实现可持续发展的关键技术;云平台商和IT厂商开始竞逐边缘端平台市场;AI变得无处不在,隐形AI在各行各业释放潜能;AI的计算正在向着边缘端拓展,实现端侧部署。

“2022年物联网10大技术趋势"
2022年物联网10大技术趋势

端侧物联网应用需要选择什么样的MCU,才能迎合这样的IoT发展需求?对于开发者而言,在选型的阶段将传统的通用型MCU,替换成选择一颗IoT MCU,可谓整个开发工作已经成功了大半。

PSoC6是一款专门为IoT和消费类应用而生的双核无线MCU,是一款可编程嵌入式系统级芯片解决方案。

首先作为IoT Purpose的MCU,双核的架构设计是其一大特色,用户可以根据不同工作负载动态分配M4核和M0+核的工作任务,M4核专注于高性能计算处理,M0+核则专注于实时监控的工作,例如无线通讯协议的频繁监控采样和回应等工作。M0+作为M4的减压引擎,允许M4进入睡眠状态;这种双核架构实现了功耗和性能的完美平衡。

“”PSoC6
PSoC6 Block diagram

可编程模块是PSoC系列的另一特色,在CPU的外围有12个类似于PLD的可编辑的数字逻辑单元(UDB),这种硬件可编程模块为MCU提供了更高的灵活度,并且可以通过PSoC Creator软件来实现硬件编程,避免HDL的陡峭学习曲线。

无线功能的集成是作为IoT MCU的必要元素,PSoC6支持Bluetooth 5和WiFi无线连接方式,开发者还可以通过可编程硬件模块创建自定义的AFE,并支持产品最后一分钟的设计更改,最大限度地减少PCB的重新设计。英飞凌还提供了AIROC这一Wi-Fi+蓝牙Combo的单芯片方案,可以与PSoC6一起构成更完整的从端到云的无线开发生态。

“AIROC系列无线连接产品"
AIROC系列无线连接产品

在安全性方面,PSoC6内置了IoT安全模块,同时支持多个安全环境,无需额外外部安全存储器或元件,同时集成包括ECC²和AES³在内的多种行业标准密码算法。此外,PSoC64安全系列还经过了PSA二级安全认证,集成了硬件RoT和开箱即用的Amazon FreeRTOS。

“PSoC
PSoC 64 Standard Secure – AWS MCU — PSA Level2认证书

在开发生态方面,英飞凌提供了Modus Toolbox这一跨平台开发工具,提供工程的创建、编辑、编译、调试、烧写等功能,同时它还集成了实时操作系统、硬件外设驱动、无线连接的驱动库和众多的中间件。通过Modus Toolbox软件平台,结合英飞凌的传感器、无线连接、MCU、执行器完整的产品阵营,开发者可以轻松实现从传感器到云端的完整IoT应用开发。

“ModusToolbox跨平台开发工具"
ModusToolbox跨平台开发工具

以上几大特质融合在一起,让PSoC6成为了IoT开发的利器。以智能门锁应用为例,传统方案需要将指纹识别、语音识别、触控、无线连接等多个不同的芯片整合在一起构成一个系统方案;而现在一颗PSoC6就具备了这些功能,极大地简化了开发流程,缩减了整体成本并提高了安全性。

“PSoC6智能门锁应用实例"
PSoC6智能门锁应用实例

从边缘ML到TinyML,将AI的触角拓展到极致边缘端

纵观业界趋势,AI正逐渐向边缘端发展。机器学习(下文简称ML)的训练一般会在云端进行,而ML的推理会越来越多在设备端进行。在边缘端进行ML的处理,可以提高本地的设备响应,减少云端上传的数据带宽,提高本地数据的安全性。当前在一些MCU中也会添加特定的加速器,通过专用算力来进行ML的运算,从而释放CPU的通用算力。

“机器学习从云端向边缘端迁移"
机器学习从云端向边缘端迁移

与智能手机等边缘设备不同,在MCU为计算中心的端侧设备上进行机器学习面临着不小的挑战。这种更边缘侧的机器学习应用需要在本地有限的计算资源上,满足超低功耗的要求(mW级乃至更低)。为了区分,业界将这种更为极致的边缘侧ML称为TinyML。TinyML对接的传感器数据的种类相比边缘ML设备要复杂的多,因此数据的标签化处理工作也更复杂;很多云端和边缘ML上成熟的算法模型因为体积太大,往往也不能直接在TinyML应用中进行部署;软件和硬件的配合也需要有更成熟的方案。大部分IoT设备的开发者并不具备资深的AI/ML的知识,帮助这些开发者越过陡峭的学习曲线,避免繁杂的算法、软件工作,快速实现TinyML的部署,才会迎来IoT应用的新一轮爆发。

为了解决TinyML的应用难题,英飞凌与SensiML携手一起构建了从云端训练、到嵌入式软件开发、再到最终硬件部署的一套完整的边缘侧机器学习应用方案。

“PSoC6,XENSIV和SensiML解决方案"
PSoC6,XENSIV和SensiML解决方案

SensiML致力于为极致边缘的IoT设备构建准确的AI传感器算法。英飞凌的XENSIV传感器捕获原始的传感数据信息;透过SensiML Analystics Toolkit平台的Data Capture Lab进行数据的收集和标签化处理;Aanlystics Studio进行数据清理,生成数据特征和适合PSoC6平台的嵌入式AI模型;Knowledge Pack进行数据特征提取和模型优化,优化好的模型可以在PSoC6的平台进行部署。Test App可以将实时数据导入进行在线模型验证,同时也可以在设备上进行模型验证。

“SensiML工作流程"
SensiML工作流程

SensiML的Analystics Toolkit完善后导出ML模型,通过ModusToolbox将其部署到PSoC6和XENSIV的硬件平台上。

英飞凌与SensiML一起构建了云端训练、嵌入式软件开发和ML硬件部署的垂直开发生态,开发者即使并不是AI/ML的算法研究者,也可以在XENSIV和PSoC6平台上快速构建边缘ML的应用,推进边缘ML的部署。

“用于机器学习前景的ModusToolbox"
用于机器学习前景的ModusToolbox

结语

从通用MCU到IoT MCU,再到具备TinyML特质的IoT MCU,微控制器的发展与整个消费电子设备的演进浪潮休戚相关。单品MCU已经不足以满足当下IoT开发者的需求,选择一颗MCU即选择了一个完整的开发生态。英飞凌构建了包括感知、计算、执行、连接和安全在内的完整的物联网生态,并且通过与SensiML的合作帮助实现物联网的边缘AI部署。

“英飞凌完整一站式物联网解决方案"
英飞凌完整一站式物联网解决方案

当物联网端侧开始拥抱AI,一个全新的IoT局面即将开启。在下一波百亿物联设备的背后,离不开英飞凌的MCU及其全面IoT解决方案的参与。

来源:英飞凌
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 65

据21ic报道,IoT Analytics数据显示,2022年活跃连接的物联网设备将达到144亿,2025年将增长至270亿[i]。作为物联设备中必不可少的控制与计算的大脑,MCU也将迎来持续增长。Yole最新数据显示,2022年MCU的市场规模预计为200亿美元以上,并且将保持7.1%年复合增长率,于2027年达到300亿美元[ii]市场规模。

数百亿的市场背后,蕴含着持续不断的技术创新,从简单控制到IoT大脑,MCU一路高歌猛进,热度不减。

MCU的进化之路:从简单控制到IoT大脑

上世纪60年代末70年代初,微控制器(MCU)的产品雏形出现。早期均是多芯片的方案,从Intel的MCS-4(Micro-Computer Set-4)开始,明确了CPU、RAM、ROM和I/O这样的一个具有通用性的基本系统架构。随后出现的TMS1000,将这四个部分整合在一个芯片中,便成为了历史上第一个真正意义上的MCU。

通用型MCU的出现,繁荣了后面50年的电子设备创新,各种品类层出不穷。MCU的功能和规格也随着技术发展、应用需求提升而进化。进入到IoT时代之后,MCU的角色更是成为了端侧的计算中枢,成为端侧的物联生态构建的决定因素。

“”图:连接现实与数字世界"
图:连接现实与数字世界

如上图所示,典型的IoT应用由感知、计算、执行、连接和安全几部分组成。传感器检测大量的环境信息,将物理世界的模拟信号转换为数字信号数据,传递给后端的MCU中进行计算分析和处理;MCU根据计算结果给出决策信号到后端的执行层;执行层根据MCU给出的动作指令完成相应动作;在整个过程中,必要的数据也会通过无线连接的方式上传到云端进行云AI运算或存储。

从单点的设备到联网的端侧设备,对于MCU提出了更高的要求。纵观整个MCU市场,呈现出以下的技术演进趋势。

第一是对于算力提升的要求,同时也要追求更高的能效比。高端MCU的主频已经提升到GHz级,采用双CPU核的架构,针对不同工作负载实现灵活调度,有的MCU将会集成专用的NPU核来执行特定的AI/ML工作。

第二是无线射频功能的集成,支持例如BLE、Sub-G、Zigbee等无线通信协议。通过内部集成无线功能,简化了系统整体设计,缩减PCB面积,帮助非射频专业开发者在产品中快速构建无线连接。

第三是具备图形交互界面(GUI)的能力。从传统的机械按键+段式LCD显示,到现在的语音控制、图形界面交互控制,人机交互效果越来越友好。MCU需要具备足够的图形处理能力(2.5D、3D图形化加速器),支持不同的接口和显示屏的底层驱动,具备足够丰富的图形库开发资源。

第四是对于安全(Security)的更高要求。设计者开始明确:安全应该是从硬件设计之初就开始考量,而不是仅仅存在于软件层面的安全设计。像Arm在Cortex-M的中引入了Trustzone硬件安全架构,通过硬件隔离实现安全的密钥信息存储。在Trustzone的安全设计基础上,不同MCU中还会集成一系列安全功能,譬如HSM、AES、硬件密钥、双组闪存等等。

第五是强调MCU的整体开发生态,在MCU芯片之上构建较为完整方案加速客户的上市时间。从前端的传感器连接,到后端的上云提供完整的开发链条;一些简单的设计可以通过低代码的图形化开发工具快速完成;提高同一MCU平台上不同型号之间的代码的复用性,缩减用户进行MCU升级时进行代码迁移的成本。

业界领先厂商已经向着上述几个技术趋势去发力,推出符合AIoT时代需求的新一代MCU产品。如下图所示,英飞凌计划将会在下一代MCU产品中提供包括连接、机器学习、人机接口、传感等功能,并提供包括软件硬件参考、安全、IoT云在内的全方案开发平台。

芯片即方案:一颗MCU满足全部IoT应用需求

IoT Analytics总结了2022年物联网的十大技术趋势[iii],其中提到:完备5G基础设施将会加速IoT垂直领域应用发展;IoT将会改变制造业,并成为实现可持续发展的关键技术;云平台商和IT厂商开始竞逐边缘端平台市场;AI变得无处不在,隐形AI在各行各业释放潜能;AI的计算正在向着边缘端拓展,实现端侧部署。

端侧物联网应用需要选择什么样的MCU,才能迎合这样的IoT发展需求?对于开发者而言,在选型的阶段将传统的通用型MCU,替换成选择一颗IoT MCU,可谓整个开发工作已经成功了大半。

PSoC6是一款专门为IoT和消费类应用而生的双核无线MCU,是一款可编程嵌入式系统级芯片解决方案。

首先作为IoT Purpose的MCU,双核的架构设计是其一大特色,用户可以根据不同工作负载动态分配M4核和M0+核的工作任务,M4核专注于高性能计算处理,M0+核则专注于实时监控的工作,例如无线通讯协议的频繁监控采样和回应等工作。M0+作为M4的减压引擎,允许M4进入睡眠状态;这种双核架构实现了功耗和性能的完美平衡。

可编程模块是PSoC系列的另一特色,在CPU的外围有12个类似于PLD的可编辑的数字逻辑单元(UDB),这种硬件可编程模块为MCU提供了更高的灵活度,并且可以通过PSoC Creator软件来实现硬件编程,避免HDL的陡峭学习曲线。

无线功能的集成是作为IoT MCU的必要元素,PSoC6支持Bluetooth 5和WiFi无线连接方式,开发者还可以通过可编程硬件模块创建自定义的AFE,并支持产品最后一分钟的设计更改,最大限度地减少PCB的重新设计。英飞凌还提供了AIROC这一Wi-Fi+蓝牙Combo的单芯片方案,可以与PSoC6一起构成更完整的从端到云的无线开发生态。

在安全性方面,PSoC6内置了IoT安全模块,同时支持多个安全环境,无需额外外部安全存储器或元件,同时集成包括ECC²和AES³在内的多种行业标准密码算法。此外,PSoC64安全系列还经过了PSA二级安全认证,集成了硬件RoT和开箱即用的Amazon FreeRTOS。

在开发生态方面,英飞凌提供了Modus Toolbox这一跨平台开发工具,提供工程的创建、编辑、编译、调试、烧写等功能,同时它还集成了实时操作系统、硬件外设驱动、无线连接的驱动库和众多的中间件。通过Modus Toolbox软件平台,结合英飞凌的传感器、无线连接、MCU、执行器完整的产品阵营,开发者可以轻松实现从传感器到云端的完整IoT应用开发。

“图:ModusToolbox跨平台开发工具"
图:ModusToolbox跨平台开发工具

以上几大特质融合在一起,让PSoC6成为了IoT开发的利器。以智能门锁应用为例,传统方案需要将指纹识别、语音识别、触控、无线连接等多个不同的芯片整合在一起构成一个系统方案;而现在一颗PSoC6就具备了这些功能,极大地简化了开发流程,缩减了整体成本并提高了安全性。

从边缘ML到TinyML,将AI的触角拓展到极致边缘端

纵观业界趋势,AI正逐渐向边缘端发展。机器学习(下文简称ML)的训练一般会在云端进行,而ML的推理会越来越多在设备端进行。在边缘端进行ML的处理,可以提高本地的设备响应,减少云端上传的数据带宽,提高本地数据的安全性。当前在一些MCU中也会添加特定的加速器,通过专用算力来进行ML的运算,从而释放CPU的通用算力。

与智能手机等边缘设备不同,在MCU为计算中心的端侧设备上进行机器学习面临着不小的挑战。这种更边缘侧的机器学习应用需要在本地有限的计算资源上,满足超低功耗的要求(mW级乃至更低)。为了区分,业界将这种更为极致的边缘侧ML称为TinyML。TinyML对接的传感器数据的种类相比边缘ML设备要复杂的多,因此数据的标签化处理工作也更复杂;很多云端和边缘ML上成熟的算法模型因为体积太大,往往也不能直接在TinyML应用中进行部署;软件和硬件的配合也需要有更成熟的方案。大部分IoT设备的开发者并不具备资深的AI/ML的知识,帮助这些开发者越过陡峭的学习曲线,避免繁杂的算法、软件工作,快速实现TinyML的部署,才会迎来IoT应用的新一轮爆发。

为了解决TinyML的应用难题,英飞凌与SensiML携手一起构建了从云端训练、到嵌入式软件开发、再到最终硬件部署的一套完整的边缘侧机器学习应用方案。

“图:PSoC6,XENSIV和SensiML解决方案"
图:PSoC6,XENSIV和SensiML解决方案

SensiML致力于为极致边缘的IoT设备构建准确的AI传感器算法。英飞凌的XENSIV传感器捕获原始的传感数据信息;透过SensiML Analystics Toolkit平台的Data Capture Lab进行数据的收集和标签化处理;Aanlystics Studio进行数据清理,生成数据特征和适合PSoC6平台的嵌入式AI模型;Knowledge Pack进行数据特征提取和模型优化,优化好的模型可以在PSoC6的平台进行部署。Test App可以将实时数据导入进行在线模型验证,同时也可以在设备上进行模型验证。

SensiML的Analystics Toolkit完善后导出ML模型,通过ModusToolbox将其部署到PSoC6和XENSIV的硬件平台上。

英飞凌与SensiML一起构建了云端训练、嵌入式软件开发和ML硬件部署的垂直开发生态,开发者即使并不是AI/ML的算法研究者,也可以在XENSIV和PSoC6平台上快速构建边缘ML的应用,推进边缘ML的部署。

结语

从通用MCU到IoT MCU,再到具备TinyML特质的IoT MCU,微控制器的发展与整个消费电子设备的演进浪潮休戚相关。单品MCU已经不足以满足当下IoT开发者的需求,选择一颗MCU即选择了一个完整的开发生态。英飞凌构建了包括感知、计算、执行、连接和安全在内的完整的物联网生态,并且通过与SensiML的合作帮助实现物联网的边缘AI部署。

当物联网端侧开始拥抱AI,一个全新的IoT局面即将开启。在下一波百亿物联设备的背后,离不开英飞凌的MCU及其全面IoT解决方案的参与。

[i] 《Number of connected IoT devices growing 18% to 14.4 billion globally》https://iot-analytics.com/number-connected-iot-devices/
[ii] 《Yole Développement - MCU Quarterly Market Monitor Q1 2022 - Product Brochure》https://s3.i-micronews.com/uploads/2022/04/Microcontroller-Quarterly-Market-Monitor-Q1-2022-Product-Brochure.pdf
[iii]《10 IoT technology trends to watch in 2022》https://iot-analytics.com/iot-technology-trends/

来源:美通社
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 21

一场新冠肺炎疫情导致的“缺芯”问题,使人们对MCU的关注度大幅提升。同时也进一步增加了MCU的应用范围,从家电、工控、照明等传统领域,到AIoT、智能汽车、智慧医疗等新兴市场,几乎无处不在。MCU技术的发展、产品的开发,亦与市场应用密不可分。芯片架构的优化、接口功能的丰富,都离不开应用需求端的推动。那么,当前MCU的热点应用市场有哪些?

Silicon Labs(亦称“芯科科技”)公司MCU产品经理Eric Bauereis先生近期获邀参加中国电子报(CENA)的MCU专题采访,在2022年开年之际通过问答形式的访谈为行业人士带来MCU行业的市场发展及技术趋势的最新解析。Bauereis表示,智能家居、智能制造、智能驾驶等物联网热门应用以及人工智能(AI)迅速发展之下,其设备开发各有着不同的要求,未来在越来越多的应用中需要将无线连接功能整合到MCU中;而MCU上也需要多个内核来处理专用功能,进而带动芯片设计和工艺改良的需求。

MCU市场需求强劲

CENA:您对于MCU市场的整体走势怎样看待?供需结构有何变化?

Bauereis:尽管MCU需求的增长可能略低于高端处理器需求的增长,但 MCU厂商面临的供应链挑战更大,因为MCU产品通常采用扩产空间较小且提升产能动力更弱的成熟工艺。我们预计市场对 MCU的需求将继续增长,同时供应紧张还将持续一段时间。

技术呈多元化发展

CENA:人工智能、智能制造、智能驾驶等热点应用对MCU产品性能需求有何特点?MCU的技术发展有何变化趋势?

Bauereis:人工智能、智能制造、智能驾驶等热门应用有着不同的要求,因此技术发展的趋势不仅仅是局限于几个领域。一般来说,越来越多的应用需要充分利用无线连接和分布式处理。无线连接可以是独立的,但在越来越多的应用中需要将无线连接功能整合到MCU中。同样,随着处理需求的增加,分布式方法变得越来越普遍。这可能意味着一个网络中有多个MCU,也可能意味着MCU上有多个内核来处理专用功能。

MCU站上风口差异化成国内企业的制胜机会

CENA:您认为中国MCU企业这两年发展情况怎么样?目前的主要困难是什么?

Bauereis:过去几年,中国MCU公司不断发展壮大。在大多数情况下,他们在供应链运营方面面临着与所有MCU公司相同的问题;同时中国MCU厂商也面临与贸易争端相关的问题。大多数厂商继续关注成本和客户服务,或供应链方面的问题。有厂商开始通过改进工具和软件以获得更好的设计体验,从解决项目的总成本和维持长期合作关系等方面入手。一些公司通过为特定市场提供特定的性能或功能来实现差异化,但这些市场通常是在亚太地区。

完整文章内容已刊载于CENA网站,原文链接:http://www.cena.com.cn/industrynews/20211227/114614.html

来源:STM32单片机
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 99

成功案例

行走在田园和山间,欣赏美好景色和呼吸新鲜空气时,常常可以见到用于灌溉的机井。你可能除了小心,并没有更多留意它们。然而你可曾想到,它们与人工智能和微控制器也会关联在一起?

虽然人工智能早已在身边,但是在“原味”的微控制器应用场景中如何落地深度学习技术,人们还一直还在摸索。这次,小编就给还在上下求索的小伙伴们讲一个让“微控制器+AI”成功落地的小故事。

深井中强大的边缘抄表器

故事的主角是由北京市水务局和北京鸿成鑫鼎智能科技有限公司联合开发的“边缘抄表器”模块,这个模块将率先用于机械水表的智能抄表。我们先上靓照——

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

左边那个戴在水表上面浅蓝色的“帽子”就是它了,右边的图则是它的“裸照”。这个边缘智能抄表模块采用恩智浦i.MX RT1020跨界单片机读取摄像头并运行基于深度学习的“SlimSSD”检测算法,直接扣在水表表盘上就可以拍照并且识别表盘的读数。

这个模块非常强大,可以用在很多场合,除了安装在家里,还可以“落地”到主干水管上——

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

甚至还不只满足于 “落地”,更要“落井”——

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

方案广受好评,获得发明专利

这款模块经过近两年的开发和严格测试,在成果鉴定中得到了肯定的评价:

“边缘AI抄表器通讯畅通率达95%以上,平均识别准确率为83.42%,其中8块表识别准确率在98%以上,在性能方面取得了不错的成绩;自动辅助数据矫正和人工审核矫正率100%,数据真实可用;耗电量按1天1条数据功耗折算,可平均工作4425.6天(约12.1年),已大大超过了8年的设计寿命。”

更可喜的是,经过改进模型,最新的讯畅通率达96%!

下图是使用边缘AI抄表器检测出识别区域,识别出读数,并把识别结果和原始图片中检测区域一并上传的效果,一次无线传输的数据量仅几百字节(而发送全图要几万字节)。

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

北京水务局还计划在北京市东水西调管理处、门头沟区70多处机井、甘家口大大厦等地进行应用推广试点。实现乡村水井、耕地和林区机井、供水管道网络处无人值守的用水计量,实现了无需替换原有水表,就实现了自动抄表的功能。

更加可喜的是,这个边缘AI抄表器的设计经过多次反复设计、打版,边缘AI抄表器的适用性越来越强,并且得到了含金量很高的发明专利。

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

解析方案的精髓:深度学习

接下来,小编就给大家讲讲作为这个方案最“精髓”的部分——深度学习。

最让小编赞叹的是,这个抄表模块使用了比图像分类更先进的物体检测(Object Detection, OD)技术,实现了无需调整参数就能自动适应新的各种表盘。而直到最近,我们看到其他一些厂商才刚刚提出类似的基于深度学习技术,但使用手写数字分类的参考模型——注意,是刚刚才提出——而且还是使用深度学习计算机视觉中最基础的“图像分类”技术。

图像分类和物体检测的关键区别是啥呢,小编画了一个草图来说明(原谅小编的美术是数学老师教的)。

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

最重要的是分类模型把图像当作整体,给出一个类别(确切地说是预测各类别的概率并选最大的那一类);而检测模型要干两个事,既要找出图像中各个物体的位置,也要判断找出的物体是什么类别。不过,虽然看起来检测比分类强大得太多了,但神奇的是他们共享的技术却高度相似——特别地,在检测模型的组成部分中,最重要的被称为“骨干”(backbone)的关键部分,就是来自于分类模型的卷积神经网络部分,它用来提取出抽象概括的图像特征。

可以认为分类模型在卷积神经网络的基础上追加分类器(常常是单层全连接层,又叫感知机,就够了);而检测模型抽取卷积神经网络的多处中间结果和最终输出,并添加检测颈和检测头的相关结构,只是比分类器要复杂得多。骨干网络的训练一般也是借助分类模型来实现。

回到AI抄表的应用,如果用分类模型,就要为每种规格的表盘人工设定分类区域,每个数字一个,麻烦得很;但是检测模型就能自动找出在哪里读数,读几个数,显然是方便多了。而在这个具体的专利中,使用了一种单发多框检测器(Single Shot Multibox Detector, SSD)模型的优化版本——发明人称为 “SlimSSD”,从名字上可以看出它是一种更“苗条(Slim)”的SSD——发明人还使用注意力机制来更准确地帮助裁剪模型。

有关SSD的详情后面咱们再接着聊,这里不妨先给出某一个高度精简后类SSD模型的“长相”。

“深井中的深度学习:MCU+AI,让“不可能”的田园机井智能抄表成为可能!"

图中那个醒目的三段显示的竖长条就是这个模型的骨干,来自一个简洁的分类模型中卷积子网络的部分。下部的几支“并联”的结构用于各自检测和分类输入图片中不同大小的物体,最终汇总成左、右两支,分别给出检测出的物体坐标信息和物体类别信息。(查看有关SSD模型的论文,请点击这里>>)。

小贴士

在物体检测领域,最近的Yolo系列模型也非常有生命力,还有其他的一些超轻量级物体检测模型,如NanoDet,YoloX-nano, PP-PicoDet等正如同雨后春笋般的涌现。物体检测技术因为实用、方便,它们的超轻量化研究十分活跃。

SSD和很多其它深度神经网络一样,都非常的灵活,它的构成可以根据应用要求的不同像搭积木一样魔改和优化,对算力要求甚至可以有上百倍的优化,使得微控制器也可以承载。小编通过查阅专利号“CN113255650B”,发现客户优化的这个SlimSSD,把官方的SSD模型瘦身到仅有原版SSD模型的0.5%大小,而仍然保持99%的精度!这是什么概念?形象地说,就是原来一个200斤的壮汉能背200斤的麻袋,现在是一个1斤的小人能背198斤的麻袋!嗯,差不多就是葫芦娃中的大红娃。

别让算力限制了你的想象

这个成功的故事也深深地震撼了小编,感觉自己对深度学习和实际应用的认知不足,限制了自己的想象力。

有感于很多人觉得“算力小于0.5TOPS都干不了啥事”,而这个智能边缘抄表方案是在理论上有效算力仅有0.0003TOPS的i.MX RT1020平台上完成的,这可是1600多倍啊!并且是无人值守的环境下仅靠电池就能一天抄一次连续工作12年以上!

看到这里,小编想用一句话来表达内心的感叹:

深度学习 => 创奇迹

深度学习 + NXP微控制器 => 再创奇迹

除了模型本身的先进性,更难能可贵的是这个模块的主要开发团队北京鸿成鑫鼎科技公司在两年前就开始了项目,而NXP用于微控制器的eIQ机器学习套件是半年前才发布,他们仅凭我们的技术支持就独自完成了这样一个看似不可能,甚至我们也没敢想的奇迹!

其中,令小编印象最深的,就是北京鸿成鑫鼎的总裁廉永康先生,三年前小编与他在一次MCU+AI研讨会中相识,当时小编对该项目的想法是——可以使用基础的图像分类“试一试”,而廉永康先生却毅然启动了这个项目,以极大的胆识采用了更先进的物体检测方法。要知道,3年前别说是基础的图像分类,就算是深度学习在微控制器上的基础软件也几乎还是空白,Arm CMSIS-NN也才发布几个月。

写在最后的话

上面的小故事告一段落,但完整的故事还在继续。小编了解到,北京鸿成鑫鼎科技公司没有就此止步,而是在此基础上,进一步开发出了可以用在水表以外的像灭火器压力计、液晶显示仪表上的改版,让微控制器和人工智能的结合给人民的安居乐业保驾护航!在这其中,恩智浦的高品质长寿命微控制器也将继续履行承担计算平台的光荣使命。

最后,小编想说,深度学习的抻缩性远比我们想象要大得多,只要根据应用的实际要求和硬件平台的特点合理优化和化简模型,有很多想都不敢想的应用都可以变成现实。尤其是不要小看了微控制器的潜力。

微控制器虽然算力比PC或应用处理器弱得多,但是它上面的负担开销轻得更多,再加上深度学习模型这种极大的伸缩性,有太多的“不可能”实际上是可能的,就等您延续奇迹的故事。奇迹多了,也就变得平凡了。

本文作者为恩智浦半导体系统工程师宋岩。感谢北京鸿成鑫鼎智能科技有限公司为本文提供的相关图片,文中部分数据和信息参考自以下这篇文章>>

来源:NXP客栈
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 62

近日,西人马科技发布了FT1700芯片,这是西人马推出的首款一体式AI SoC芯片。

FT1700的性能特点

FT1700芯片基于异构多核处理器架构,集成了4个CPU和4个DSP,即8个核心处理器,同时还集成了一个实时处理器,可用于实时系统控制;视觉AI DSP可用于高性能机器视觉计算阵列,另外还有4K图像/视频编解码,以及高性能有线/无线数据接口可用于传输实时音频/视频流。

“△FT1700芯片实拍图"
△FT1700芯片实拍图

FT1700芯片可提供0.5T~1T的算力,可用于工业检测、边缘计算、机器视觉、智能制造、自动数据采集系统(ADAS)、工业机器人控制、行业无人机等多种AI应用场景。

FT1700参考平台包含系统核心板(SOM)和定制化开发平台(CDP)两大部分。SOM是FT1700的最小系统核心板,提供高稳定性算力评估环境、丰富的外设接口验证能力,尤其适合市场推广期的平台评估、强调快速迭代的整机原型产品验证开发。客户可以聚焦具体业务接口设计,不再拘泥于繁杂的SOC硬件最小系统设计细节,以便加速项目开发进度。SOM包含4x16 bit DDR4 4Gb、8GB eMMC,CDP支持千兆以太网、USB3.0、TypeC、HDMI串口、3.5mm耳机接口等。

FT1700的潜在应用市场

SoC芯片技术的一大关键优势是可以降低系统板上因信号在多个芯片之间进出带来的延迟而导致的性能局限,提高了系统的可靠性,降低了系统成本。FT1700是专为物流仓储、智能监控、边缘计算、工业检测、ADAS/DMS、汽车行驶记录仪、工业无人机等多种应用而设计的一体式SoC芯片。FT1700芯片利用多核心的并行计算优势,有着超高的计算能力,可快速识别图像、图形、视频和音频,然后做出判断。

例如现在的物流仓储运输系统普遍使用计算机系统记录、跟踪货物的流通情况,面对成千上万的大小货物,扫码登记录入信息是唯一可行的方法。FT1700芯片支持各种代码类型,包括条形码和二维码,该芯片还可以识别摄像机拍摄到的外包装上的字符和数字。

FT1700芯片还可用于无人停车场管理。在车辆进出停车场时,监控摄像机对车辆的牌照进行图像采集,系统对采集到的图像进行预处理,FT1700芯片对车牌字符进行分割后识别,然后输出识别结果,包括车牌号码和归属地、车牌颜色等,帮助系统跟踪车辆在停车场内的停留位置和时间。

行业无人机对电力、石油、天然气管线的空中巡检已经成为这类野外作业的普遍模式,有效克服了地形复杂、距离远和人员不宜到达的缺点。无人机携带的高速摄像机可以在快速的飞行过程中连续拍摄管线的高清视频。基于特殊的算法,FT1700芯片可以快速识别管线图像,判别出管线是否存在故障以及故障的类型。

西人马发力SoC芯片

纵观近年来的芯片技术发展趋势,未来的芯片技术是向着智能化方向发展,SoC芯片就是智能芯片的代表之一。西人马依据行业方向和市场不断变化的痛点需求,以及西人马自身的客户特点,公司在AI SoC芯片方面加大研发投入力度,今年首先发布了FT1700芯片。

目前无论是国际还是国内市场,SoC芯片研发领域都呈现出群雄并起的态势。以IDM模式经营的西人马作为SoC芯片领域内的“新同学”,将主要根植于自身在MEMS、ASIC、MCU芯片上的深厚根基,发挥自己的后发优势,为全球客户提供全新的SoC产品系列。

在今年上半年,西人马发布了两款MCU芯片CU0102B和CU0801A。CU0102B芯片采用0.18um CMOS BCD工艺制造,该款芯片与压电传感器如压电加速度计、压力以及MEMS压电麦克风等一起集成使用,即可以生产出稳定可靠的IEPE传感器。CU0801A芯片专为智能传感器应用、PLC、电源监控、报警系统、手持式设备、数据记录应用、马达控制和PC外围设备等多种工业、消费类应用场景,适合传感器、工业控制、电源监控等微小信号采集的应用场景。CU0102B和CU0801A再加上此次发布的FT1700,西人马在不到五个月的时间内连续发布了三款芯片产品,这显示出西人马强劲的芯片开发实力。

西人马为客户提供了“端-边-管-云-用”的一体化解决方案

“端”指的是数据采集层,涉及芯片、传感器,西人马目前拥有MEMS、ASIC、MCU等先进芯片,可以覆盖高端加速度计、压力、红外、气体、金属颗粒、信号处理、AI等产品。研发的传感器系列有压电式加速度传感器、高温传感器、微型传感器、温振一体传感器、模态测试传感器、电容式加速度传感器、压力传感器等。

“边”指的是边缘计算层,是连接端、小边、大边、云的采集器和边缘计算服务器,采用了业内领先的模块化设计思路和CPU+FPGA+IO的整体架构,结合西人马的主控芯片MCU、AI实现算力可扩展、自主可控的数据采集、智能控制的边缘设备,适用于工业领域的实时采集、处理、智能运算等需求。

“管”为基础通信能力,西人马和通信运营商深度合作,部署5G+MEC平台,实现控制面和用户面分离,通过网络切片提供各种等级SLA。

“云”指的是塔斯云,是西人马全面感知的智能大脑,通过监测端侧海量时序时空数据,形成多维信息融合的智能决策图谱。塔斯云通过开源、合作的方式,应用学术界和各类行业界的前沿技术,配合工具化、模块化、行业套件化的产品设计,并借助丰富的模型库、传感器库、知识库、算法库和前端组件库,助力各垂直领域快速上线、赋能增效和产业升级。

“用”指的是行业应用,西人马一体化解决方案可以应用于民用航空、轨道交通、风电、钢铁、电力、汽车和消费类电子领域。

来源: 西人马FATRI
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 26

页面

订阅 RSS - AI技术