无线

随着全球IoT市场终端节点连接数持续暴增,诸多创新产品和方案不断涌现,比如今年掀起的AI热,便为IoT设备的智能化浪潮再度点燃了一把火。不过万物互联的核心始终是物联网络,端侧AI尤其是GenAI的落地还有很长的一段路要走,反而是借助云端算力实现的智能化更能先一步满足用户的需求,通过IoT网络接入云端网络因此成为首选方案。更快、更便捷的入网组网方式,依然是IoT产品长久的追求,尤其是摆脱线材束缚的无线IoT网络。

Wi-Fi、蓝牙仍是物联网连接数主力增长点

作为无线通信网络核心组件的通信芯片,无线MCU起到了推动物联网连接数增长的关键作用,诸如5G、Wi-Fi、蓝牙和UWB芯片等,也都在各自适用的领域不断推陈出新。以Wi-Fi为例,Wi-Fi 6已经逐渐替代Wi-Fi 4成为主流。根据Wi-Fi联盟2022年公开的数据,其市场份额在面世三年后就超过了50%,其主要应用分布在智能家居/家电、工业控制等有线电源供电的设备上;蓝牙BLE协议升级至5.2、5.3版本,常用于电池供电的设备上,诸如可穿戴设备等。相比仅支持单一无线技术的无线MCU,基于通用标准的多协议栈无线MCU更受市场青睐。

根据Mordor Intelligence 预计,全球智能家居市场预计将从 2021年的791.3亿美元增长至 2027 年的 3139.5 亿美元,维持25.3%的年复合增长率。全球可穿戴市场规模更是将从2023年的1864.8亿美元增长至2028年的4194.4亿美元,维持17.6%的年复合增长率。推动这两大市场实现可观增长的因素包括互联网用户的数量增加、智能设备的普及以及全新无线通信技术的兴起等。

1.png

从IDC预测的数据来看,2022年中国物联网连接数规模已达56亿个,预计2026年将增加至102.5亿个,年复合增长率高达18%。从已统计的连接方式的占比来看,排名最靠前的是固网和Wi-Fi、蜂窝网络以及低功耗连接。其中Wi-Fi在智能家居、工厂等稳定环境持续发挥主要连接能力,蓝牙之类的低功耗连接则依靠可穿戴设备上继续大量出货,IDC预计智能家居加可穿戴设备的物联网连接数将于2026年达到59.8亿个。正因为IoT设备上量迅速,借助单一无线前端模块的方式需要更多的开发成本,无线MCU就成了IoT设备快速部署无线连接的首选。

RISC-V核心成为无线MCU新宠

根据Precedence Research统计,32位MCU贡献了2022年主要的MCU市场份额,占比高达41%,预计未来十年以11.7%的年复合增长率继续扩张。至于在内核的选择上,除了传统的Arm核心和自研核心,基于RISC-V架构打造的产品也以迅雷不及掩耳之势席卷了无线MCU市场。

以兆易创新为例,作为国内32位MCU产品的领军厂商,兆易创新旗下产品以基于ARM Cortex-M系列内核的MCU为主。但早在2019年,兆易创新就实现了全球首家推出并量产基于RISC-V内核32位通用MCU产品GD32VF103系列。GD32V作为兆易创新旗下的RISC-V MCU产品线,首发产品GD32VF103凭借先进的处理器微架构,在提供高性能的同时兼具低功耗,并且能够跟已有的GD32 Arm内核MCU兼容,令跨内核的移植体验更加自如,引起了业界的广泛兴趣,典型应用于工业控制、传感器网络、智能硬件等市场。

面对客户日益增长的无线连接需求,兆易创新持续布局GD32W系列无线MCU产品线。2021年以首发产品GD32W515系列正式进军无线IoT市场。2023年10月,兆易创新融合了RISC-V和射频领域积累的设计经验,推出了GD32VW553这一支持Wi-Fi 6和蓝牙5.2的无线双模MCU。

2.png

GD32VW553可以发挥开源架构的灵活设计和成本优势,其RISC-V内核性能对标Arm Cortex-M4,主频高达160MHz。还集成了高级DSP硬件加速器、双精度浮点单元FPU与指令扩展接口等资源。搭配高达4MB Flash和320KB SRAM,GD32VW553能为复杂的AIoT应用提供计算性能和开发自由度。

在射频设计上,GD32VW553集成了2.4GHz的Wi-Fi 6射频模块,采用IEEE 802.11ax标准并向下兼容IEEE 802.11b/g/n标准,支持OFDMA和MU-MIMO等Wi-Fi特性。GD32VW553的Wi-Fi 6传输数据率相比Wi-Fi 4提高了60%,即便是在高密度的设备接入下也能实现高效率低延迟的通信。蓝牙方面,GD32VW553片上还集成了BLE 5.2射频模块辅助配网,不仅支持2Mbps的高速数据模式,也兼容125K/500Kbps多种速率,辅助轻松建立起局域网络连接。

GD32VW553在维持优异射频性能和高处理性能的同时,依旧保证了芯片的低功耗。这都得益于出色的微架构设计,实现了极佳的能效比。不仅如此,GD32VW553还能够灵活地调度设备休眠和唤醒时间,针对电池续航且需要长续航的IoT设备和智能硬件而言,有效提高了节能效率。

1、开启智慧家电下一轮升级

对于已经开始换代升级进程的智慧家电来说,除了需要优异的射频性能外,也需要具备一定的边缘处理性能,比如冰箱、洗衣机和空调等大型白电。过去的白电只需要实现简单的无线收发,所以简单的8位MCU即可满足设计需求。

面对日益复杂的通信协议、实时交互性和大数据量的落地场景,比如Wi-Fi与蓝牙双模无线通信,往往就会用到性能较高的32位无线MCU。基于持续优化的处理器微架构,GD32VW553提供了动态分支预测、指令预取缓冲区和I-Cache等特性。

通过4MB Flash、320KB SRAM以及32KB可配置I-Cache,GD32VW553的CPU处理效率得到了大幅提升。更重要的是,不少白电选择了无线与有线结合的设计,在支持远程遥控的同时,也支持有线控制,比如空调控制面板和物理按键等。GD32VW553配置了丰富的通用有线借口,包含3个U(S)ART、2个I2C、1个SPI和1个四线制QSPI,以及多达29个可编程GPIO管脚,足以满足白电产品的有线接入设计需求。

在保证智慧家电产品功能丰富兼备优异连接性的同时,如何降低产品的待机功耗以及工作功耗也是设计中必须关注的问题。低功耗正是GD32VW553设计之初最注重的问题之一,其电源管理单元提供了六种省电模式,包括睡眠模式、深度睡眠模式、待机模式、SRAM睡眠模式、Wi-Fi睡眠模式和BLE睡眠模式,应用开发者可以灵活配置省电模式,从而显著降低电源能耗。

2、智能家居所需的双模射频性能

对于任何局域无线通信技术而言,智能家居都是极具挑战的复杂场景之一。如今单个家庭拥有的智能设备数量急剧增加,且这些设备往往都具备一定的无线通信能力。与此同时,支持Wi-Fi+蓝牙的双模芯片正在逐渐普及,其不仅赋予了终端产品实现无线连接的灵活性,也优化了终端产品的配网体验。尤其是在智能家居领域。用户通过智能手机与设备蓝牙互联,就能实现Wi-Fi配网,为智能终端省去了交互面板,有助于实现设备的小型化和无感化连接。

Wi-Fi+蓝牙双模的设计也为智能家居设备提供无线连接的稳定性,尤其是在智能家居上云成为趋势的当下。即便智能家居云端服务器出现问题、家庭网络断开或Wi-Fi断联的情况下,用户依然可以通过蓝牙连接控制设备。

由于Wi-Fi与蓝牙多数情况都工作在2.4GHz频段,在设备数量众多的情况下很容易产生信号干扰,也对无线MCU的射频性能和抗干扰能力提出了更大的挑战。因此,兆易创新为GD32VW553加入了支持数据传输仲裁(PTA)机制来实现Wi-Fi与蓝牙的无线共存,这样就大幅降低了Wi-Fi与蓝牙产生的同频干扰,同时确保两种无线信号的接受稳定性。

从根据蓝牙SIG的数据库来看,GD32VW553已经完成了BLE 5.3的认证。除了对Wi-Fi和蓝牙的支持外,GD32VW553也加入了对Matter的支持,进一步提升智能家居系统的兼容性和互操作性。

随着各大智能家居设备、平台厂商以及智能手机厂商的跟进,今年可以说是Matter设备开始腾飞的一年。根据ABI Research的预测,到2030年,Matter设备的出货量将达到55亿台。在行业趋势下,智能家居设备OEM纷纷开启了新一轮的产品迭代,无线MCU对Matter的支持可以有效缩短Matter产品的开发周期。

为此,GD32VW553也符合国际组织连接标准联盟(CSA)开发的Matter over Wi-Fi应用标准,基于GD32VW553打造的Matter设备可以做到无缝互联。不仅如此,随着Matter规范更新至1.2版本,支持的设备也已经扩展到了空调、冰箱、洗碗机、洗衣机等白电,未来随着协议的继续更新,必将覆盖所有智能家居设备。

3、追求安全可靠性的工业IoT

随着工业4.0的发展,工业AIoT、工业数字孪生等新型应用场景也都逐渐浮现出来,这些应用往往都需要更快更稳定的网络传输。与此同时,为了补全传统设备与工业基础设施与机器学习、边缘计算等新技术的差异,连接技术的革新首当其冲。无线设备在工业场景中的数量也在逐年倍增,智能全无线已经成了不少新落成工厂的目标。根据HMS统计,2023年工业网络市场增长最快的就是无线网络,年增长率高达到22%,占比最高的正是WLAN和蓝牙。

3.jpg

而工业场景新增的IoT连接终端,也不再全是电源供电的固定设备。在诸如工业相机、AGV、手持终端等移动设备上,工业无线网络的稳定性、安全性才是重中之重。

在GD32VW553支持的多种附加功能中,就具备高动态范围自动增益控制(AGC),根据信号大小来自动调整增益,从而为工业场景中不同的无线信号传输负载增强信号质量。如此一来无论是AGV的控制信号,还是手持终端的识别信号,都能保证以最大动态范围传输。

由于无线传输的广播特性,窃听攻击和干扰相较其他通信方式而言更容易实现。在工业OT与IT网络的当下,一旦终端出现漏洞,整个云管理平台下的所有设备都会暴露在攻击面下。为此,工业无线通信芯片必须从物理和协议层面都杜绝攻击的发生。

得益于对Wi-Fi 6的支持,GD32VW553可以充分利用针对个人和企业网络的WPA3加密技术,对工业Wi-Fi网络的访问做到完备的保护。其次,GD32VW553也支持DES、三重DES、AES和哈希算法的硬件加解密,也可通过集成的公钥加密处理器(PKCAU)完成公钥加解密。针对运行环境更加复杂且需要安全可靠性的工业场景,比如高温环境下的工业照明和插座面板等,兆易创新也提供了GD32VW553的宽温型号(-40℃~105℃)供客户选择。

4、无线模组厂商的跟进

对于无线芯片厂商来说,无线模组生态的构建同样非常重要。无线模组将无线芯片、天线、处理器、存储器和接口等部件集成在同一个小型设备内,可以方便地直接嵌入到各种系统或设备中,从而实现产品的无线连接。

自兆易创新推出Wi-Fi MCU不久后,国内模组厂商已经迅速跟进,诸如欧智通、威尔健、微喇智能等厂商均发布了基于兆易创新无线MCU的无线模组产品。此次发布的GD32VW553也不例外,微喇智能使用该MCU设计的Wi-Fi 6+BLE 5.2双模无线模组WKV553-A已经迅速上架。

4.png

该模组以GD32VW553HMQ7作为主控,在尽可能节省产品PCB空间的同时,兼具了GD32VW553各种优势特性,将芯片所有可用IO拉出,充分保证了MCU发挥全部处理性能,也保证了射频信号的最优。

无线模组可用于各种物联网设备和嵌入式系统中,比如智能家居产品、智慧城市解决方案、智能工业设备和汽车电子等。在高速率和低延时的射频性能下,该Wi-Fi+BLE无线模组可用于传输传感器数据,实现实时监测和数据采集。凭借小型化、低功耗和高集成度的优势,有效降低了物联网设备的开发难度,推动了智能网联技术的发展。

GD32VW553作为兆易创新在RISC-V和无线IoT两大领域深厚技术积累的结晶,凭借出色的边缘处理和连接特性,在12月量产供货后,势必会给IoT市场带来一个新的低开发预算选择。在IoT产品迅速迭代落地的当下,借助双模无线芯片缩短开发周期,实现最快的TTM速度,也会给设备厂商带来额外的竞争优势。

来源:GD32MCU

免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理(联系邮箱:cathy@eetrend.com)。

围观 105

支持蓝牙低功耗 (LE) 的设计可让设备长时间处于非工作状态,因此,您可能需要选用具有超低功耗睡眠模式的高能效无线微控制器 (MCU),这对于优化整体系统性能至关重要。

设计人员应当仔细选择采用蓝牙低功耗技术的 MCU 的规格,确定超低功耗的真正含义。这不是对照数据表确定最低电流消耗值,针对应用寻求最佳解决方案并非易事。睡眠模式(又称低功耗模式或休眠模式)不仅意味着低电流,还需考虑以下几个因素:

  • 电流消耗

  • 唤醒源

  • 保留内存

  • 唤醒时间

  • 能够读取外部传感器

电流消耗

睡眠模式下电流消耗少当然很好;并且越少越好,但设计人员还必须考虑睡眠模式期间的可用功能。为实现睡眠模式下最低功耗,除了硬件需要单个唤醒源,所有可以关闭的硬件模块均应关闭。通常,通用输入/输出 (GPIO) 唤醒源可提供最低睡眠电流,但将 GPIO 作为唯一的唤醒源是否适合您的应用?如果适合,才能获得最低睡眠电流。

唤醒源

如果 GPIO 唤醒源不足以满足应用需求,则应深入研究睡眠模式的功能,寻找其他可用的唤醒源。您的应用可能需要同时具有多个唤醒源,例如定时器、模拟比较器或其他子系统事件。然而,在睡眠模式下启用的功能会增加电流消耗,设计人员应当审慎思考,通观全局,而非仅关注数据表中的最低睡眠电流值。

保留内存

保留内存在睡眠模式下也会消耗大量电流。保留内存并非始终必需,仅在应用有任务调度程序、实时操作系统 (RTOS) 或保持无线连接时为必要选项。需要保留多少内存具体取决于应用需求、无线堆栈和硬件设计。我们可以从硬件设计入手,如果内存电路设计为全部保留或不保留,将会为大量未使用的内存供电。如果粒度太低,比如 1 KB,硬件电源开关的数量就会很多,导致漏电功耗增加。一般而言,实践中常采用 8 KB,这一粒度可满足需求,且复杂性低,漏电较少。无线堆栈应尽量减少保持连接时所需的内存,且应用设计也应限制保留内存量。

唤醒时间

唤醒时间(从睡眠模式中唤醒所需的时间)与保留内存密切相关。当然,应用必须尽快启动并响应,但唤醒时间也会影响功耗。唤醒时间越短,就可以更快地完成处理工作并再次进入睡眠状态。保留内存能提高唤醒速度,但也会增加睡眠电流。因此,设计人员应理性判断,洞见本质,了解应用的关键细节。

最后,除了睡眠和唤醒,睡眠模式还能拥有其他功能吗?大多数无线 MCU 可以在睡眠模式下使用实时时钟 (RTC),有些则提供了更令人兴奋的选项——读取外部传感器!如果您的应用需要监测传感器,并且一直保持睡眠模式,仅在传感器达到阈值时才会唤醒。目前有些无线 MCU 能够满足这种需求。

安森美(onsemi)的无线 MCU RSL15 支持超低睡眠电流和调制解调器蓝牙应用的配置要求,具备 GPIO 唤醒、睡眠智能感应模式读取传感器等功能,兼具超低功耗和设计灵活性,可满足您的应用需求。图 1 显示 RSL15 的最低睡眠电流仅为 36 nA。

1.png

图 1:RSL15 MCU 数据表

硬件和固件系统设计工程师须全面透彻地了解睡眠模式,才能打造出高效的超低功耗无线 MCU,仔细考虑电流消耗、唤醒源、内存保留、唤醒时间和传感器监测功能,为互联设备、智能家居、智能建筑、智能工业、智能城市等应用定制最佳系统设计方案。

了解更多有关 RSL15 和安森美其他MCU(支持安森美蓝牙低功耗规范提供的功能)的信息。

围观 41

近日,2018年中国电子展西部第一展——中国(成都)电子信息博览会已圆满落幕。该展会以“芯芯向蓉,数聚成都”为主题,汇聚了800家展商,吸引了20000名专业观众。

展会期间,世强元件电商携手全球领先的高性能、模拟密集型、混合信号IC创新的行业领导者Silicon Labs带来了MCU、无线、时钟的最新产品。

新产品包括,EFM8™8位MCU, EFM32™32位MCU,支持多协议适用于智能家居的无线SoC芯片,支持DSSS的Sub-G/2.4GHz专有协议方案、适用于智能表计的无线芯片及业界超低抖动、可定制任意多路频点的XO/VCXO振荡器等等。这些产品可广泛应用于汽车电子、物联网、个人医疗设备、工业控制、通讯模块等领域。

在本次展会现场,为方便工程师,世强元件电商的展位上没有任何的纸质资料,据世强元件电商的工作人员介绍,展会现场展示的所有产品资料,现场观众只要扫描海报二维码,资料就会发送到指定邮箱。并且,除了参展的相关资料,世强元件电商平台线上还提供更加全面的后续创新服务。

比如对于工程师查看产品资料,进行选型的需求,世强元件电商目前已汇集了Silicon Labs、RENESAS、ROGERS、EPSON等数百顶级厂牌的技术资料,包括选型指南、数据手册、测试报告、白皮书、应用笔记、开发环境等,工程师可一站式查看下载其研发所需的资料。

而对于工程师的技术难题,世强元件电商开辟了“技术难题”模块,除了世强元件电商及来自原厂的百余位的技术专家,在线上24小时为工程师答疑解惑外,还有世强辐射到的所有工程师都可以帮助解答。

而在采购环节上,世强元件电商同时支持大批量的询价采购和小批量快速采购,小批量现货采购,付款后2-5个工作日即可到货,而大批量采购保障正品低价及稳定供货。

正是通过这些,工程师可以在世强元件电商,享受更全面的一站式创新服务体验。

围观 385

新型Si5381/82/86时钟器件可替代无线接入网络中的多个时钟芯片和VCXO

Silicon Labs(亦称“芯科科技”,NASDAQ:SLAB)日前针对4.5G和基于以太网的通用公共无线电接口(eCPRI)无线应用,推出了全新的系列高性能、多通道抖动衰减时钟产品。新型Si5381/82/86系列时钟产品利用Silicon Labs经过验证的DSPLL技术提供先进的时钟解决方案,在单芯片中集成了4G/LTE和以太网时钟。这些高集成度的时钟产品可替代通常在高要求应用中所需的多个时钟器件和压控振荡器(VCXO),这些应用包括小型蜂窝网络、分布式天线系统(DAS)、μ-BTS,基带单元(BBU)和前传/回传设备等。

Silicon Labs发布业界首款支持4G / LTE和以太网的无线时钟

在接下来的几年中,服务提供商将通过部署小型蜂窝网络、超小型蜂窝网络、DAS、μ-BTS和回传设备来构建5G网络。通过增加室外网络覆盖和容量,改善室内信号接收,和现有的4G/LTE网络相辅相成。随着运营商逐渐转移到使用基于以太网的eCPRI前传网络来增加基带单元与远程无线电头之间的前传连接的容量,他们开始在网络边缘部署异构网络(HetNet)设备。而成本、功耗和尺寸限制成为HetNet设备硬件设计人员要面临的特殊挑战。通过在单个IC中结合4G/LTE和以太网时钟,Si538x系列产品大大简化了HetNet设备中的时钟生成,可提供与竞争方案相比功耗降低55%、占板面积减小70%的突破性解决方案。

Silicon Labs时钟产品高级营销总监James Wilson表示:“HetNet和eCPRI设备部署正在为5G铺平道路。通过选择Silicon Labs的Si538x无线时钟,无线系统设计人员可以将小型蜂窝网络、DAS、μ-BTS以及其他设计的成本、功耗和复杂性降至最低。Silicon Labs基于DSPLL的Si538x时钟是业界首款将低相噪4G/LTE时钟和低抖动以太网时钟结合在一起的时钟IC。我们很兴奋地看到无线客户采用我们的技术来优化HetNet设计,以加速4.5G网络的部署。”

Si538x时钟专门针对为HetNet设备提供参考时钟进行了优化。小型蜂窝网络和DAS设备是“一体化”基站,需要为4G/LTE收发器、基带处理和以太网/Wi-Fi连接提供参考时钟。Si5386时钟的低相噪DSPLL以紧凑的单芯片设计取代了分立时钟IC、VCXO和环路滤波器件。此外,Si5386时钟集成了五个MultiSynth小数时钟合成器,可以非常方便的提供以太网和基带参考时钟。这种现代化的单PLL+ MultiSynth架构设计,相对于依赖多个PLL和分立振荡器的解决方案,提供了卓越的可靠性。

基带单元具有复杂的时钟要求,需要多个独立时钟域,包括用于CPRI到远程无线电头连接的时钟域,用于基于以太网的eCPRI前传网络(包括eCPRI)的时钟域和用于本地基带处理的通用时钟的时钟域。Si5381/82时钟集成了一个高速、低相噪DSPLL用于支持高达3GHz的无线频率,并采用多个灵活的任意频率DSPLL来提供以太网和通用时钟。和Si5386一样,Si5381/82器件不需要外部VCXO或振荡器。所有PLL器件都集成在片内,并采用了节省空间的9mm x 9mm 64-LGA封装。此外,Si538x时钟支持无缝切换功能,这使得系统设计人员能够轻松地在不同的时钟输入间切换并最大限度的减少输出相位瞬变,确保下游PLL保持锁定状态。和Silicon Labs的其他时钟产品一样,Si538x器件可以使用Silicon Labs灵活的ClockBuilder Pro软件进行配置和定制。

价格和供货

Si5381/82/86无线时钟现已提供样片,计划于12月份批量生产。样片可以在两周内发货,量产产品在四周内发货。Si5386在一万片订购数量下,单价为6.77美元起。Silicon Labs新型Si5381E-E-EVB、Si5382E-E-EVB和Si5386E-E-EVB开发套件能够提供快速、方便的器件评估,零售价格为299美元。有关Si5381/82/86时钟系列产品的更多信息或订购样片和开发套件,请浏览网站:
www.silabs.com/wireless-jitter-attenuators

围观 413

摘要: 设计了一种基于CortexA8和H.264编码的无线视频监控系统。系统包含视频监控PC客户端、无线传输网络和视频采集端。视频采集端采用基于ARM CortexA8内核的SP5V210芯片作为中央处理器,并构建Linux系统对视频图像进行采集、H.264编码和无线传输,已编码压缩的图像数据通过实时传输协议RTP传输到视频监控PC客户端进行解码和显示。该系统具有组建快捷、灵活性强等特点,能够稳定地运行且满足设计要求,在安防系统和紧急救援系统中有着很好的应用前景。

引言

随着现代科学技术和居民生活水平的提高,以及人们对安全问题的日益重视,视频监控系统在紧急救援和安防系统中得到了广泛应用。无线技术的发展解决了传统有线的布线复杂,网络结构不灵活等技术问题。无线技术对于特殊监控环境有着很好的亲和性,且移动通信网和无线局域网的快速建设为视频监控系统的设计提供了技术支持,其中无线局域网WLAN的组建快捷、灵活性强、受环境限制小、方便网络重组和扩展。

国际电信联盟对于视频编码压缩制定了H.264/AVC视频编码压缩标准,H.264加强了对 IP、移动网络的丢包、误码情况处理,保证了在不同信道中进行传输的视频图像质量。随着H.264编码技术的提出与应用,大大提高了视频数据的压缩率,减少传输时所用的网络带宽,并促进了无线网络的发展,同时H.264编码的网络传输提取层设计,可以使视频数据在不同网络里进行传输且适应性良好。

嵌入式芯片功能的增强和开源Linux操作系统的成熟使得基于嵌入式系统的视频监控系统具有更好的稳定性和实时性,结合无线网络技术使系统具有成本低、组网便捷和实际应用性强等优点,可以广泛地应用于民用与工用安防系统。

本文将WiFi技术、图像压缩技术与基于嵌入式视频监控系统相结合,采用嵌入式ARM CortexA8高性能处理器芯片SP5V210和Linux操作系统,将COMS摄像头采集的视频流经H.264编码压缩后由无线WiFi网络传输到监控端,通过PC监控端的FFMPEG模块和SDL播放模块完成监控视频数据的实时显示。

1 视频监控系统框图设计

系统采用ARM CortexA8内核的SP5V210芯片作为视频采集端的中央处理器,该处理器运行稳定时主频可达1 GHz,具有MMU功能、64位内部总线架构、可扩展的DRAM内存接口、1 G的NAND Flash和DDR2、3通道I2C总线接口、4个USB接口、4路 HSMMC/SD/SDIO/接口等。同时其内部集成MFC视频编解码器,支持多格式编解码包含MPEG4/H.264编码,且CortexA8处理器应用NEON信号处理扩展指令集提高了H.264和MP3等媒体编码效率。工作流程为:首先OV3640摄像头采集图像信息并通过I2C总线与SP5V210处理器通信,处理器通过内部集成的MFC多格式编码器将图像信息进行H.264编码压缩,视频图像再基于USB无线网卡构建的WLAN网络和实时传输协议RTP发送给视频监控PC客户端,由客户端进行解码和显示。系统的软件结构包含应用层程序、设备驱动程序和嵌入式Linux操作系统。系统工作时会先执行Bootloader引导加载程序进行硬件设备初始化并引导加载Linux 2.6.35内核,再加载设备驱动程序(包括摄像头驱动、WiFi驱动、Nand Flash驱动等),最后为用户区应用层程序的执行,其中包含视频采集模块、H.264编解码模块、WiFi无线传输模块和RTP实时传输协议模块。系统整体框图如图 1所示。

图1 系统整体框图
图1 系统整体框图

2 视频采集端和无线传输设计

2.1 视频数据采集

在视频采集端,原始视频数据的采集是通过OV3640图像传感器模块完成,该摄像头支持300万像素并支持输出YUV420图像数据,SP5V210处理器通过I2C总线访问与修改OV3640内部寄存器来控制摄像头功能。

在Linux操作系统中,通过应用Video4Linux(V4L)来实现视频采集设备的各种功能。在Linux内核中定义了视频设备的统一接口V4L,由统一的API接口库函数控制视频设备各种功能。其中,V4L2是V4L的升级版,具有更好的兼容性和扩展性。V4L2采集视频信息的流程为:通过openVideo()函数先打开视频采集设备文件;初始化设备信息包括获得视频设备支持的功能属性和设置其采集视频格式;向内核申请帧缓存内存空间,并将其映射到用户空间,开始发送采集信号;读取视频缓存帧数据,可以根据需求进行数据的处理;发送采集停止信号,释放内存映射,关闭视频设备。数据采集流程如图2所示。

图2 数据采集流程
图2 数据采集流程

2.2 H.264编码压缩

视频图像画面用 4:2:0格式存储,每帧的数据大小为1.2 Mb,对于25~30 fps的实时硬件编码,其码流将达到了 30~36 Mbps,无线网络带宽和存储空间难以承受,需采用H.264压缩编码技术将大数据量的视频数据进行压缩。SP5V210内部集成了多格式的视频编解码器(MFC),支持H.264的硬件编解码且速度最高可达到30 fps,可以很好地满足系统对视频数据压缩和处理速度的要求。采用MFC硬件编解码模块完成视频数据编解码的程序时,既可以调用MFC编解码中的API库函数,又可以采用MFC中的I/O接口函数,MFC编解码中的底层驱动接口封装实际上就是API库函数。SP5V210的MFC编解码软件架构如图3所示。

图3 MFC编解码软件架构
图3 MFC编解码软件架构

通过硬件编解码模块 MFC的API接口函数实现 H.264视频编码压缩,具体的流程为:

① 建立H.264编码器实例,设置MFC编码器的参数并对其进行初始化设置。

② 获取编码器的输入缓冲区地址,读取视频数据,发送到编码器的输入缓冲空间。

③ 进行H.264压缩编码,获取编码后的输出缓冲区,并对编码数据进行相应处理。

④ 判断编码是否结束,结束则释放编码器的资源,编码器关闭,否则进入第2步循环运行。

2.3 视频数据无线传输

系统的传输网络是通过USB无线网卡构建无线局域网的方式完成,利用无线的信道来传输编码后的视频数据,WiFi(Wireless Fidelity)通信网络标准分别支持IEEE 802.11g、IEEE 802.11b和IEEE 802.11a协议,具有传输速率高(11~54 Mbps)、安装便捷和受环境限制小等优点。

USB无线网卡通过USB接口与SP5V210通信,需要完成USB设备、无线网卡设备的驱动和移植,无线网卡设备驱动为应用层提供协议栈接口,在下层通过USB总线访问无线网卡设备寄存器。无线网卡在Linux操作系统上的移植,先要下载对应驱动工具包并将其复制到根目录下完成驱动,通过串口工具输入scanwifi进行搜索无线网络信号,再通过startwifi命令打开无线网络并建立连接。

无线网络传输视频数据时,必须要遵循约定的网络传输协议。一般常用的网络传输协议有RTP/RTCP、TCP/IP和UDP ,本系统中视频数据的传输是基于 RTP/RTCP实时传输协议的,RTP/RTCP协议实现的开源库有JRTPLIB、LIBRTP、ORTP等,本文采用基于C++的开源库JRTPLIB,支持Linux和Windows操作系统平台,且操作便捷,封装性好。为了实现基于RTP/RTCP实时传输协议的视频数据传输,先要完成JRTPLIB的交叉编译和到Linux系统平台移植等工作。

采用JRTPLIB开源库中的接口函数完成无线视频数据传输的具体流程如下:

① 初始化并生成RTP会话。采用JRTPLIB开源库传输视频数据前,要先创建一个RTPSession实例用来代表RPT会话,并利用RTPSession Params对象设置时间戳的单位,再调用RTPSession实例中的成员函数Create()生成RPT会话并同时初始化。

② 设置接收端目标地址。在生成RTP会话后传输视频数据前,首先调用RTPSession实例中的成员函数AddDestination()来设置数据发送时的目标地址(接收端地址)。在RTP协议中可以根据需要设置指定多个目标地址于同一会话中,其中函数SetDefaultPayloadType(96)用于设定RPT负载H.264编码数据; voidClearDestinations()用于清除所有的地址;函数DeleteDestination()为删除指定地址。

③ 发送视频数据到目标地址。设置好数据发送目标地址之后,使用 RTPSession实例中成员函数SendPacket(),将编码好的H.264数据包发送到一个或多个目标地址。由于每一帧视频的数据量较大,RTP数据包以分片传输方式传输以保证视频数据的可靠性。SendPacket()函数中,mark为1代表该RTP包为完整包,为0代表分割包。

④ RTP会话结束。调用BYEDestroy()函数结束此次RTP会话。

3 视频监控PC客户端设计

接收端将分片数据包重新组装成为帧,得到H.264格式的压缩编码视频,交付给视频监控PC客户端处理,这里视频监控PC客户端的主要功能为视频数据的重新解压、播放显示和处理等。系统采用FFMPEG方案和SDL技术来实现监控视频数据的解压和显示。

3.1 视频数据解压

FFMPEG是一套开源的音频流和视频流方案,支持音视频编解码等功能,为免费软件。FFMPEG方案的开发与使用是在Linux系统平台下的,但随着发展现已支持Windows等多种操作系统。FFMPEG方案支持H.264、MPEG4、3GP等多种常见格式的视频编解码,功能全面且性能强大。系统采用FFMPEG方案主要完成客户端对已编码视频数据的接收和视频解码工作。

在Windows下安装好FFMPEG开源库开发环境,再进行视频数据的解码工作,其中FFMPEG库中的主要功能函数和数据结构有:
① AVCodecContext()结构体,用于编码器参数信息描述,如视频的采样率、视频的宽和高等信息;
② AVPacket()结构体,缓冲解码前视频数据;
③ AVFrame()结构体,存储视频数据解码后的数据帧;
④ av_resister_all()功能函数,用来注册全部解码器;
⑤ avcodec_find_decoder(),搜索解码器,如H.264格式解码器;
⑥ avcodec_decode_video(),解码接收到的视频帧;
⑦ avcodec_alloc_frame(),新建AVFrame结构体。

3.2 视频播放显示

SDL是一个跨平台的多媒体开源开发库,支持多媒体播放器、游戏开发等,可以运行在多种操作系统上(如Windows、Linux等),兼容性良好。SDL开源库包含音频、视频和视窗管理等多个子系统。本文采用SDL开源库中的视频子系统,其主要功能是将FFMPEG解码后的视频数据进行显示与播放。

SDL开源库将解码后的视频数据转化成对应的YUV格式,在屏幕上显示其各个分量,完成视频的输出。SDL开源库中的主要的数据结构体和功能函数为:
SDL_Overlay()结构体,为YUV格式图像信息的覆盖结构;
SDL_Surface()结构体,为SDL中图像信息显示的基本区域;
SDL_Init()功能函数,作用是初始化SDL中图像特性;
SDL_CreateYUVOverlay()功能函数,创建SDL_Overlay()结构,设置尺寸参数等;
SDL_DisplayYUVOverlay()函数,用来播放监控视频图像,即SDL_Overlay()结构体中存储的图像信息。

通过FFMPEG和SDL技术中的主要结构体以及功能函数完成接收端的视频解码和播放任务,主要的工作流程如图4所示。

图4 视频图像解码与显示
图4 视频图像解码与显示

结语

本文设计了一种基于 CortexA8的无线视频监控系统,采用高性能的ARM CortexA8芯片SP5V210、300万像素的COMS摄像头、USB无线网卡以及PC机完成了系统的硬件搭建,利用低码流和容错能力强的H.264压缩编码技术进行视频数据编码,满足了无线传输要求,且基于RTP/RTCP网络传输协议提高了视频传输的实时性。在视频监控PC客户端应用开源的FFMPEG和SDL技术实现了监控视频图像的解码和播放。

本系统具有良好的扩展性,根据需求可扩展为多路无线视频监控,用于人体识别、智能报警等。该系统可以高效稳定运行,布防便捷,携带方便,灵活行强,成本低,提高了视频监控系统的实时性,在紧急救援和民工业安防系统上具有良好的应用前景。

文章转载自:单片机与嵌入式系统应用

围观 546
订阅 RSS - 无线