联发科

作者:张国斌

被业被誉为“IC设计教父”的联发科董事长蔡明介有个著名的S曲线战略,就是联发科总会选择在一个新技术普及爆发的前夜进入市场,享受技术大爆发带来的红利,这个战略屡试不爽,从DVD芯片到功能机方案到3G、4G手机平台,联发科在享受一次次技术红利的同时不断壮大,近日,联发科公布了人工智能战略,虽然比其他家晚点但是灵活性和效率更高,依据联发科过往的成功经验看,这意味着人工智能大普及时代就要来临了!盆友们,准备好了吗?

联发科发力,人工智能大普及时代来了!

一、兼得灵活性和效率的异构架构

2017年是人工智能元年,多家公司推出了瞄准终端应用的人工智能平台,华为,苹果推出的方案中有独立的神经网络处理器单元,对人工智能做辅助处理,而高通的骁龙845则没有独立的神经网络处理单元采用DSP完成人工智能处理,瑞芯微则用优化的DSP做人工智能处理,业界在对待端侧人工智能处理方面也分化为两个阵营,一个认为用平台中的DSP处理人工智能算法已经足够,一个认为要用独立的神经网络单元做人工智能加速,现在,联发科的策略公布,它采用独立的神经网络单元做人工智能加速,看来,独立加速方案是未来主流,我看联发科方案的灵活性更高。

联发科发力,人工智能大普及时代来了!

联发科技 CTO 办公室协理林宗瑶在联发科AI策略沟通会上表示联发科的人工智能平台NeuroPilot 采用的是异构架构,最底层的处理器有CPU,GPU和APU,APU--是人工智能处理单元的缩写,“CPU 负责控制功能, GPU 负责运算,APU 对整个 AI 运算做特殊加速,从灵活性来看,CPU 灵活性好什么都能做,但效率最差,而 APU可以对AI优化做到效率最高,实际上,我们考虑一些AI 功能都可以放在 CPU、GPU、APU 上,根据工作特质,系统自动分配到APU、CPU、GPU上。如果操作运算量高,而且需要浮点运算,我们就把它放 GPU上。如果它需要定点运算,且需要长时间运算,需要低功耗就放到 APU上。如果是一个多控制运算,就把它放到CPU上。我们会根据它下下一个指令与下下一个工作的分配,确定放到 CPU、GPU 还是 APU上,这跟CorePilot 的大小核分派类似。”他详细介绍了底层处理单元的功能,“APU是人工智能处理单元,它不是一个固定架构的处理器,可以是DSP 也可以是硬件加速单元,例如针对语音识别可以放置2个DSP ,针对其他应用可以放置几个加速单元,它的架构根据需求而定,因此灵活性很高。”

林宗瑶继续解释说这个NeuroPilot平台最上面是应用端,包括脸部识别、美化、人脸辨识、手势检测等等功能。有些功 能 是 在 APP 商店上可以下载下来的应用,有的是 Pre-built 应用。因为有些应用需要跟软件深度结合,例如手机人脸解锁以及手机人脸支付,这就是 pre- built 应用,因为它需要跟软件整合来避免一些安全性问题。“联发科的NeuroPilot平台既可以支持 APP store 里的应用,也可以支持 pre-built 应用。 要支持这样的应用,需要做一些架构上的优化和设计。”他表示。

NeuroPilot 支持目前很多常用的AI framework,例如谷歌的tensorflow、 Facebook 的 caffe1/2、像亚马逊的 MXNet、Sony的NNabla等等,这样可以让合作伙伴开发属于自己的算法和应用。“例如国内的商汤科技、旷世科技等等,他们一方面希望可以定制化,另一方面也希望可以复制到其他平台,所以联发科开发了一个叫Runtime的中间层,把一些比较常用的AI 应用运算概念装在里面。再提供一些定制化的接口给合作伙伴。“他强调。“这样做的好处是,第一 、合作伙伴希望可以定制化的AI指令不希望别人知道, 第二,他们定制化的AI指令能更有效的运行,所以他们希望直接从上面对接到最底层。”Runtime其实是针对深度优化的合作伙伴,可以同时兼顾到垂直应用和定制化。

“联发科的产品覆盖面很广,从手机到电视到穿戴、物联网很多领域,所以我们的人工智能平台考虑的要覆盖很广的领域,”林宗瑶说,“所以我们不是一个固定的平台架构,你可能看到有针对智能音箱的,APU可能采用DSP ,有针对穿戴的,APU又采用了其他处理架构。”

二、开发工具包考虑了兼容性

对于人工智能开发者来说,平台架构很重要,但是开发工具包更重要,工具包要有很好的兼容性和完整性,便于开发者进行移植和使用,联发科的NeuroPilot 的工具包就考虑这因素。

联发科发力,人工智能大普及时代来了!

“我们的工具包是一个跨操作系统的通用架构,因为这要考虑到联发科产品覆盖很多领域,我们的工具包从系统层级到中间的 Runtime 层再到底层的加速器级都有覆盖(这加速器包括 CPU、GPU、APU)。

NeuroPilot是一个跨平台、跨产品线的架构,所以在不同的操作系统上(Android,Linux等等…)AI应用开发者看到的NeuroPilot架构是一样的,当然这个架构会只会在最底层做一些差异化。也就是说,今天我们在Android平台的开发一个AI应用,它可以直接搬到Linux上做运行,可以大幅度减少开发商工作,开发一次就可以在很多平台用。”林宗瑶特别指出。

通过系统级debug 的profiler,AI开发者可以比较把任务派给CPU,GPU和APU的运行情况--电压是多少?频率是多少?各种情况怎么样等。并能看出这个 AI 到底有没有放到错误地方去了?如果一个 AI 应用, 本来是派给 CPU 的,结果系统派给 GPU 了,这样就会有问题。
联发科发力,人工智能大普及时代来了!

第二层 Runtime 中间层,开发者可以观察到运行细节信息,例如感觉有些运算单元花的时间 比较多,到底这个花时间多是下达指令错误还是因为在 CPU 上面运行时间比久(因为存储器不给力)。最后 CPU 效率低是什么原因造成的?合作伙伴就可以很容易的去做一些 debug 的开发工作。
联发科发力,人工智能大普及时代来了!

第三层加速器层级,工具包可以发现处理器在完成AI任务时候的性能瓶颈,如下图示例。
联发科发力,人工智能大普及时代来了!

通过工具包,开发者可以轻松完成开发。

三、终端AI是未来应用主流

林宗瑶表示联发科一直关注人工智能技术的发展,基本上从 2012 年深度学习开始到 2016 年、2017 年,人工智能应用还是在云端开发。但是考虑快速响应、隐私保护、连接成本以及功耗四个因素,联发科技认为在端侧AI有很大机会。

联发科发力,人工智能大普及时代来了!

他认为从云端发展到终端AI有四大提升:

1)端侧响应快,图像识别,图像变化,车载系统都需要快速响应,发送云端然后返回结果显然不会有好的响应。“像最近很红的亚马逊 echo,它的响应就慢,要解决这个问题,就要把云端计算放到终端来。”他解释说。

2)隐私。很多人不想放到云端去,因为放到云端去基本上就没有个人隐私。而在 Edge 这边隐私性会更好

3)连接。连接包括连接的成本和连接有效性。显然任何材料都传至云端成本很高,而且很多地区宽带有限,而Edge AI 的体验会更好。

4)功率。现在整个云端功耗已经占整个地球电力的 5%,所以如果AI在终端实现则可以降低整体能耗。
基于这四点,他认为Edge AI 将为主流。

他强调Edge AI 其实就是 AI anywhere 或 AI everywhere,需要产品布局够广,才能造成很大的影响力。另外因为有这么多产品线,所以除了传统的 Android 之外,还需要考虑到 Linux 或其他的 RTOS, 这样应用广度才会高。

“AI 好比一个人的大脑,一个人既需要大脑,还需要眼睛,需要嘴巴传递信息。你的眼睛就相 当于 camera IC 的功能。你的资料需要跟其他 edge 沟通,需要跟云端沟通,那么就需要各种无线技术,而因为资料量很大因此需要编解码技术。” 他解释说,“基于这些考虑形成了联发科的NeuroPilot 平台。”

他指出目前全球 IC 设计公司中,唯一能够同时拥有智能手机、数字电视、AP Router、VAD、物联网设备、 车载电子的就是联发科一家,“其他有些公司可能 AI 不错,但 缺乏互补性技术。有些是有互补性技术可是 AI 比较差,有些有核心技术和互补性技术,但产品线布局不够广。”他结合联发科的优势来解释平台,“以下图来看,AI 核心搭配互补性技术,就可以构成一个 AI 平台。有 AI 平台之后,在考虑移植哪些产品上,那就要看 可以应用到什么样的产品上面去,比如智能手机、数字电视、AP Router、VAD、物联网设备、 车载等等。所以联发科技的 AI 策略就是从基本的 AI engine 做起,然后搭配其传统强项 - ISP, 连接和WiFi 等技术, 再应用到联发科的产品线上面。”

联发科发力,人工智能大普及时代来了!

四、提供的是平台不是turnkey方案

“联发科不做人工智能的先行者,我们做AI的普及者。我们要做的就是把AI技术普及到更多领域、更多产品上。”林宗瑶指出,“联发科技在AI 的策略跟过去不一样,过去提供turn key方案,现在我们的 AI 是一个平台的策略 ,而且这个平台是个开放的平台,我们会开放给所有合作伙伴 ,包括一些非专业用户都可以来我们平台做开发。”

他特别指出联发科技 AI平台有三个优势:

1)能够同时拥有很多技术,同时又可以应用这么多产品线的,放眼全球就联发科技一家公司。因AI 的平台除了提供最基本 AI 功能之外,还搭配一些技术,一起去支持这些产品线。而在开发上只需一次变化,就可以同时分散到很多产品线,因此可以把AI的应用扩散到很多领域。

2)开放性更高,NeuroPilot 平台同时支持支持高中低阶 API,所以可以兼顾到客户可移植性和客制化的需求。

3)异构运算优势--有自己的 APU,系统还可以根据不同的 CPU、APU、GPU 架构选出最适合进行处理。

“我们的架构支持安卓、Linux 和其他的操作系统通用架构。我们的产品线则从电视到语音助手设备、智能手机到发展平板,甚至是汽 车 电 子 , 我们都会用一样的架构。合作伙伴一次编程就可以处处部署,可以大幅度减少合作伙伴的开发时程。”他指出,“以上就是我们在 AI 这边的策略、想法跟布局,未来AI应用会非常火爆。”

林宗瑶透露联发科第一款采用这样架构的AI芯片将在2018世界移动通信大会(MWC2018)上亮相,另外,今年还会有针对其他领域的AI芯片推出,敬请期待。

联发科全面发力人工智能,我看人工智能大普及时代真的来了!

声明:本文为原创文章,转载需注明作者、出处及原文链接,否则,本网站将保留追究其法律责任的权利

围观 22
1883

携手华为完成5G新空口互操作对接测试,加速5G终端商用进程

日前,联发科技宣布成功实现面向3GPP 5G标准终端原型机与手机大小8天线的开发整合,并携手华为完成5G新空口互操作对接测试(IODT),实测吞吐率超过5Gbps,成为首家拥有手机尺寸天线、与通信设备厂商完成对接测试的芯片厂商。此次对接测试充分展现了5G技术在sub-6GHz频段商用部署的潜力,有助于全球统一的 5G端到端产业链的成熟,也充分证明了5G终端芯片的快速发展和日趋成熟,对于加速5G终端商用进程具有重要意义。

本次测试由中国IMT-2020 (5G) 推进组统一组织,是中国5G技术研发试验第二阶段技术方案验证的重要组成部份。该测试采用面向3GPP Rel-15 5G 新空口标准所定义的参数集、帧结构、新波形及Polar/LDPC信道编码等关键技术,按照中国IMT-2020 (5G) 推进组统一组织制定的设备和测试规范进行。

联发科技5G终端原型机和华为5G基站成功完成3.5GHz频段、200MHz带宽下连续广覆盖 (eMBB) 和热点高容量(UDN)两个重要场景下的对接测试。本次测试所采用的联发科技5G终端原型机搭配手机大小8天线,实测结果显示在室内空口环境下可达到和外接式偶极天线同样吞吐率效能, 表明5G终端原型机已具备在高速率、大带宽、多天线下的处理能力。

华为 Fellow、无线CTO童文博士表示 :“当前全球特别是中国5G节奏加速,华为积极投入推进组5G关键技术端到端的测试与验证。本次与联发科技开展的5G 新空口互操作性对接测试取得了可喜的成果。华为将持续投入5G创新研发,继续加强与产业伙伴合作,为构建5G健康生态做出积极的贡献。”

联发科技资深副总经理暨首席技术官周渔君表示:“5G是革命性的创新技术,我们非常高兴与华为合作完成5G 新空口互操作性对接测试,该测试是5G 关键技术创新及5G预商用终端研发与验证的重大进展,对于5G产品开发并走向商用具有里程碑式的意义。联发科技将持续投入5G技术创新,推动全球统一标准制定,以开放的态度和全球化视野加强与产业伙伴及政府的合作,为2020年5G在sub-6Ghz频段商用做出积极的贡献。”

围观 4
1904
订阅 RSS - 联发科