在5月22日,莱迪思半导体在上海召开Lattice新品发布会,在会上发布了一个全新的产品——sensAI。它是一种结合模块化硬件套件、神经网络IP核、软件工具、参考设计、定制化设计与服务的完整技术集合,旨在将机器学习推理加快大众市场 IoT 应用。它可以让客户快速简易上手,简便地在莱迪思的FPGA里做计算,尤其是在网络编程方面。
在会上,莱迪思半导体亚太区资深事业发展经理陈英仁先生与众多记者一起分享了Lattice sensAI开发生态系统开发过程,也对记者的一些疑惑进行答疑,以下是群访实录:
记者:这个是否属于3D的人脸识别?
陈英仁:不是。假如说做的更精确的话,它其实需要更大的性能,所以我们也提供刚刚讲的UltraPlus跟ECP5。假如要做到3D的话,其实不是不可以,只是说3D只是在于它的结构包怎么连接到我们的FPGA,然后我们去做各种各样的训练,训练出来,我们还是可以提供一个3D方案。其实我们不局限在2D或3D,任何数据做了训练以后,其实我们是都可以去检测的。只是说在这个演示上,它不是做3D的。
记者: 3D的ECP5需要用到这个芯片吗?
陈英仁:3D的话,其实也要看一看整体的性能。我们现在在UltraPlus里面,它只需要32×32的像素就可以做人脸检测。其实它并不太能看到一些细节,它只是判断“有没有人在前面”。假如是做到结构中的话,它可能要看的更清楚;就像苹果这一块,它要做到一个安全系数,所以他的性能要求就相对要高很多。
记者:关于Lattice硬件平台,iCE40和ECP5用于sensAI上,是不是就加入一些新的算法,是这样的一种改变吗?
陈英仁: 关于iCE40 UltraPlus跟ECP5,现在是通过sensAI,可以加入新的算法,的确是这样子。Lattice iCE40 UltraPlus跟ECP5已经出来一年多了。因为是空白片所以里面基本上要去做什么运算都可以。可是刚刚提到,很多客户可能对于FPGA的设计不是很熟悉。怎么样去做一个有效率、低功耗的AI会是很困难的。所以通过Lattice sensAI,我们提供了BNN IP和CNN IP再体验以及优化,然后我们再提供工具链,可以让客户把他已经训练好的模型,或者基本上任何的数据、样本,通过CaffeTensorFlow进行训练以后,它就有这个算法。比如说,我们现在有很多“你好”这样子的样本,通过这个训练以后,我的FPGA就可以侦测“你好”。
我顺便讲一下AI的背景。其实AI说穿了,它是一个新的算法。传统的算法是靠规则的。以前大家的算法是用规则型的方法去做一个算法。可是AI更多时候是靠资料跟样本。也就是说,给我一些资料,我就可以有一种算法。然后假如我的样本资料有更新的话,我们的算法也会越来越精准。它的好处,也是有些客户可能不知道怎么样去设置传统的这种不同规则,可是我现在只要有足够样本就可以达到我要的推理。假如有很多的“你好”这样子的样本可以侦测,可是假如我说的不是“你好”是“李浩”这样的一个名字,它不会反应。其实就像一个小孩一样,我一直叫他:李浩,你好,你好。可是他第一次听到“李浩”的时候,他可能也会说:啊,你在讲你好?可是假如我是用一个AI方式的话,我只要在跟它训练,说:李浩,李浩,李浩,不是你好。它就可以区别出来。也就是说,只要我有足够的样本去描述我要检测的是什么,还有同样很多的样本去跟我的AI描述:这个很像但是不是的话,它就可以学习出来变成一个算法。
像这个demo,昨天我也试了一下。它不只是可以侦测人脸,我把它对着一个猴子的照片,它也会侦测到。其实这就是AI。就是看你多少样本以及它的训练程度。假如说我给它很多猴子的照片,说:这不是人脸。那么它就会变得这样聪明。所以你可以想像,小孩子你一直教他:“这是你、这是你、这是你。” 他发现你在看一个猴子或者甚至狗、猫的照片,他可能不能准确判断是不是自己。所以你要给它更多的资料,才知道“什么是人脸,什么不是人脸”,这就是AI最基础的新概念,它可以用数据和样本来去做到这样的算法。
记者:senAI是不是也集成了终端传感?
陈英仁:我们已经有很多的传感器在上面,甚至可以把sensAI这个功能放进去。因为我们的FPGA是空白页。看放不放的下,就是看一看我们新引进的这些有多大。 因为我们sensAI可能占一些我们FPGA资源。假如是像我们客户只要在用ECP5的,我们ECP5基本上它是从最小的12k到最大的是150k。反正我们的逻辑从十几K到几十K,甚至到百K这样子的情况下,它是非常有弹性的。在客户现有的应用场景下,通常来讲它不会用庞大的。但要把整个sensAI加进去也是可以的。
在UltraPlus的话,因为我们EA的算法,基本上占了UltraPlus的大部分。当然我们接下来也会陆陆续续地开低功耗的iCE40系列,到时候这就不是问题了。
记者:是不是客户本来对你们的 iCE40 等开发工具已经比较熟悉才能在一些工具上进行如FPGA的二次开发?如果说对FPGA或者开发工具不是很熟,你们提供的神经网络编译器是一个新的相当于你们自己开发的工具,还是第三方提供的?
陈英仁:我先回答最后一个问题。“神经网络编译器”是我们自己独立开发的,只是这个神经网络编译器是做了一个转换。因为很多人在做神经网络训练的时候,它是用大家比较公认开源的方式,像刚刚提到的TensorFlow跟Caffe。而TensorFlow跟Caffe不是我们开发的,只是从我们绑定了一个输出,通过我们开发的这个编译器可以去做这个转换,变成适合我们的FPGA,搭配我们的IP使用。
再回到第一个问题,所以假如要用到我们sensAI的这个IP,对我们的工具需不需要熟悉?应该这样讲,其实要涉及FPGA,基本上要懂得怎么使用工具,使用工具相对还算是比较容易,因为基本上都是一个菜单,然后去选一些东西。其实比较难的是怎么去写所谓的应用描述语言。这一块怎么去写?毕竟它是个新的语言。甚至写什么?这个算法是更难的。所以我们的SensAI提供了这个IP以后,客户就不用担心怎么去做AI的算法描述,尤其是用硬件语言去写。他可以用我们的工具操作一下,就可以设计出来。将设计门槛大大的降低与减化,可是这个客户可能对这个FPGA不熟,但是我们可以教他怎么用我们的工具,他就可以把计算在我们的FPGA实现。
记者:在接触顾客当中,哪些用户在产品导入AI的需求会比较强烈?现在是否已有一些客户用sensAI在做产品开发?
陈英仁:我们sensAI是这个礼拜才正式发布,当然在之前我们也是有一些初级客户,主要是在欧美,他们对我们低功耗的新产品是非常满意的,因为他发现了FPGA的确可以在这种瓦级的情况下去做更多处理,所以是有客户去使用。但是实际的利用范围,这里就不方便透露了。主要还是在影像跟声音这方面有关。
其实刚刚提到AI是一个新的算法,在计算的话;要么可以在云端做,要么可以在边缘、终端做。只是说现在其实最大的一个推动力,我想也是在IoT。因为大家一直讲IoT,可是有那么多的数据以后,怎么办?就像大家假如可以看到很多东西,可是没有办法去做思考的时候,这些数据其实是没有意义的。所以AI配上IoT以后,它会是让整体的使用方便性增加。
我有这些资料,我有这些样本以后,就可以去提供更多的服务。所以很多的IoT客户以及传感器客户,可能都会去朝“智能传感器”方向做。大家可能最近也有听到“智能麦克风”,它可能已经内嵌了所谓的“语音识别”。影像传感器同样的,很多人可能说:我现在就直接侦测,这是不是一个人在里面。所以这些客户或者是使用者都会喜欢增加这些智能功能在里面。
记者:现在有好多的MCU厂商,他们说:最大的问题是客户不知道怎么做人工智能,怎么做训练。您不是也是这样认为?而且我也访问了地平线这样的公司,它们都是“芯片+算法”,跟您这个“芯片+加速器”会有什么区别吗?
陈英仁:先回到训练这一块。其实AI是一个比较新的领域,所以大家也在学习怎么去训练。其实现在网络上已经有很多课程,怎么去理解AI普通的、自然的算法。刚刚讲的,大家最常见的是像Caffe和Tensor这样的设计流程。其实的确,这些新的是要花时间去教育客户的。我们sensAI的优势是我们不用去学AI,然后还要再去学怎么设计FPGA,至少FPGA的部分可以不用再去担心了。但是客户还是要听到AI的本质和它的设计流程,当然的确这也是一个问题,所以我们才会有最早的一些生态环境的伙伴,就算客户不懂AI,我们也可以帮他们去找对这个比较熟悉的合作伙伴提供比较完整的方案。
其实算法这一块,算法到底是AI的模型,还是它完整的算法。比如:像我们的参考设计和演示,它已经是训练好的。但是说真的,我们不是一个终端方案的提供商,我们这一块是去找第三方,有足够的样本,可以很清楚地演示。
但是也要看做到什么程度。因为毕竟开发IC的厂商,跟足够样本去做训练,毕竟还是有差别的,。当然,我们一开始,因为发觉“人脸侦测”是一个非常比较常见的很实用的方案,所以我们在上面是花了一点工夫。我们也认为,我们现在的人脸侦测,是可以让客户直接拿去用的。只是说在其它的训练方法上,相比于一个完整的方案,我们提供的更多是一个流程,让客户有自己的样本去做这个训练。其实之前讲过,为什么大家都要数据?数据值钱,就是因为通过AI,它可以变成一个算法。
记者:现在AI工程师的工资很高,。比如,好多业内工作二三十年的都没有刚毕业的大学生的工资高。你们有什么方法,消除这样的门槛呢?
陈英仁:我想AI本身它自己就可以把这个门槛降低了。因为传统算法的做法,是要去讲这些规则,工程师就要把这些规则描述的很清楚。可是AI的出现使得我们只用需要样本就好了。所以现在工程师可能不需要太花时间专注在算法上,他只要拿得到样本,或者就去拿样本;我想大家最近可能也听到一些消息,中国也有;尤其是印度,其实现在有一个新兴行业,就是他们去做标记,标记图像、标记声音,然后把这些标记过的样本再卖出来。透过这些样本,它本身就可以变成一个算法。
记者:刚刚也提到,您刚刚在演讲中也有提到,我们为客户提供了一些定制化的设计服务。我看PPT上有人脸识别、关键词检索、面部追踪等五个方向,是在这五个方向我们都可以定制化服务吗?
陈英仁:不是。其实我们这五个方向上基本上是一个参考设计跟演示,可以让客户知道AI可以应用在哪里。 假如是要能定制化的话,只要客户对这一块完全不熟悉,甚至没有样本;这个就需要我们提到的合作伙伴生态环境、生态链,我们会去介绍一些我们Lattice的工具跟一些熟悉Lattice工具链的伙伴们,然后他们可以提供一些定制化的服务。
记者:Lattice提供这个产品主要是让已经使用FPGA的人拥有更好的体验?还是说我们要不断的去扩充这个领域?比如说之前使用MCU的人让他更多的加入到这个阵营。我觉得MCU和FPGA相比的话,可能想到的就是FPGA比较难,想到MCU就是开发比较简单,您怎么看待这个问题?
陈英仁:我们sensAI的确就是把这个问题解决了,我们sensAI不只是针对传统的这些客户,还有希望更多新的客户可以直接用FPGA来实现,就算他不熟悉、他也可以实现,甚至在某方面来讲优于MCU。毕竟MCU它在处理AI这部分,它可能不是那么有效率,因为它的功耗相对比较高。所以当客户考虑到要做AI的时候,我觉得FPGA现在是比较合适的,而且设计可能还不再是个问题。回到传统已经用的一些客户,因为他们已经熟悉了我们可能在一些过程桥接和连接的技术,我们现在提供了做整个计算的方法,所以现在他们可以有更多的选择,然后更容易上手。
记者:采用Lattice工具的人工智能的边缘应用大概需要多久时间可以实现或切入呢?
陈英仁:我自己认为是很快吧。要去熟悉我们怎么用我们的工具,大概是一个礼拜。怎么去实现,这就需要一个开发周期。可能一周左右,熟悉怎么训练和转换,以及整个系统的设计。我再补充一下MCU跟FPGA的差别,比如说一个智能的门铃。我很多时候可能已经有一个门铃了,它只是没有这个智能。当我们把这个智能放进去,因为如果我要重新布一个完整的智能门铃可能是一个大改。可是更多的时候,客户可能是说:我现在东西已经有了,我只是去侦测。假如说MCU的话,它可能用一个全新的MCU放在旁边,虽然它可以侦测到,它怎么把这个结果传递给它原来的系统,这个会比较复杂。我们的FPGA就是专门解决 “接口” 的问题,假如他们原来的系统是有人的话,你这边只要给一个信号,或者给我两个信号、三个信号,无所谓,我们的FPGA都可以去负责调整。回到您这个问题,客户想要这样子做,可是对于结果端不熟悉。没有关系,我们非常熟悉,接口上面的问题,我们很多时候可以帮助客户解决。
记者:现在大家对智能终端的认识,大多数还是停留在音响这些类似的消费市场。反倒在工业层面,很少有人有见解。您怎么看AI在整个过程中的应用。
陈英仁:我先讲一下智能终端的应用场景,当然不局限在家居。比如:一些关键字、声音检测。它可能检测出尖叫声、墙声、玻璃打碎的声音,所以我们就可以在一些安防监控或者其它地方去做一些大内容。所以其实应该说,毕竟AI是新的一个算法,它现在可以用样本就可以算出来,简化了以前做算法的门槛。所以大家现在比较思考的是,她可以应用在哪里。所以刚刚讲的这只是其中一种,这些可能都是常见的接下来会蓬勃发展的应用。其实大家还在思考,怎么样应用AI让生活更简洁、更简单。
我们的产品才刚刚推出,所以产品化需要一定时间。其实有些照相功能也是一种AI。有些照相手机,可以大概判断照相场景是什么,然后去做优化。如何判断照相时的场景?累积很多样本并进行训练。知道这是晚上,所以相应地做优化调整;现在的照相对象是人,就会做美白和变瘦。有很多的自动化来提供方便性,这基本上就是AI的一种表达。在工业类是效率,就是用一个机器去做自动化。
记者:现在莱迪思还是会主攻消费类产品?
陈英仁: 我们不会只做消费类的,其实工业类也关注,只是它们需要花费较长时间。工业类现在就要开始耕耘,只是可能要两年才会起来,消费类的会比较快。
至于莱迪思和微软的交集,其实交集不是那么密切。因为微软主要是“云端”,如果是在边缘的话,应该是和网络端的互联。
再说“处理”。处理会不会变?为什么要在单一的地方处理?因为这个东西都是来来回回的,很多人说:要在云端处理,然后变成集中式处理。很多的产品架构,很多时候是集中处理,然后过一段时间会做分布式处理。其实没有一个所谓哪个更好,主要取决于业务场景。
我们其实现在看的就是分布式处理,分布式处理可以在云端,也可能在盒子身边。我们主要还是在传感器。这样更有效率地去处理一个数据,除去因为利益发展而导致的隐私权问题。因为在微软里面,比如是在更上端或者再处理化,基本上收集的数据肯定提高到这里了。那么,终端客户会不会担心他的隐私全外露之类的。所以整个要看业务场景,到底什么样的合适。
记者:所以莱迪思只管“端”,不需要搭载生态环境?
陈英仁:也不能这样说。假如我是一个工匠,说不定我不用大脑思考,我的手就可以看到什么东西就马上有一个反应,所以还是一个分布式的效率,这是一个整体上的布局。
记者:说到“智能门锁”,因为很多MCU厂商也在做门锁。你们跟他们比,有什么优势呢?
陈英仁: 智能门锁现在做红外的相对少。智能门铃的话,会去做一些侦测。因为智能门锁,将来就是侦测指纹。那个其实也不用什么智能,我们现在的意思就是说:像我家的锁,我本来要在键盘上按一个指纹。指纹正确了外壳才会升起来,然后才会进来。现在假如我加了一个摄像头以后,我只要靠近,它就自己上来了。
假如用红外摄像头,然后人说不定走过一移动,红外就会监测到,这样并不好用。我现在在家里,最让我觉得比较怪怪的是,由于我家的厕所比较小。我只要一靠近马桶,马桶盖就自动打开。可是很多时候我不是需要上厕所,很多时候是刷牙或者是洗手,这个盖就开了。但是只要加入一个低延迟,当然我要看一看它怎么去侦测,要识别什么地方,才会开马桶盖。这样的话,可能就会更智能、更方便。
记者:您对于国内的AI芯片公司评价是如何的?很多人都认为从政府骗钱或者圈钱,炒作。您觉得您做的是不是实实在在的,或者说他们做的是不是估值有点太高了?比如:像深鉴科技这些,他们今年要上市,基于赛灵思的FPGA做的。
陈英仁: 我想别的厂商我不方便说,只能说“AI的确是一个方向”,以AI去运作投入,的确是没错。到底他们怎么做,或者他们做的手段是什么?这个不知道。但AI是一个非常重要的领域。
我想目前的话,我们也会参考客户的反馈。当下,莱迪思就是在定位“低功耗”,然后传感器端这样的一个DNN跟CNN处理。随着我们客户提供反馈,会有不同的硬件跟软件的开发。当然,我还想再补充一下,我们的优势是可以在现有设计不做太大的改变情况之下,我们会持续地更新,这也是我们另外一个特性。
我们也会密切地关注,还要再去做什么样新的功能,或者是要改什么方向。不过我觉得大方向的话,应该不会再做太大的改变。因为毕竟我们的性能、我们的定位,我们的功耗跟价钱,跟其它家的FPGA厂商是有明确区别的。
因为我们毕竟在正式推出这个东西之前,我们是找一些客户,得到反馈,然后做优化。中国客户的话,之前有接触到一些,可是毕竟中国客户对于AI这个流程毕竟了解得比较晚一些,而且我们没有正式的发表过,所以这一块,我想在接下来几个月应该会有些发展。其实还是回到样本,因为其实很多客户没有样本和数据,就比较难去应用整个的这样一个供给,所以我们再看一看生态环境已经建立起来。所以对于一些“云”方案商他有这些样本,所以我们看怎么通过他们,然后一起可以提供比较完整的方案。
记者:您刚才有提到AI有两个非常重要的部分,一个是“实验”,一个是“推理”。我们为客户提供了神经网络编译器,有在帮客户做训练模型。还有就是帮助一些没有经验的客户将这个标准框架开发的神经网络移植到我们的这个FPGA中。我想问一下,在推理这方面,我们是否可以去帮助客户有一些方案,以及未来是否在这方面有一些计划?
陈英仁:整体AI架构是需要训练跟推理的,我们的FPGA专注在推理这方面。可是说通过推理,那么训练怎么办。训练的话,我们是提供软件、工具链,让客户有效率地训练。可是训练出来的东西,还是放在我们FPGA上面做推理。我们的FPGA是强项,就是低功耗、小封装、低延时、低单价,所以用我们做出来的方案会是符合低延时、低功耗、小封装、低单价。这就是我们的方便性和方便的接口。所以说最终还是在推理端,只是说训练端它是一个设计,我们有工具链降低设计的门槛,可是设计还是在PC或者是在客户端的别的系统去做,和莱迪思的FPGA没有直接的关系。
记者:如果要跟华为合作,数据都开放给华为,结果他自己的团队又做出来了,提供一个完整方案,他们是这么一个思路。
陈英仁:的确,我们看到国内有很多的厂商是要一个“完整方案”。国外很多时候,你给他一个工具,他自己去做。我们也在看怎么符合国内的需求。现在我们只要去找到样本,就可以提供一个算法。所以至少门槛降低了一半,现在我们就去看一看样本,然后可以跟我们一起合作提供整个解决方案。因为假如是做一个侦测,Lattice不擅长收集这方面的样本,所以这一块,就是我们的一个很大的挑战,就会去找第三方,看看怎么去做。所以为什么我觉得国内厂商也会看到说:他的核心有以前的算法,现在的核心可能不是直接的算法,而是你有没有你要侦测的样本,有没有这些数据。
记者:加速方法都不统一,各家芯片也不一样,所以AI起不来?
陈英仁:后面的工具、模型很不统一,可是AI的概念还是统一的。其实后面的只是怎么去执行,收集标记过的数据的话,它是非常支持的。有了标记后的数据后,就可以去做训练,然后接下来会推理。所以其实也就是因为AI这样的一个演变,当你的数据以后使用FPGA或MCU,门槛就没有差很多。
发表评论注册|登录