解读英伟达芯的雷达手势识别

学号:17021211315    姓名:范乐乐

转自雷锋网

【嵌牛导读】:在2016年的谷歌I/O大会上,谷歌低调展示了数款高科技硬件产品。其中有超炫的雷达芯片——Project Soli。它采用微型雷达来捕捉细微的手势动作,实现对硬件的操控。

【嵌牛鼻子】:雷达手势识别、Project Soli、雷达芯片

【嵌牛提问】:雷达手势识别能干什么?如何实现雷达手势识别?已经有哪些应用?

【嵌牛正文】:这种雷达芯片可以隔空操作智能手表,可以取代触摸屏隔空操控手机,可以取代触控板操作电脑,甚至已经有开发者实现隔空打字的功能!它还可以用在VR中进行交互,取代手持设备得到更好的游戏体验。相比于当前流行的二维触屏系统,它的控制手势是三维立体的,所以显得更加直观,更加生动,再加上利用了“电磁波”这只看不见的手来操控,颇有些魔术效果。

图片来自显示世界

Project Soli构造:

Project Soli由两个芯片组成,一个是微型雷达传感芯片,一个是主控芯片。其中雷达传感芯片内置了天线阵列,其封装只有8mm x10mm大小。雷达的电磁波发射频率是60GHz,波长为5mm,该芯片可以识别5cm-5m的细微手势,操控距离限制在15m内,并且具有180°的视角。下图展示了两款芯片的大小,最左边是主控芯片,中间是雷达传感芯片。


很小的雷达芯片

与初代Project Soli相比。新一代的ProjectSoli主控芯片与英飞凌合作设计,功耗降低了22倍,从1.2W降低到了0.054W。新的雷达传感芯片效率更是提高了256倍,并且可以实现每秒18,000帧的扫描。这让该项技术应用在智能手表上成为可能。下图展示了几种操控的手势:

雷达成像:

谷歌的ProjectSoli采用了雷达成像原理,采用了60GHz频段的毫米波,波长为5mm。采用毫米波好处在于,相比于微波(0.3G~30GHz)的波段几乎已经被各种无线应用占据,比如WIFI,蓝牙,无线通信,AM、FW无线广播等。毫米波本身免授权、免付费、及未被大量采用,换句话说,不需耗费申请时间及费用,即可使用该频段。Wireless HD及IEEE802.15.3c皆属毫米波无线传输技术,工作频段为60GHz。

电磁波的波谱图

雷达主要利用无线电波的反射来进行成像。通过计算从天线发射无线电波,到天线收到反射波的延时,可以得出物体的位置。通过比较发射波与反射波的波长变化(多普勒频移),可以计算出物体的速度。当物体靠近雷达运动,其反射波的波长会变短;当物体远离雷达运动,其反射波的波长则会变长。物体的速度越大,波长的变化也越大。这样,通过对比发射波和反射波,就得到了物体的位置和速度,也就可以精细地捕捉物体的运动。

雷达测速原理


采用毫米波雷达做手势识别,难点在于雷达传感器芯片设计,其中又包括MMIC芯片(单片微波集成电路)和天线PCB板设计。

(1)前端MMIC芯片:它包括多种功能电路,如低噪声放大器(LNA)、功率放大器、混频器、甚至收发系统等功能。具有电路损耗小、噪声低、频带宽、动态范围大、功率大、附加效率高、抗电磁辐射能力强等特点。毫米波雷达的关键部件前端单片微波集成电路(MMIC)技术由在国外半导体公司掌控,而高频的MMIC只掌握在英飞凌、飞思卡尔等极少数国外芯片厂商手中。

(2)雷达天线高频PCB板:毫米波雷达天线的主流方案是微带阵列,简单说将高频PCB板集成在普通的PCB基板上实现天线的功能,需要在较小的集成空间中保持天线足够的信号强度。

英伟达手势识别芯片

Google Project Soli的毫米波雷达通过RDM(RangeDoppler Map,距离-多普勒映射)算法获得目标信息。谷歌并没有公布Project Soli的设计细节,但笔者发现,英伟达设计的一款基于FMCW(调频连续波)技术的毫米波雷达手势识别芯片系统,同样使用了毫米波雷达技术,也采用英飞凌的MMIC射频解决方案。更巧的是,RDM算法也被应用在其中,应该相当具有参考价值。

该系统设计目标是用于车内手势识别,操作距离为1m之内。中心频率为25GHz的毫米波,频宽4GHz,距离分辨率是3.75cm。具有4D测量的功能,可同时测量物体的三维位置和运动速度,水平视角为±45°,垂直视角为±30°,检测速度不高于1.5m/s。该系统的设计原型由微控制器,模拟电路,雷达射频芯片和4路天线构成,其中3路接收天线,1路发射天线。下图是该系统的设计原型,粗糙了点,但是能用:

该系统的MMIC前端系统采用英飞凌的BGT24MTR2芯片,主控制器采用德州仪器的Cortex M4F微处理器。模拟端的采样频率为40KHz,采用8bit模数转换,锯齿波生成器采用500Hz的输入源输送给VCO(压控振荡器)单元,通过串口连接PC主机做信号处理和手势识别算法,系统采用USB供电,整个从机的功耗小于1W。整体架构如下图所示:

整个系统的工作原理如下:

1、雷达系统所发射的信号通过锯齿波函数进行调制后由天线进行发射,接收到手部的反射回波。

2、对于锯齿波调制而言,由于因为回波延迟导致的频移和拍频(回波与发射波的频率差)被耦合在一起,通过RDM (Range Doppler Map,距离-多普勒映射)算法进行解耦:将发射波与回波相乘,然后进行低通滤波。

3、得到的结果进一步离散采样,组织成矩阵的形式,其中矩阵的每一列包含单次扫描的节拍信号。

4、然后再进行二维离散傅里叶变换,最后得到手部的位置延时和多普勒频移等信息,进而得到手部的位置和运动速度。

下图是原理的图示:

得到了手部的位置图和速度图,就可以辨别出具体的手势动作及含义。下图展示了单手和双手手势识别效果图:每个手势最上面的图是雷达探测与手部深度图像的叠加图。雷达探测点的颜色代表手部该位置的变化速度。中间的RDM图是雷达的探测图,其中色块表示雷达探测到的物体,由于人手部是非刚性的,所以看起来像是一堆小物块。最下面的合成图展示了整个手部的动作,颜色跟速度对应。

上面我们简单介绍了毫米波雷达手势识别的基础原理,英伟达的雷达手势芯片在原理上与谷歌的Project Soli有很大的相似性,因此具有很好的参考价值。

二者区别在于谷歌的是60GHz频段的毫米波,而英伟达采用的是25GHz的毫米波;在天线设计和PCB设计上会有一些不同;再者英伟达的这款只是原型设计,其数字信号处理主要依靠PC端的处理能力,这当然不可能集成到嵌入式系统当中。

而谷歌则采用了专用的芯片来做数字信号处理,所以可以做到超低功耗,并提高性能,达到嵌入式可穿戴智能设备的使用需求。

目前Project Soli仍处于开放研发阶段。谷歌声称将在2017年推出版本的硬件。可以预见的是,在明年的开发者大会上,我们将会看到更加成熟的雷达手势控制芯片以及配套的软件系统,如果其成本可以降低下来,或许那个时候,新的交互时代将会来临。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容