基于Google Lens的移动端活体检测实现

目的

自从深度学习及 CNN 神经网络在图像识别技术的广泛应用,再加上 Google 开源深度学习框架 TensorFlow后,人脸识别技术迅速发展,甚至已经超过人眼识别的能力。但是,随之而来出现了安全性问题,照片攻击、视频攻击等各种攻击手段层出不穷。

因此为了更安全的使用人脸识别技术,增加攻击者的破解难度,需要在前端加入安全措施。主要安全措施有:

  • 动作检测,即通过随机动作,判断目标人物"是活的
  • 连续性检测,即通过视频流连续检测,判断目标人物"是活的"
  • 纹理检测,即通过图片本身的纹理判断是否为二次拍摄,从而证明目标人物"是活的"

本文主要借助开源Google Lens,从动作检测和连续性检测两个方面实现活体检测。

Google Lens


2017年5 月17日,Google I/O开发者大会发布Google Lens。它是基于图像识别和OCR技术的人工智能应用,能够让机器学会“看图说话”。在I/O大会放出的视频演示中,拥有Google Lens的智能手机,可以通过对视觉对象的扫描,识别和获得详细信息。

基于Google Lens的移动端活体检测实现

基于Google Lens 的框架Mobile Vision ,https://developers.google.com/vision/
按照实现流程分,主要有人脸检测,特征点提取,动作检测和连续性检测。

人脸检测


通过集成Mobile Vision,调用GMVFaceFeature 接口实现图片中的face detection

特征点提取


调用GMVFaceFeature 接口提取人脸的11个特征点,分别代表眼睛、耳朵、鼻子、脸颊和嘴巴等主要人脸五官

动作检测

主要实现眨眼、微笑、张嘴、左转、右转、抬头、低头、左摆、右摆等9个动作。其中眨眼和微笑Google框架中已经判断,其它动作需要结合11个特征点通过实际场景计算来

连续性检测

通过实时抓取移动端的视频帧数,通过调用GMVFaceFeature 接口实现face detection

实现总结

通过集成Google Lens的图像识别框架,实现了移动端活体检测。

难度

  • 主要在视频流如何转换成Google Lens支持的图片格式
  • 另外通过特征点判断是哪个动作,需要结合实际环境计算阀值,阀值待验证

性能

性能非常好,能实时处理移动端摄像头 60FPS的帧率

大小

集成后App小于10M,基本能满足App集成要求。

下一步计划

通过纹理检测,进一步提高人脸识别的安全性

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,198评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,663评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,985评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,673评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,994评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,399评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,717评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,407评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,112评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,371评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,891评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,255评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,881评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,010评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,764评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,412评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,299评论 2 260

推荐阅读更多精彩内容

  • 图像识别主要用到了两个第三方的框架:OpenCV和TesseractOCR,OpenCV用来做图像处理,定位到身份...
    方弟阅读 11,360评论 9 52
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 170,544评论 25 707
  • 作为应届生的我,在四月一日那天辞职离开了实习单位。我至今记得那天阳光明媚,一改之前的阴雨绵绵,天气好的不像话。 在...
    般若涅槃阅读 314评论 3 1
  • 渥丹的bg文写得一般般吧,感觉太过于纠结于情感描写,而没有实际的故事发展去推动情节,因此会觉得啰嗦,说来说去就这点...
    乌丽曼阅读 1,483评论 0 1
  • 《孤独六讲》里几乎囊括了一切孤独,从个体到群体,文学到现实,历史到当下,西方到东方。本以为书里总有一款孤独适合自己...
    叫我哪托阅读 431评论 1 2