AR必备一:AR云技术(Cloud Anchor)

AR云介绍:

AR是增强现实,云是指数据的存储与计算。由于AR技术的特性,在云端储存的信息包括世界坐标信息、特征点云地图等信息,然后被智能终端检索,融合现实与虚拟世界信息的一种能力。
AR云的共享,要求多名玩家共享世界坐标,每位玩家进入“共享”坐标系系统中,需要将自己的坐标系重定位到SLAM地图中,并获得正确的pose信息。接下来每一帧都要做坐标共享的事情,这种坐标同步及时发生,这个耗时即AR云同步速率,反映在用户设备上就是延迟。
例如你在广场的雕塑上创作了一副AR涂鸦,想让其他人也看到你的精美作品,就必须要用到AR云的持久化、世界坐标共享的能力;如果需要协作完成AR作品,也离不开AR云的坐标共享功能。图是Google的Just a Line的多人协作玩法。


Just a Line的互动玩法

重定位技术(Relocalization)

如果想解释清楚AR云,就一定绕不开重定位技术,多人共享世界坐标、AR内容持久化都用到的重定位技术。
SLAM技术具有World Tracking的能力,其结果是基于Feature的点云,我们称之为SLAM的地图信息。重定位技术点核心是一种特殊的搜索方法。用户的设备通过当前帧信息,搜索覆盖的物理区域的SLAM地图,以查找自己在SLAM地图中的坐标位置。
这种搜索是耗时的,对普通用户来说甚至要求有些苛刻。上传的关键帧信息,都需要在AR云端做必不可少的暴力运算,如果当前信息和SLAM的地图信息差别较大,容易导致重定位失败或不够准确。当然也是有解决方案的,可以通过数据采集、深度学习的方法增重定位的宽容度,让AR云的能力更普世。

AR云的构建

有两种数据采集的模式:

1.中心化数据采集

这种方法一般是由供应商提前批量扫描,进行地图数据收集并在云端存储,然后客户再通过重定位技术获得自己在地图中的坐标。这种一般应用与展馆、商场的室内导航,或者多人互动的营销类项目。

2.众包采集

人们活动的区域有限,通过每个用户使用自己的摄像头收集地图信息,然后再进行重定位,这样的结果就是世界地图越来越大,总是来说是一种分而化之的方式。

云定义扩展

AR云一般指在重定位技术下实现的多人互动、持久化的技术载体,广义的AR云是指和云存储、计算相关的AR内容的一种表现形式,例如云Marker,借助云端存储Marker的patt信息,将Marker的识别放到云端计算,可以突破Marker图像库的数量限制,在手机本地进行计算,中端手机Marker图像库一般不超过1000个,否则会有性能上的影响。当然也可以将Marker的跟踪解析也放到云端,这样可以带来更好的稳定性,跟踪过程实时刷新,这个就要依赖网络的低延迟,5G的普及可以解决这一难题。
其他的AR云形式还有SFM(从运动中恢复结构),即从一段运动中的视频恢复出被拍摄主题的空间三维结构,由于计算量巨大,用户上传视频到服务端进行解析,然后服务端再返回三维模型结果;这也是AR云的一种应用方式。

从应用场景规模上来区分,可以分为3个尺度层级:

1.小尺度-房间室内

AR云的的使用规模比较小,基础的AR云地图由用户自己的采集。一般可以用来做多人互动的AR游戏,也能用来做类似ARNote类的应用,记录、分享自己的生活。

2.中尺度-大型建筑

AR云所构建的地图比较大,在云端储存了较多的信息,主办方负责扫描场景并上传云端,使用者通过对环境的扫描,和云端地图比对,进行重定位。这种技术尺度级别一般用来做较大展馆或商场的室内导航,或者多人协同合作的商场影响活动。

3.大尺度-城市

这种级别的AR云,就能实现AR生活,无处不在的ARlog记录生活点滴,高信息密度的AR信息,还有个性化的空间内容,平行宇宙不再只是出现在科幻小说中;比如站在楼顶可以看到城市街景,利用AR云持久化的能力能看到城市的发展,岁月变迁、沧海桑田,尽收眼底。

AR云的两个能力:

1.时间维度-持久化

持久化的能力能解决AR体验的不可连续性,用户使用智能设备创作的信息,被点云地图的形式保存起来,当用户的智能设备再次扫描到相同的特征点,通过重定位技术,可以再次开启以往的创作内容,并且保留原内容的坐标、方向信息,这极大扩大了AR的应用场景,也是的众包世界地图信息成为可能,是一种能自激发自生长的能力。

2.空间维度-多人共享

所有参与AR体验的用户都会获得同一世界坐标,即所有参与者可以从不同角度观察同一AR物体。改变的AR玩法一直solo的局面,让社交、互动可以融入AR的之中,为AR行业注入新的血液。在游戏类目中,新增了一种多人AR游戏这一类目。

AR云能力的应用

导航

在没有GPS的情况下,依靠视觉信息定位(CPS)的一种方式。当AR信息与真实世界能严丝合缝的对齐,AR导航才有真实的应用价值,让真实世界更准确和直观的通航。
基于室内导航可做很多扩展,比如商场内的购物,门店的招牌广告等,信息以一种密度的形式准确的叠加到真实世界,从而影响人与真实世界的交互行为。

多人共享

这个能力特性可以让AR云用来做游戏体验,比如Google发布的Just a Line游戏,多名玩家可以创作同一副AR作品;也可以在营销运营类活动中使用,比如会场或商场的互动营销活动。

AR云导航的精确度高于GPS
fantasmo的示例


fantasmo的视觉导航示意

城市级AR云

space的示例


space城市级的三维重建

重建后的城市点云信息

重建后的城市点云信息

室内AR导航

dentreality的示例


dentreality的室内导航案例

AR互动

YOUAR的示例


YOUAR的互动示例

AR类行业应用

placenote的示例


AR用于工业协作领域

AR云技术局限

上述了很多AR云的技术特性,但自2017年各个技术公司或应用厂商都发布了在移动端的第一代产品,至今的产品在大众用户眼中,还都是技术尝鲜,在好奇与猎奇心驱使下去尝试,还没能形成真正的产品使用习惯,也就是说AR云还没能真正解决用户需求。
从技术层面上, AR云的技术尚未成熟,比如在做室内导航技术上,很多用户和开发者都表示想做地下车库室内导航,但至今仍没有规模化的产品可用,其中是有技术难题仍未解决的,以停车场导航为例:

1.前端程序提取停车场的特征点比较困难:

在摄像头取景的一帧内,各个地方的物体都非常类似,这种视频流素材作为构建特征地图是非常困难的,在没有GPS的帮助下,重定位误差比较大;

2.停车场的流动性:

停车场的车是流动的,人也是流动的,再次重定位的时候,会出现关键点匹配失败的情况。
当然,这些技术难题也会不断被攻克,比如未来的深度摄像头,如果产品化,对关键点的提取和跟踪会友好;AI技术的助力,可以识别3D物体,把指定的物体剔除,不再作为MAP保存,以此提高重定位的环境适应性。

AR云的总结:

现在技术还不算成熟,但从趋势上看,是符合人获取信息的趋势。AR使信息能以更高密度、个性化、精准的存在。目前主流的硬件还是摄像头,甚至仍是单目摄像头,仅靠RGB和算法来优化和识别,但以后有新的成熟赢家的加入,比如TOF,结构光等硬件更新,现在面临的算法瓶颈将不复存在。AR云技术,未来可期。

研究AR云技术的公司:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容

  • 前言 也许你已经在生活中见识过AR(即增强现实)技术所带给你的神奇感受了,肯德基搞过的魔法小精灵活动,腾讯QQ做过...
    超级码李阅读 2,378评论 0 18
  • 1. AR的现状 要判断AR行业的未来,就要先调研AR的现状。目前的AR行业有很多技术还未成熟,有不少积极推动技术...
    Goya_AR阅读 8,133评论 0 18
  • 今天放学以后爷爷领着我和妹妹去公园放风筝。啊天上好多风筝啊,有美人鱼的,苏菲亚公主的,有花蝴蝶的,还有小花猫...
    丫丫妈妈_28ed阅读 228评论 0 0
  • 耳机里的单曲循环《不在》,窗外雾蒙蒙,能见度很低。这里有小重庆的美誉,真的是这样的。午睡起来,打开高中课本,准备备...
    依米花Erin阅读 156评论 0 0
  • 提交APP到AppStore的前,以下这些注意事项过一遍,可以绕过不少坑。 1,充值券相关如积分商城等 关于充值相...
    八素阅读 7,288评论 1 2