2016年7月15日(light field 光场技术, magic leap使用原理之一)

Light Field Imaging: The Future of VR-AR-MR- Part 4: Jon Karafin (youtube, Lytro CEOpresentation)
Gordon Wetzstein: "Why should we care about light field displays?" (youtube,advanced knowledge)
The Lytro Light-Field Camera: How It Works (article)
Light-Field technology is here! Smart phone focusing after taking the shot (article)
两则视频,两篇报道,了解光场技术!

Paste_Image.png
Lytro相机可在拍摄后自由选取聚焦点
光线穿过透镜阵列示意图
Adobe和Nvidia的微型透镜阵列原型

翻译一下article里对原理通俗的描述:

The technology is based on the idea of a light field, or "the amount of light traveling in every direction in every point in space," Ng says. While a conventional camera captures just a two-dimensional image of the light as it enters the camera, a light-field camera also captures the direction that the light was coming from.
这项技术(Lytro光场相机)是基于光场这个概念的,用Wu(创始人)的话来说就是:“从所有方向,穿过空间中所有的点,的光,的多少”(呵呵)。一个传统相机记录的是光进入摄像机的二维图像,一个光场相机更能做到捕捉光进入的方向(天顶角、方位角)。

A normal camera has a lens, a sensor for recording the image, an aperture to allow a certain amount of light into the camera and a shutter to time how long the sensor is exposed to that light. All those working in concert create (hopefully) a well-lit single image. But in a light-field camera, there's an extra layer called a microlens array, which is placed between the sensor and the lens. This layer is composed of multiple smaller lenses, which allow the sensor to record more information about the incoming rays of light, including the light coming from different distances away from the camera.
传统(数码)相机有许多透镜、感光元件、光圈(调节多少光进入)和快门(调节曝光时间)组成。他们足够拍一张好照片了。但是在光场相机的摄像头和感光元件之间,多了一层叫“微型透镜阵列”的东西。这东西不得了,它能帮助记录物体离相机的距离(这样就可后期加工景深了aka聚焦在不同位置。利用的是光场的额外信息,而不是仅仅靠算法,虽然还是加工出来的)

That extra information is the key to Lytro's trick. "In order to be able to focus after the fact, you have to collect the light field," Ng says. The additional recorded information allows software to manipulate the image, translating the stored information into what Lytro calls living pictures that can be refocused interactively, or even into three-dimensional pictures. The software essentially does the work of a physical camera, performing algorithms on the information collected by the light-field camera to mimic the physics used to focus a traditional camera.

数码相机|光场相机对比

更通俗的版本!:

Basically the idea of the so called **light-field **technology is that depth of field information is stored by taking a picture with arrays of pixels instead of single pixels.The resulting directional information can help a computer (or smart phone for that matter) calculate depth of field information after the shot has been taken.
光场技术,基本上就是用像素阵列而不是单个像素,来记录方向数据。在拍摄照片之后,我们可以用记录下的方向数据来计算景深(从而调焦距)。


关于magic leap是如何利用光场的, 非技术人员,无责任猜测:

magic leap原型,注意背景里的“人眼光学解构”墙报
淘宝上的光纤灯

不出意料的话,magic leap是对光场相机技术的逆运用!

如上图的光纤灯,如果把光纤末端对准墙壁,你一定会看到一个五彩斑斓的投影。小时候家里也有一个这样的光纤灯,宜家出品。把玩的时候(经常玩坏就是了),我就在想,有没有可能用光纤投影出一整副照片呢?

答案是肯定的:华盛顿大学的Eric Seibel一直致力于完成这样的研究。(老实说在看到他的研究之前我早已忘记自己提过这样的疑问-.-) Scanning Fiber Endoscope (youtube)(这是对光纤内窥镜的逆运用)

Paste_Image.png

继续往下想,如果我们投影的不是二维图片,而是经过编程的四维光场(四维就是有四个变量来描述这个场),包含RGB、光强度和景深信息,是不是就能投影出一具3D物体了呢?

就像光场相机记录的图片可以合成3D图片,反过来,电脑里的3D模型也可以经过光场化,再投影在现实世界里。当然,可能要经过特殊的微型透镜阵列!

Paste_Image.png

即使是这样,分辨率、压缩和计算机感知(知道使用者相对3D模型的位置)仍然是让人担忧的问题,不过就magic leap的实力来说不在话下。估计今年(2016)年底会有大动作,明年(2017)年底就可以当年货卖了:)

这篇文章对光场投影提供了依据:
A Compressive Light Field Projection System——MIT
知乎上也有牛人提点:
Magic Leap 和微软的 HoloLens 相比有哪些异同点?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,716评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,558评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,431评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,127评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,511评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,692评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,915评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,664评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,412评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,616评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,105评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,424评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,098评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,096评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,869评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,748评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,641评论 2 271

推荐阅读更多精彩内容