×

Dual Pixel 全像素双核乱弹

96
之乎
2016.09.01 22:53* 字数 4154

Dual Pixel 功能是佳能公司在2013年,随着EOS 70D的发布,一并推出的新构造。
今年(2016)恰逢5D4推出,功能上也迎来了重大更新。不妨乱弹一发。

不感兴趣的可以走了

目录

  1. <a href=#harw>硬件实现</a>
  • <a href=#func>功能描述</a>
    2.1. Dual Pixel CMOS AF
    2.2. Dual Pixel RAW
  • <a href=#dualiso>创造性发明,Dual ISO</a>
  • <a href=#patn>专利壁障?<a href=#func>
  • <a href=#summ>关于 Dual Pixel 的小结</a>
    5.1. 强加的功能?
    5.2. 宽容度
  • <a href=#dync>关于宽容度提升的其他手段</a>
    6.1. 机内多拍HDR
    6.2. 区域匹配和高光色调优先
  • <a href=#reff>参考链接</a>

<a id="harw">硬件实现</a>


简而言之,Dual Pixel 就是在单像素的单一透镜下埋设了一对互相独立的光电二极管。

来自佳能官方说明

这样的设计带来的好处后文展开,而翻倍的带宽和处理需求却是实打实的,70D即开始启用DIGIC 5+这一新处理器。

机型

截至2016年9月,以下单反机型具备 Dual Pixel 构造:

  • EOS 70D
  • EOS 80D
  • EOS 7D MarkII
  • EOS 5D IV
  • EOS 1D X MarkII
    部分摄像机此处不提

佳能在70D后的中高阶机型上均有配置,除了5DS/R机型,可能与极高分辨率下,新制CMOS及带宽供应等因素有关。

而在80D世代的机型,基本已经支持全体EF镜头了。相关兼容性列表请查阅此处

佳能EF镜头是一个宝库

2017年,新发的EOS M6也支持该功能,可说是EOS M系列机型的一大更新。

<a id="func">功能描述</a>


这个功能目前来看已经有了两个分支:

  • Dual Pixel CMOS AF ,官方译作 全像素双核自动对焦
  • Dual Pixel RAW,官方似乎称之为 全像素双核RAW

虽说 Dual Pixel 直接叫『全像素双核』有点太过敷衍,不过官方既然喜欢那就行。先来看看具体功能。

Dual Pixel CMOS AF

这个功能源起,和片上嵌入式的相位点对焦(Phase detection)有关。在之前鄙人写的《自动对焦简介》中有提及,富士公司最早做出了内嵌入传感器的相位点(2010年,机型为F300EXR),可以用于自动对焦。

由于其带来了相比对比度方式(Contrast detection)的快速对焦体验,且可以在小体积设计,如手机、无反中使用,之后各传感器生产企业都有涉足。佳能公司之前的Hybird CMOS AF就是结合了该技术与对比度对焦实现的。

EXR传感器是SuperCCD式的蜂巢排布,黄点为对焦点

实际使用中,黄点(相位对焦点)进行了一半像素的遮蔽,与另外一枚做相反处理的像素点构成了一对相位对焦传感器。这样可以得到来自从镜头不同位置入射光线的比对信息,当重合时即判为合焦。

这样做法的缺点在于,对焦点本身因为遮蔽的关系,并不能参与成像。但是反过来说,目前传感器动辄千万像素,少掉的点使用插值方式恢复,并不会影响全局成像效果。

佳能采用单像素双二极管的方式,不需要遮蔽,直接就可以通过读取一侧的方式来作为相位点使用。而成像时,读取一对传感器即可以让对焦点参与成像。
更为重要的是,佳能以此实现了覆盖全传感器范围的对焦点,理论上随着算法改良可以获得更好的对焦效果。

Dual Pixel RAW

Dual Pixel RAW是2016年8月,随5D4发布而来的新的动向。并没有增加新的硬件设计,而是在原有架构基础上,基于软件/固件的改进。

这次的更新带来了三个小功能:

  1. 对焦微调(Image Microadjustment)
  2. 虚化偏移(Bokeh Shift)
  3. 鬼影控制(Ghosting Reduction)

需要在机身内菜单中启用


启用后,会保存为特有的RAW格式,相比同机普通的RAW文件,差不多是2倍体积。

因为听闻有展示机可供体验,于是拜访了佳能影像中心。


位于上海大世界的体验厅

然而该机的存储卡仓是密封的,不允许取出,该功能也无法在机内编辑展现。同时店内似乎也没有获得更新的佳能DPP软件,故无法一览该功能实际效果。

然而同时,部分获得测试用相机的媒体们,如DP Review已经有了体验。基本感受为,对焦微调不是之前预想的如光场相机一般的万能灵药,而只是较小幅度调节的一种修补;虚化偏移也并不是单纯带来更好的虚化效果(以拯救焦外二线性重的镜头),而更多是帮助前景虚化遮挡。

DPR的编辑萌萌的 [源](https://www.dpreview.com/reviews/canon-eos-5d-mark-iv-first-impressions-review/5)

鬼影控制可能最为实际,确实可以在眩光发生后,选择较小的眩光照片。

示例如下,来源请参见本文最后列表:


<a id="dualiso">创造性发明,Dual ISO</a>


佳能用户忍了非常久,所以很久之前就有玩家揭竿而起,推出了修改版的准固件,来提供更多的功能。
从早年的CHDK,到现在大热的魔灯(Magic Lantern),都是这股浪潮下的产物。

魔灯是个大旗,试问谁不爱ML

魔灯固件实现了很多原本并不具备(但是可能其他家有了)的功能,比如峰值对焦(Focus Peak)、斑马纹(Zebra)、向量色度(Vectorscope)等等。

2013年,魔灯论坛的一位叫做** a1ex **的玩家提出,让奇偶行分别使用 ISO 100 及 ISO 1600 进行曝光,然后再进行合并处理,可以拓展可用宽容度,并且实现较为细腻的成像。他的相关论文在此

拍摄回放,得到的是明暗相间的画面

因为佳能传感器的长期发展问题,一直在动态范围上不及索尼同期传感器表现。使用这样跨档的ISO进行同参数曝光,之后合并,可以扩展最终的宽容度(虽然跨了4档,但是因为高ISO时的宽容度缩减,实际相当于增加了3档)。

左边采用Dual ISO,可以看到暗部表现上升 [源](http://www.dcfever.com/column/read.php?id=2739)
左边采用Dual ISO,可以看到暗部表现上升 [源](http://www.dcfever.com/column/read.php?id=2739)

这样做的一个明显缺点,就是造成了画面纵向分辨率损失一半。但是对于视频这样相对不敏感的应用,以及不需要放到墙壁那么大小的输出的情况,更多的宽容度和更少的噪点总是在天平上权重更大一些。

[教学贴](http://www.magiclantern.fm/forum/?topic=7139.0)中的例子,右上采用了Dual ISO,左下为原生 ISO 100 后期增益

话又说回来了,Dual Pixel 的硬件基础,是在同一个像素位置下有两个独立的光电二极管,
那如果让这两处使用类似 Dual ISO 的方式曝光,就可以大大避免使用奇偶行方式带来的分辨率减半问题

佳能为什么不把这个功能做进来呢?

我想了想。

<a id="patn">专利壁障?</a>


我想起来松下的一台摄像机,于2014年推出的** Varicam 35 ,该机器配置了一个功能,叫做『Dual Native ISO*』。类似地,单像素下两套电路(对比,单像素下埋设了一对二极管)(原文“ there are two analog circuits right after each pixel before the gain amp *”)。

这个功能可以在 ISO 5000 下提供高可用性的纯净画面,类似于 ISO 800 时的效果 —— 一般称作这类机型的原生ISO,故又得名双原生ISO可以观看Michael Cioni 关于 Dual Native ISO 的演示

对于只拍照的人,松下可能是个被忽视的厂牌,然而人家也算是视频应用中掷地有声的存在

很可能松下因为使用了这样的设计,顺手把相关影像处理的专利注册了,使得佳能在应用上无法绕开?而没能产出『提升三档宽容度』的功能(这对现在的佳能,对佳能现在的主流机型相当重要)。
不过5D4具有的4K功能,似乎也拥有类似松下 4K PHOTO 的功能……不晓得双方是否已经达成了不为我所知的互换?或许可以开个脑洞,空穴来风一发。

顺带一提,今年(2016)推出的紧凑款型** VariCam LT **也具备了 Dual Native ISO 功能。

<a id="summ">关于 Dual Pixel 的小结</a>


Dual Pixel 是佳能公司在新时期,专利制程等条件制约下的一步棋。从对焦来看,对机器是有帮助的;但是制造上颇为费事,数据量的问题会造成一时困难,但是随着时间推进,会逐步解决。

强加的功能?

而在硬件基础建设完成后,佳能的工程师们开始“找功能”,以实现这种大动筋骨投资的增值。
举个例子,
你妈妈买了一台榨汁机,虽然投资稍微有点贵,但是这是长期的,而且打出来果汁确实好喝且放心。
但是你妈妈开始寻找“增值业务”,然后有一天你发现原本好喝的果汁不对劲了,一股难以容忍的涩涩的味道……你的娘亲,你的亲娘,好像是听谁说"加菜叶还挺不错的"……于是你就遭殃了。

用菜叶榨汁来形容新添加的 Dual Pixel RAW 有点过分,因为从目前来看,给人的印象最多是一定程度的“难堪大用”,而不是恶心。

宽容度

另外一方面,佳能传感器被诟病最多的是宽容度(动态范围),这次5D4采用的片上ADC模数转换器(On-chip ADC),带来了速度提升,所以可以支持到4K视频;虽然从索尼方面来看,对其他帮助有限,但是5D4的宽容度也算是给5D系列长脸(可见DPR文章),可惜还是不如索尼传感器机型。

不知道佳能是否有利用 Dual Pixel 进行宽容度扩展的计划;如果有,其实现在的硬件已经完备,升级可能就是一个固件的事情……而一个固件带来涨价,我们也是在索尼A7M2上见证过了的。
如果说佳能利用 Dual Pixel 提升宽容度的官方可能被堵上,那么最值得期待的也许还是 Magic Lantern ,他们可以用第三方身份来实现该功能,可以说尽可能避免了法律上的风险,而佳能的机身,也可以得到与索尼传感器机型一战的机会……

可是5D4仍然比一套A7R2加上适马MC-11还要贵

<a id="dync">关于宽容度提升的其他手段</a>


还有其他的宽容度提升方案,试举例。

机内多拍HDR

一个是差不多2009年左右兴起的功能,可能最早出现的是索尼带X的小型数码相机,HDR功能。采用了包围曝光,连拍多张,然后进行机内合成,拓宽了宽容度范围。

之后还扩展到了单反和SLT机型,如α550和α55。特别是后者,因为得益于固定式半透明反光镜,连拍速度提升,使得可用性极高。

索尼α550,利用连拍HDR,可以扩展3EV [源](http://dc.watch.impress.co.jp/docs/news/interview/342278.html)
索尼α550,利用连拍HDR,可以扩展3EV [源](http://dc.watch.impress.co.jp/docs/news/interview/342278.html)

但是这样的照片,不能拍摄动态的物品,或者说同时性要求高的对象。

区域匹配和高光色调优先

柯尼卡美能达末代机型上有一个功能,可以选择让特定ISO条件下,扩展高光或者阴影宽容度表现,接近1EV,该功能被称作 Zone Matching,译作区域匹配
索尼接盘后,仅在有限的几台机器上有出现该功能。

笔者自己α5D上的区域匹配功能,Hi200可以保留更多高光信息

佳能公司在1Ds MarkIII(差不多40D的年代),在机器上配置该类似功能,与索尼不同,佳能在EOS数码机身上,从上到下都配置该功能。其被称作 Highlight Tone Priority,译作 ** 高光色调优先 ** —— 虽然说怎么看这里Tone翻译作『影调』都更好……但还是那句话,佳能开心就好~
HTP可以让高光好约一档,比如你可以看看DPR的7D评测;同时,开启该功能时,佳能会提示用户,暗部噪点可能会轻微增加。

不论是 HTP 还是 Zone Matching ,这两个有点相似的功能都不是DRO那种jpg玩玩的野鸡货,而是实打实RAW文件有效的功能
当然,很有意思,我身边用佳能的朋友,似乎没几个听说过该功能;反而是DP Review在马三到40D的时代就注意到了,所以他们家的动态范围评测,都会标注是 HTP On 还是 HTP Off 的测试条件。

被遗忘的富士公司

其实在 Dual ISO 的论文之前,富士公司就在自己特有的 SuperCCD 上实践过不同像素采集不同曝光条件的可能。具体来说,就是末代的单反 S5 Pro 最有代表性。闪卓博识曾经转载过 Ryan Brenizer 的关于S5惊人宽容度的文章 (没错,这个人就是Brenizer Method的发起人)

为什么不玩下去,可能有说不清道不明的原因……比如财务?
富士公司在X100大卖之后,走的则是定制传感器的路子,应该就是索尼公司来制造,但是排序等由富士公司来设计的 X-Trans 传感器……不知道会不会有一天回到宽容度的路子上。

Super CCD 使用了六角形的像素排布,从有限空间来看,还有分辨率提升的优势。索尼公司电影机上的菱形排布(Q67排列、Q67 sensor pattern)与此应该也有借鉴关系,例如F65,也有看到。不过这个和宽容度提升的关系,相对就不大了。

<a id="reff">参考链接</a>


佳能的介绍
全像素双核CMOS AF - 佳能(中国)
http://www.canon.com.cn/specialsite/dualpixelcomsaf/

EOS 70D开发访谈 - 佳能(中国)
http://www.canon.com.cn/specialsite/eos70d/interview.html

全像素双核CMOS AF(Dual Pixel CMOS AF)对应镜头一览 - 佳能(中国)
https://www.canon.com.cn/products/camera/eos/data/dual_pixel_cmos_af.html

Dual Pixel CMOS AF的解析
撞针前辈关于双像素对焦的解释
《草评Canon Dual Pixel CMOS AF》
http://blog.sina.com.cn/s/blog_537633d70101cdqt.html

媒体们解读Dual Pixel RAW
5D IV 正式推出,解構新功能「Dual Pixel RAW」 - Photoblog.hk
http://photoblog.hk/wordpress/169304/5d-iv-%E6%AD%A3%E5%BC%8F%E6%8E%A8%E5%87%BA%EF%BC%8C%E8%A7%A3%E6%A7%8B%E6%96%B0%E5%8A%9F%E8%83%BD%E3%80%8Cdual-pixel-raw%E3%80%8D

Canon 5D IV Dual Pixel RAW Insights - imaging-resource.com
http://www.imaging-resource.com/PRODS/canon-5d-iv/canon-5d-ivDUAL_PIXEL_RAW.HTM

Canon EOS 5D Mark IV First Impressions Review - DP Review
https://www.dpreview.com/reviews/canon-eos-5d-mark-iv-first-impressions-review/5

Dual ISO相关
Dual ISO - massive dynamic range improvement (dual_iso.mo) - Magic Lantern Forum
http://www.magiclantern.fm/forum/?topic=7139.0

Open Source Brings High-End Canon 5D MK III Dynamic Range Closer to Nikon D800 - Zdziarski's Blog
http://www.zdziarski.com/blog/?p=2792

Canon DSLR 解封 - 淺談Magic Lantern (Part 02) - Dual ISO
http://www.dcfever.com/column/read.php?id=2739

松下的Dual Native ISO
Panasonic Varicam 35 has a dual native ISO of 800 and 5000 – how do they do it? - NEWS Shooter
http://www.newsshooter.com/2014/11/28/panasonic-varicam-native-iso-of-800-and-5000-how-do-they-do-it/

Michael Cioni 关于 Dual Native ISO 的演示
https://vimeo.com/112329673

之乎 于2016-09-01
特别感谢基友群讨论与指导,感谢丁丁陪同佳能展厅“踢馆”。

留影魔匣
Web note ad 1