你的iPhone有两个镜头,为什么不一起用

你的iPhone有两个镜头,为什么不一起用

手机科技

数据源:HN + web research · HN

你的手机背面有好几个镜头,但每次按快门,真正拍下画面的只有一个。剩下的镜头平时在干嘛?拍人像时帮忙”算距离”,切换变焦时偶尔补个位,大多数时候闲着。这两天,一款叫 Photosynthesis 的应用把这种分工打破了:它让两个镜头在同一瞬间按下快门,再把两张照片合体成一张——中间的部分用更清晰的镜头,四周的部分用更宽广的镜头。项目被发到程序员社区 Hacker News 后,引来一百六十多条讨论。

两个镜头隔着大约一厘米,看到的画面略不一样

先解释两张照片为什么能合体。iPhone 背面的镜头不是摞在一起的,两颗镜头中心大约隔了一厘米。位置不同,看同一个场景的画面就有细微差别:近处的东西,两个镜头看到的偏移更明显;远处的景物,两张图几乎一模一样。

这个差别有个名字,叫”视差”。人眼靠它感知距离——两只眼睛各看各的,大脑把两幅图一对比,就能判断远近。手机的人像模式用的也是这套原理:两幅画面一对比,算出谁在前谁在后,再把背景做模糊。这意味着视差这项本事,手机早就用起来了,只是以前一直用在”算距离”上。

Photosynthesis 把它用在另一个地方:计算两张图的偏移量。既然画面只是错开了一点点,那就按同一个坐标对齐、叠起来,当成一张图处理。

一个负责看得宽,一个负责看得清

合体的关键是分工。iPhone 上两颗镜头的本事不一样:主摄像头看得宽,细节一般;长焦镜头看得远,能捕捉更细的纹理,但视野窄。以 Pro 机型为例,长焦能拍到主摄 2 倍、3 倍甚至 5 倍的画面。这意味着中间那块区域里的细节密度,可能是四周的好几倍。

取景器绿色括号 图:取景器里的绿色括号,标出高细节镜头负责的中央区域——Pro 机型是 1 倍主摄配 4 倍长焦。来源:photosynthesis.camera

Photosynthesis 的做法是:把取景器分成两块,中间用绿色括号标出的区域,交给更清晰的镜头;括号外面的大片画面,交给主摄。一按快门,两颗镜头同时拍下各自的画面。没有长焦镜头的 iPhone 也有玩法:主摄负责中间的细节,超广角负责四周更宽的场景,把”看得清”和”看得宽”拼成一张。

这有点像人的眼睛:人眼视野很宽,但真正高分辨率的只有正中间一小块,大脑靠快速转动眼球来补足四周。中心清楚、四周宽泛,本来就是人眼在用的策略——把更多细节放在观看者最注意的地方。

书店样张 图:隔着整间屋子拍的书架,书脊上的字依然清晰可读,这是双摄合体的效果。来源:photosynthesis.camera

两张图怎么变成一张:对齐、取优、抹平接缝

真正的难点在合成这一步,大致分三步。

第一步,对齐。两个镜头隔了一厘米,同一根柱子在两幅图里的位置不同,软件要先算出偏移量,把两张图叠严实。视差在这里既是帮手也是麻烦:远景偏移小、好对齐;近景偏移大,靠近镜头的物体边缘容易错位。

第二步,取优。中间那一块用长焦的高细节画面,四周用主摄(或超广角)的宽广画面,谁擅长谁上。

第三步,抹平接缝。中间清晰、四周稍糊,交界处如果生硬,就会像卫星地图上清晰区和模糊区拼出的”补丁”。开发者在讨论里解释过处理办法:把接缝做”羽化”,让清晰和模糊在交界处缓慢过渡,再统一两张图的颜色和明暗,避免中间和四周色调不一致。

顺带一提,如果两张图曝光不同,还能合并明暗信息:一张保亮部的层次,一张保暗部的细节,合起来明暗层次更丰富。这是 HDR 的老思路,双摄融合也能顺手做。

这么简单的想法,为什么以前没人做好

评论区有人问了一个很直接的问题:“手机上的多个镜头到底是干什么用的?难道只是装饰?“其实多摄合体这个想法并不新鲜:2017 年有一款叫 Light L16 的相机,背面塞了 16 个镜头,专为把多张图合成一张高分辨率照片而生,最终因为价格和体验问题停产;诺基亚 2019 年的 Nokia 9 试过五摄合成;更早的 2014 年,亚马逊 Fire Phone 也做过类似的事。概念不新,说明难点在别处。

难点一,两颗镜头必须同一瞬间按下快门,差几毫秒,运动物体就会重影。难点二,不同焦段的画面透视不同,几何校正很麻烦。难点三,视差会让近处物体的边缘对不齐——评论区有人指出,某张自拍样张里,耳朵的轮廓出现了可见的错位。开发者自己也在讨论里承认,不是每张样张都完美,不少网友觉得部分样张还不如官方相机直出,颜色和对比度也常常”居中调和”后变得平淡。

评论区还有一句很一致的评价:“这不就是专业相机玩剩下的多帧合成?“话有道理,但两者其实不同:专业相机的多帧合成用同一颗镜头连拍多张,解决噪点和暗部;Photosynthesis 是两颗镜头同时拍,解决”既要看得宽、又要看得清”这对矛盾。难的是把每一步都做到不出错。

官方相机为什么不这么做

说苹果”没想到”,并不公平。苹果从 2016 年起就在系统里做多摄融合,2019 年的 iPhone 11 又加入了 Deep Fusion(同一镜头连拍多张再叠加细节)和夜景模式。也就是说,官方相机一直在做”多张照片合成一张”,只是全程自动、用户无感。

那为什么官方不把”双镜头同时拍”做成默认?笔者的理解是:官方相机追求的是绝大多数场景下结果稳定,而双摄融合在近景、运动物体面前容易翻车,同时驱动两颗镜头还会带来功耗和处理时间的开销。收益集中在少数场景:演唱会这类”既要远处清晰、又要现场氛围”的场合,以及拍完想自由裁剪的照片。

音乐节舞台样张 图:音乐节舞台样张——远处乐队保持清晰,近处的观众和氛围也没丢。来源:photosynthesis.camera

另外还有一层背景:2019 年苹果才向第三方开发者开放”多摄同时采集”的接口。这意味着这个玩法对独立开发者来说,技术上可行其实只有几年时间。Photosynthesis 选择的路线也和官方相反:官方替用户做决定,它把决定权交给用户——用绿色括号明明白白告诉用户”中间这块更清晰”。

这款应用目前还在早期测试阶段,预计 2026 年夏天正式上架,收费方式是订阅制,免费版每月只能导出 3 张照片。这意味着想认真试用,基本绕不开付费,这也成了评论区争议最大的话题。

写在最后

笔者无意给这款应用下结论。它能不能成,要看正式版的成色;但这件事真正值得留意的,是另一个现象:手机上的镜头数量早就超过了日常所需,多出来的硬件一直在等一个软件把它用起来。视差、动态范围这些术语听着唬人,落到生活里不过是”两个镜头各拍各的,再合成一张更好的”——想法本身不难想到,难的是有人愿意把每个细节做扎实。

参考链接:

  • Photosynthesis 官网:双摄同时拍摄与融合的应用介绍、样张对比
  • Hacker News 社区讨论《Show HN: iPhone app takes simultaneous images from 2 lenses, fuses into 1 photo》(item id 49226623,开发者本人参与回应)
  • Apple WWDC 2019 开发者视频:iOS 13 起向第三方开放的多摄同时采集接口
  • PetaPixel 评测:Light L16 十六镜头相机的成败复盘