手机拍照“神仙打架”背后，厂商死磕计算摄影到底在比什么？

如果非要在当下旗舰智能手机大战中选一个最重要的比拼焦点，那大概率是拍照。在iPhone带火了智能手机计算摄影浪潮后，经过十几年发展，如今的旗舰手机拍照基本上可以说是“神仙打架”，普通人很难一眼看出照片之间的明显差异。也正因如此，厂商们开始在拍照方面寻找差异化打法，由于硬件方面旗舰机采用的多是三星、索尼等大厂的通用方案，所以厂商更多将寻求差异的重点放在了软件算法的优化上。

随着AI在手机软件算法中的应用不断加深，如何通过AI算法让一部手机上的多枚摄像头实现良好的协同，实现“1+1+1>3”？成为了提升手机拍照效果的关键。能够利用算力对影像系统进行优化也是手机相比单反相机的核心优势之一。带着这些思考，智东西与旷视研究院研究员范浩强进行了深入交流，对手机多摄背后的AI技术进行了深入挖掘，并探讨了AI计算摄影的前路和未来。
01.拍好一张照片

从手机具备了拍照功能，能够让人们实现把一部相机揣在口袋里之后，大家对于手机拍照能力的追求就从未停止。而手机拍照也经历了几个大家记忆犹新的发展阶段，从硬件性能单薄、单一依靠算法提升画质到手机摄像头数量大幅提升的“堆料”时代。今天，随着手机空间的限制和芯片工艺技术的限制，手机拍照像素数量和传感器尺寸的增速都在放缓，这就更加考验厂商们如何在现有基础上打磨出更好的成片效果。厂商们的思路开始不再只是“如何让一枚镜头变得很强”，而是“如何让多枚镜头可以更好地协同起来”？

通过双摄变焦我们可以实现更好的拍摄效果、利用双摄虚化实现媲美单反相机的光圈效果、通过多摄融合有效提升图片质量，都成为了多摄协同的典型应用。1、拍照不是像素越高越好，需要整个系统的搭配和组合实际上，我们拍照中最常使用到的变焦、虚化、融合功能，都需要多枚摄像头之间的协同，而AI算法则成为了实现这种协同的关键。在变焦方面，大家都知道拍摄不同的对象采用不同焦段可以获得更好的效果，比如拍摄人物通常使用85mm-135mm焦段，而拍摄风景则可能用12-24mm焦段更佳。

因此单一镜头很难满足这些需求，广角、超广角、长焦镜头这些不同焦段的镜头就可以更好地应对这些拍摄场景。不过要知道，手机内部空间极其有限，手机摄像模组尺寸较小，还需要封装很多硬件和系统，所以很难有与单反相同的光学结构，因此目前手机上的镜头大部分都是定焦镜头，只能在特定变焦节点上实现真正的光学变焦。比如我们常见的2倍、3倍、5倍、10倍变焦，而在拍摄这些光学变焦节点之间焦段的画面时，就需要通过“裁切”来实现，同时画面还可能要跨越不同的镜头。这时，要实现多枚不同焦段镜头之间更平滑的连续变焦，就需要算法的加入。通常来讲，比如在拍摄1.5倍变焦时，算法会将画面中心区域替换为更加清晰的2倍长焦拍摄画面，而四周则可以用1倍主摄的成像，将两者结合起来，实现双摄的融合。

范浩强也提出了一个很有意思的问题，如今主摄像素越来越高，为什么不可以直接通过主摄裁切实现变焦呢？实际上，对于提升拍照效果来说，并不是单个镜头像素越多，画质越好，手机拍摄成像，需要整个系统的搭配和组合。比如镜片组的光学分辨率、CMOS图像传感器的分辨率和信噪比以及OIS的防抖性能和成片率都会综合影像最后的成像效果。如今大家一提到手机变焦拍照，总会感叹苹果iPhone不同镜头之间切换的顺滑和画面白平衡的一致性，其实在这背后，就是苹果对于整个拍照系统众多要素做到了很好的整合和平衡。2、如何实现更好的虚化效果，深度信息计算是关键在人像拍摄或者一些静物拍摄时，我们总是渴望更好的背景虚化效果，实际上这需要“大光圈”的加持，但由于物理上手机的尺寸存在瓶颈，所以厂商们就尝试通过另一个思路，将不同摄像头获得的图像信息结合起来实现更好的虚化效果。这其中，主要利用了视差的原理。摄像头之间存在距离，就会出现视差，视差也会给出物体深度的信息线索。基于双摄视差信息的深度计算，我们就可以进行大光圈模拟，实现更好的物体拍摄背景虚化效果。

虽然视差越大，距离测量越精确，但视差过大也会让多摄融合更困难。因此，找到合适的视差并辅以良好的算法调教就成为了关键。此时AI也就找到了自己的用武之地，在很多场景中，物体上会有很多复杂的细节，比如线条、毛发、物体边缘的复杂结构等等，这时利用AI算法进行深度估计，就可以实现更精准的深度信息计算。通过样张对比我们可以清楚地看到，借助旷视基于AI深度学习的算法，手机可以更好地识别出被摄对象与背景的深度信息，从而实现更精准、更自然的虚化效果。

除了变焦、虚化，通过多主摄之间的融合算法，手机还可以拍出更加细腻和清晰的图像。比如很典型的应用就是通过彩色和黑白镜头的组合拍出更好的暗光环境照片。
02.拍照提升需要产业链合力

在这些出色拍照效果的背后，其实不是手机厂商一个人努力的结果，而是需要整个手机产业链的协同才能实现，这里面，有CIS芯片厂商、镜头厂商、模组厂商还有硬件之外的软件算法提供者。手机拍照算法的调教，就需要这些玩家之间形成良好的配合，比如算法厂商有怎样的算力需求，什么样的硬件可以提供怎样的性能、实现怎样的算法？同时，不同的软件算法究竟能够实现怎样的拍照效果，都是需要与镜头、传感器、手机终端厂商深入协同的，需要实际测试才能证明自己的方案是否可行。这也是为什么很多手机厂商都会组建专门的影像团队，与产业链上的各方进行更加深入的协同调教。在范浩强看来，算法是多个摄像头之间联动的纽带，已经成为手机拍照能力至关重要的一环。

旷视自2016年起开始研发多摄技术，经过5年多的技术迭代和优化，如今AI多摄算法已在多款主流安卓手机中实现技术应用落地，并且做到了业内的领先水平。旷视将手机拍照的过程看作“光感知系统”，而他们也是率先提出用AI技术重新定义这一过程的厂商。在他们看来，在融入AI后，光感知系统将从“硬件升级——算法辅助——优化后期处理”这种相对流程化和独立化的传统运作方式转变为软硬件“一体化协同升级”。

基于这样的理念，旷视将AI算法与手机光学系统、传感系统结合，通过图像识别、融合、增强、分割等方式去进一步提升了手机的拍照能力和成像质量。目前在图像对齐领域，旷视基于深度学习的算法可以更好地算出画面的深度信息；而在图像降噪方面，他们的算法能够最大程度地在保留细节的同时提升信噪比。

旷视的多摄融合算法采用神经网络设计模型，可以解决清晰度不均匀、主体边缘线条弯曲、部分位置重影、线条断裂错位等传统多摄融合算法中的常见问题。基于多年的技术积累和项目工程落地经验，旷视的双摄虚化、多摄平滑变焦、多摄融合等算法已经具有了比较强的泛用性，可适配多种模组组合和排布方式，以应对更多终端厂商的需求。

范浩强说，当下基于AI计算摄影的手机拍照已经是光、电、算一体化的过程了，涉及光信号、电信号、AI计算等多个环节。“摄像头不是越多越好，也不是越大越好，重要的是要素之间的匹配。”经过多年发展，如今手机影像技术的发展已经是软硬件一体化同步推进的了，算法和硬件要放在一起规划考量，举个很简单的例子，如果脱离了算法，一些摄像头甚至就失去了存在的意义，比如黑白摄像头，是很少有单独使用的场景的。而就当下来看，相比人眼的图像信息获取能力，手机拍照的提升空间依然巨大，可以说不论是硬件还是软件都有很多瓶颈需要突破。对于手机拍照的未来发展，旷视也进行了大胆的展望，他们认为手机拍照将会是AI驱动的图像获取过程，从“所见即所得”到“所想即所得”。也就是说，AI会判断用户的意图，然后对传感器等硬件进行更好的控制、融合，从而实现用户想要得到的画面。
03.死磕AI视觉十年
多摄协同背后是硬核技术背书

在手机拍照领域，目前呈现一种趋势，随着算法的不断迭代成熟，越来越多的玩家都在布局手机拍照算法，甚至很多终端厂商希望将算法掌握在自己手里。这就更加考验算法厂商如何在竞争激烈的市场中找到适合自己的玩法。AI的加入让影像系统的算法之争又上升到了一个更高的维度，而这也需要大量研发人员、大量研发资金的投入来慢慢打磨。十年前，旷视进入了AI视觉这条赛道。从面部识别到AI计算摄影，他们一直在拓展自己在AI算法领域的研究边界。目前旷视深耕计算摄影领域，在手机AI影像技术领域拥有多项专利，拿下了不少头部智能手机玩家的订单。在交流过程中，我了解到，其实这些AI深度学习算法，之所以可以做到应对各种场景都得心应手，背后是基于庞大数据的反复训练以及算法的不断调教优化，需要算法研究员付出大量的时间与精力。当然，这背后离不开旷视自研AI生产力平台Brain++的能力做支撑。除此之外，旷视搭建了自己的光学实验室、图卡实验室等专业实验室，进一步提升自己在手机AI影像领域的技术积累。

值得一提的是，旷视在策略上还与手机重点客户进行深度绑定，深入挖掘每一个厂商的需求，从而找到机会。实际上，每家终端厂商对于产品的设计和定位都是不同的，每一款手机的拍照要达到怎样的程度，实现怎样的拍照效果，都不尽相同。尤其在当下，市场越来越垂直化，主打更加细分的人群，这也给算法厂商们提供了更多的机会。
04.结语：AI多摄技术未来还有很大想象空间

在硬件趋同的大背景下，计算摄影仍然是手机厂商们需要死磕的一个命题，而AI在多摄协同领域的应用成为了当下比拼的一个突出焦点。随着拍照软硬件系统整体的复杂度越来越高，通过深度学习神经网络找到最优参数的解法，其优势逐渐突显。在手机AI计算摄影这条路上，旷视找到了属于自己的核心要诀。毫无疑问，在手机拍照领域，软硬件的协同还会进一步加深，而厂商们还会带来怎样有趣的玩法、提供怎样新鲜的拍照体验？都值得期待。

发布日期：2021年10月14日

来源：  智东西