看人工智能如何改变摄影技术

如果你想知道你的下一款手机的摄像头会有多好，那么请注意一下制造商们对人工智能的评价还是比较明智的。除了天花乱坠的宣传，在过去的几年里，摄影技术已经取得了惊人的进步，而且我们没有理由认为这一进步会放慢脚步。

可以肯定的是，这里仍然有很多花招。但最近最令人印象深刻的是，摄影技术的进步是发生在软件和硅的层面上，而不是传感器或镜头。这在很大程度上要归功于人工智能，可让相机更好地理解它们所看到的东西。

谷歌Photos清楚地展示了2015年这款应用发布时，人工智能和摄影的结合是多么强大。在此之前，这家搜索巨头多年来一直使用机器学习在谷歌+中对图片进行分类，但其照片应用程序的推出包含了面向消费者的人工智能功能，这对大多数人来说是难以想象的。一夜之间，用户杂乱的图书馆里成千上万张没有标记的照片被转换成了可搜索的数据库。

谷歌是在2013年收购DNNresearch的基础上建立起来的，它建立了一个深度神经网络，对人类标记过的数据进行训练。这叫做监督学习;这个过程包括在数百万张图像上训练网络，这样它就可以在像素级别上寻找视觉线索来帮助识别类别。随着时间的推移，该算法在识别熊猫(比方说一只熊猫)方面变得越来越好，因为它包含了过去用来正确识别熊猫的模式。例如，它可以了解黑毛和白毛的关系，以及黑毛和白毛的区别。经过进一步的训练，我们可以搜索更抽象的词汇，如“动物”或“早餐”，这些词汇可能没有常见的视觉指示，但对人类来说仍然是显而易见的。

训练这样的算法需要大量的时间和处理能力，但是在数据中心完成它们的工作之后，它就可以在低功耗的移动设备上轻松运行了。繁重的工作已经完成，所以一旦你的照片被上传到云端，谷歌就可以使用它的模型来分析和标记整个库。谷歌Photos发布大约一年后，苹果宣布了一项类似于在神经网络上训练的照片搜索功能，但作为公司对隐私承诺的一部分，实际的分类是在每个设备的处理器上单独执行，而不发送数据。这通常需要一到两天的时间，在后台进行设置。智能照片管理软件是一回事，但人工智能和机器学习可以说对如何首先捕捉图像有更大的影响。是的，镜头会越来越快，传感器也会越来越大，但我们已经突破了物理学的限制，将光学系统塞进了轻薄的移动设备中。尽管如此，如今手机在某些情况下拍出的照片要比很多专用的照相设备更好，这并不罕见，至少在后期处理之前是这样。这是因为传统相机无法在另一类硬件上与之竞争，而这类硬件对于摄影来说同样意义深远:芯片上的系统，它包含一个CPU、一个图像信号处理器，以及越来越多的神经处理单元(NPU)。

这就是所谓的“计算摄影”(computational photography)所利用的硬件。“计算摄影”是一个宽泛的术语，涵盖了从手机肖像模式中的假景深效应到帮助提升谷歌像素惊人图像质量的算法等方方面面。并不是所有的计算摄影都涉及人工智能，但人工智能肯定是其中的一个主要部分。

苹果利用这项技术来驱动其双摄像头手机的肖像模式。iPhone的图像信号处理器使用机器学习技术来识别一台相机上的人，而第二台相机则创建一个深度地图来帮助隔离主体和模糊背景。通过机器学习识别人的能力在2016年首次出现时并不新鲜，因为照片组织软件已经在这么做了。但以智能手机摄像头所需的速度实时管理它是一个突破。

然而，谷歌仍然是这一领域的明显领导者，三代Pixel所取得的卓越成果就是最有力的证据。HDR+是默认的拍摄模式，它使用了一种复杂的算法，将几个曝光不足的帧合并到一个帧中。谷歌已经训练它的人工智能在一个巨大的标记照片数据集，就像谷歌的照片软件，这进一步帮助相机曝光。特别是Pixel 2，它产生了如此令人印象深刻的基线图像质量，以至于我们中的一些技术人员在使用它进行专业工作时感到非常舒服。

但谷歌的优势似乎从未像几个月前夜视的发布那样明显。新的像素特征将长时间曝光拼接在一起，并使用机器学习算法来计算更精确的白平衡和颜色，结果确实令人震惊。像素3上的功能效果最好,因为算法设计与最近的硬件,但谷歌所有像素的手机——甚至是原始的,它缺乏光学图像稳定,这是一个惊人的广告的软件现在比相机更重要硬件时移动摄影。

尽管如此，硬件仍有发挥作用的空间，尤其是在有人工智能支持的情况下。Honor的新产品View 20，以及其母公司华为的Nova 4，是第一款使用索尼IMX586图像传感器的手机。它比大多数竞争对手的传感器都要大，有4800万像素，是所有手机中分辨率最高的。但这仍然意味着在一个很小的空间里塞进大量的小像素，这往往会对图像质量造成问题。然而，在我看来，在20次测试中，Honor的“AI超清晰”模式在最大程度上提高了分辨率，解锁了传感器不同寻常的彩色滤镜来解锁额外的细节。这就产生了可以放大几天的大照片。

一段时间以来，图像信号处理器一直对手机摄像头性能很重要，但随着计算摄影技术的进步，NPUs似乎将扮演更重要的角色。华为是第一家发布带有专用人工智能硬件的系统芯片的公司，名为麒麟970，尽管苹果的A11仿生芯片最终首先到达了消费者手中。全球最大的Android处理器供应商高通(Qualcomm)尚未将机器学习作为主要关注点，但谷歌已经开发了自己的名为Pixel Visual Core的芯片，以帮助完成与人工智能相关的成像任务。与此同时，最新的Apple A12 Bionic拥有一个8核的神经引擎，可以在Core ML(苹果的机器学习框架)中运行任务，速度是A11的9倍，并且首次直接连接到图像处理器。苹果公司表示，这让相机更好地理解焦平面，例如，帮助生成更真实的景深。

这类硬件对于高效、高性能的设备上机器学习来说将越来越重要，因为机器学习对处理器的要求非常高。请记住，强大的谷歌照片的算法是在使用强大的gpu和张量核的大型、强大的计算机上训练的，然后才在您的照片库中进行释放。很多工作可以“提前”完成，但在移动设备上进行实时机器学习计算的能力仍然是前沿技术。

谷歌已经展示了一些令人印象深刻的工作，这些工作可以减少处理负担，而神经引擎的速度一年比一年快。但即使在计算摄影的早期阶段，围绕机器学习设计的手机相机也能带来真正的好处。事实上，在过去几年人工智能热潮所带来的所有可能性和应用中，如今最实用的领域无疑是摄影。相机是任何手机的基本功能，而人工智能是我们改善它的最佳方式。

声明：本文由易百纳技术社区编写，文章内容来自The verge，版权归原作者所有，转载请注明出处，如有侵权请联系删除。