新闻中心

EEPW首页 > 消费电子 > 编辑观点 > 从计算摄影看移动处理器AI芯片的应用

从计算摄影看移动处理器AI芯片的应用

作者:ZongYu时间:2022-06-30来源:EEPW收藏

看移动处理器芯片的应用

本文引用地址://m.amcfsurvey.com/article/202206/435745.htm

 

在摄影圈,一直流行着一句话“底大一级压死人”说得就是感光元件(CCD、CMOS甚至是底片)的大小,基本上决定了相机成像质量的高低。传感器越大,接受光的能力越强,在摄影这个用光的艺术中,光便是一切的基础。同样像素,如果传感器越大,那么单个像素的面积也就越大。能够接收的光线也就越多。光就是这个世界给你的信号,接受越多,信号越强,基于信号的画质当然就越强。

但是,在2022年的今天这句话似乎不在那么正确了。不知道你有多久没有看到卡片相机了?如今的卡片机市场除了SONY的黑卡系列,相比于十几年前的百花齐放,已经沉寂了太多。是什么“杀死”了卡片机呢?相信答案对你来说,已经十分明朗,那就是手机摄影,或者,你也可以叫它“”。

相对于传职摄影的相机,如今的机身可以说是寸土寸金,根本没有多余的空间塞下一颗巨大的CMOS,更不用提大型CMOS昂贵的制造成本。如今的选择另辟蹊径,用手机中性能相对强大的SoC,利用机械学习开辟了另一条摄影赛道,这便是

1.png

相机中的画幅大小

 

首先,需要明确的是,目前的手机计算摄影只能对传统的卡片相机造成毁灭性的打击。对于CMOS大于1英寸的单反,微单来说,计算摄影依旧还是蜉蝣撼树。

说到协助的计算摄影的,就不得不提前些年在计算摄影中,走得最远的Google Pixel系列。

 

2.png

Google Pixel

 

初代pixel发布于2016年,基础骁龙821的AI引擎——向量扩展内核(Hexagon Vector eXtensions)(以下简称HVX)加入了HDR+的效果,仅用一颗性能平庸的IMX378传感器就问鼎当年DxO手机摄影评分的第一名。所谓的“HDR+”类似于传统摄影的包围曝光,分别以欠曝、过曝和正常曝光拍摄三张照片并合成,这样就能得到一张高光和暗部细节都得以保存的高质量照片。但是,传统的包围曝光有它的劣势,曝光时间不同会导致对齐困难,鬼影,重影等等问题,在低光的时候表现也不好。而Google的工程师团队选择了一条“稍微”不一样的道路:硬件上依赖于骁龙821提供的HVX内核,它能够让Pixel以零快门延迟高速持续的拍摄RAW无损格式照片,而这一过程从你开启相机的那一刻起就已经开始;当你按下快门键的时候,实际得到的样张来自于此刻所拍摄的照片与之前已拍摄照片的合成。而与传统包围曝光不同的是,pixel拍摄的三张照片全是欠曝的。而欠曝照片的色彩往往十分准确,但暗部噪点较多,此时pixel会通过堆栈合成三张照片来降低暗部噪点并提升画面亮度,最后输出一张正常且高质量的照片。

Google Pixel在2016年的一骑绝尘,为手机摄影指引了一个新的方向,AI计算摄影的加入极大的提升了手机的拍摄画质。普通人用手机拍出“大片”已经逐渐变为可能。

 

时间来到2018年,Apple发布了基于A12 Bionic芯片的iPhoneXs和iPhoneXs max。得益于A12强大的神经网络引擎,Apple实现了Smart HDR和焦外成像的功能。前者可以通过AI场景识别,自动拍摄多张照片,智能选取其中最好的几张照片进行合成,这应该意味着最终的HDR能够更好地避免明亮区域的割裂;而后者则是允许用户在人像模式拍摄完成后随时改变镜头光圈,通过计算模拟不同光圈所带来的景深变化,用软件来模拟传统相机的光学效果。到了2020年,iPhone在计算摄影上更进一步,带来了一项革命性的计算摄影技术——Deep fusion(深度融合)



3.png

焦外成像功能



 

当你按下快门的一瞬间,iPhone会用高速快门连续捕捉4张照片,之后又会用标准的快门时间继续记录四张照片,与此同时,还会记录一张长曝光照片。记录完成后,A13的神经网络引擎便会开始工作,用AI自动识别拍摄场景并且为之后的合成排列权重:譬如天空、墙壁和地板等纹理不多的素材分得较低权重,对皮肤、衣服、织品等则给予较高权重,高权重元素会从某一张该元素细节最丰富的短时曝光照片中获得细节、从合成长时间照片里获取色调、颜色和亮度并用最高精度的高画质算法进行融合,而低权重的元素区域估计直接就拿合并长时间图片像素来做或使用低精度的快速算法进行融合。用四张高速快门的影像来消除模糊虚影,四张标准照片和一张长曝光照片来获取更多的影像细节。从而用尽量少的运算量,获得一张质量尽可能高的图像。

4.png

Deep fusion所带来的锐度增强

 

通过上述表述,可以看出,就算是强如当年的A13处理器,完成如此大量的运算,也需要至少1秒的时间。Deep Fusion的加入,使得iPhone成像的锐度和色彩有了巨大的提升,也是得iPhone第一次拥有了在夜间拍摄出高质量照片的能力。同时我们也意识到,通过软件算法叠加人工智能的学习能力,未来的AI计算摄影将大有可为。

 

国外厂商在AI计算摄影方向的攻城略地,而国内的厂商也并没有坐以待毙,荣耀于2021年推出了全新的多摄融合技术。融合的思路传承了来自华为P9的彩色镜头加黑白的方案。由于黑白相机的cmos没有色彩相机cmos上的滤波片,成像细节会更加优秀,因此,用黑色镜头来还原纹理细节,彩色镜头填充颜色,通过AI计算合成,就能生成一张色彩和细节俱佳的照片。相比起黑白融合,更加值得人关注的是荣耀所采用的超广角融合和长焦融合的算法。

5.png

荣耀的多摄融合

 

众所周知,手机上的镜头碍于物理尺寸的限制,基本上都是定焦镜头(例如,iPhone 13 Pro的三枚镜头就是13mm、26mm和77mm)中间的焦段,基本上就只能用数码变焦的方式实现,中间就会损失大量的画质。为了解决这个问题,荣耀便提出了超广角和长焦融合的算法。当用户需要中间焦段时,荣耀便同时调用超广角和长焦镜头同时成像,再通过AI机械学习融合拼接这两张照片,从而得到一张画质远高于数码变焦的照片,这样就相当于用软件算法加上AI学习,模拟除了连续光学变焦的效果,填补了手机中间焦段的空白。

 

通过计算摄影的进步背后,我们看到了AI技术的稳步发展,从早期的GPU和CPU分担AI运算任务,到现在各种各样的独力移动端AI运算加速芯片,AI芯片的算力逐年增强,

6.png

2022年6月 AI benchmark排名

      这一切都为AI这个本就蕴含这无限可能的技术,赋予了更多的现实意义。AI这个词,已经逐渐从未来照进了我们的现实。我们的,无论我们是否在使用,它们都在后台默默学习我们每天的生活习惯,细微到电池的充放电管理,大到判断用户的身体健康,AI都在默默便利着我们的生活。在如今疫情防控常态化的今天,AI的自动人脸识别,正在最大化的减少疫情带给我们的不便。相信在不远的未来,我们对于移动端AI的感知,将不止停留在手机摄影中。智能手机的面部识别结合AI学习,你的手机将会真正“认识”你,各种各样的智能语音助手通过海量的机械学习,也许会越来越接近于真正的助手。随着AI芯片的继续发展,AI在未来,也许无所不能,无处不在。




评论


相关推荐

技术专区

关闭