华为影像,移动影像数字化重构的拓荒者和传薪人
2022-04-06
来源:IT观察
2022年3月28日,华为发布2021年年度报告,报告显示,在严峻的外部环境中,华为全年实现了营收6368亿元,利润达到了1137亿元。这正如郭平所言,“当暴风雨来临时,我们选择了在雨中奔跑”。
在“雨中奔跑”的华为,最为艰难的是华为消费者业务,但让所有人惊讶的是,在过去三年“雨中奔跑”中的华为消费者业务,却倔强地成长。
于是坊间有人调侃道,与其关心华为的营收有多少,我们更想知道华为在松山湖底还藏着多少麒麟芯片?
而刀客真正关心的是,在松山湖,华为倒底还藏着多少能带给行业和用户惊喜的技术储备?
在2021年年报中,华为多少透露了一些端倪。在“研究与创新”方面,华为表示,“持续完善无线基础理论,不断逼近香农极限。通过开展稀疏叠加码的原创性理论和算法研究,导出快速变换编码矩阵下的香农极限,进而大幅简化收发机设计”,而在手机影像领域,华为表示,“持续突破计算摄影、计算光学和原色引擎等技术,引领手机拍照技术创新,为用户提供更好的影像体验。空间计算、空间视频、三维重建等核心技术突破,构建了沉浸式虚实融合的新体验。”
确实,回顾这几年华为在移动影像领域的发展,我们可以相对清晰地看到,表现在华为手机上出色的拍照体验,正是基于华为在移动影像领域从基础学科研究到计算光学、成像技术、图像的AI算法处理等一系列的体系化突破,真正成为计算摄影乃至于整个移动影像领域的开拓者和推进者。
如果仔细研究这几年华为在手机影像领域的进步,可以很清晰地看到,华为的创新并不是单一方向的突破,更多的是基于华为影像这一系统的基础理论体系和技术应用体系的系统性创新。
一、影像的数字化重构,传统影像与移动影像的分水岭
在影像领域,自从智能手机诞生,手机拍照成为用户特别关注的一个方向,影像行业就时不时的有人在说,“手机拍照的出现正在谋杀摄影”。事实上智能手机的出现,基本上“团灭”了卡片机市场,从这个意义上讲,手机影像确实给传统摄影带来了巨大的威胁。
手机影像的日益兴盛,对摄影乃至于视频创作,正从专业人士的独占技术走向普及。
当然就目前的技术体系而言,除了个别厂家的产品外,整体手机影像仍然与传统影像体系无法相提并论,两者在色彩还原、画面细节及质感等多方面仍然存在着很大的区别。
以单反和微单为代表的传统影像,表面上看与胶片时代有了巨大的进步,但从成像的技术原理上讲,仍然还是通过镜头的光传输,再将光信号转变为电信号还原真实世界影像的一个过程。与胶片时代相比,数码相机只是增加了一个模数转换模块(CMOS或CCD),从而实现了介质的变化而已。
早期的手机影像也基本上是延用了单反和微单的这种成像原理,然而手机的体积却与单反相比差别很大,手机作为随身超高频使用的电子消费产品,体积无法做得像单反一样大,这就导致了手机拍照系统中的镜头和成像模组无法做到与单反一样。当然也有厂家曾经试图将卡片机的镜头装进手机里,但市场和用户给了这种产品无情的嘲讽。
从目前产业技术现状来看,手机的CMOS都在1英寸以下,即使是1英寸的传感器,与单反全幅相比,也只有全幅的13%左右面积。在不到1/10的面积里挤进去几千万的像素点,其带来的信号干扰是无法避免的;同时考虑到了手机的镜头从光学质量来说,根本和传统影像使用的镜头无法相提并论,手机影像镜头的光学分辨率很难达到1200万以上,所以,手机影像如果直接使用传统影像的技术路线,显然无法给用户提供高质量的画面。
手机影像领域的AI算法的引入,对手机影像的提升是革命性的。相对于传统影像系统,手机影像由于算法的介入,不再只依靠硬件(镜头和CMOS)来提升画面品质和使用体验。同时也让手机影像系统由传统的成像流程变成了光信号传输、模数转换(CMOS)再到图像处理的三个流程节点。
最早将算法引入手机摄影的是谷歌的Pixel系列手机,紧随其后,苹果和华为将这一体系发扬光大,同时随着谷歌的Pixel系列退出人们的视野,由谷歌引发的计算摄影技术浪潮,目前只有苹果和华为在持续地进行技术探索。
事实上,从目前华为苹果在计算摄影的技术表现上看,通过手机的镜头的光信号传输,再经过CMOS的模数转换,形成基本的影像数据,再通过图像处理算法,重构需要还原的影像。简单地讲,目前在华为和苹果手机上的影像系统,是在传统影像成像原理的基础上,通过计算光学和图像AI算法,实现了影像的数字化重构,这是对传统影像技术原理的一次革命性创新。
而这种变革,在华为影像体系中表现得尤为充分。华为影像不仅在光传输技术、光电转换及传感器技术以及基于场景计算、意图计算和情景分析方面的算法体系,对影像进行了全流程的数字化重构,而华为手机呈现给用户的影像,正是基于一种全新数字化重构之后的还原影像,同时华为影像还创造性地在光电转换过程中,通过多模组数据的融合,发挥不同模组的特点和优势,为最终的影像重构提供了更为丰富的数据基础,实现了手机影像不同模组在成像过程中的协调和统一。
二、突破计算摄影的三大技术深水区
在手机影像的数字化重构,或者说计算摄影技术突破方面,光学系统、成像技术和图像处理是三大技术深水区,要完成比较完美的影像数字化还原,单一技术的突破,并不能大幅度提升最终影像的画质表现,需要从三个技术节点进行系统化、理论化的技术创新。
在提升手机影像光学系统方面,华为影像最大的贡献在于,一是突破了从一个影像单元向多个影像单元成像方式的进化,二是通过镜头中光信号传输过程的研究,通过计算模型,预测传输过程中的光信号损失,有效地改善了镜头模组的MTF调制传递函数,提升了影像的分辨率、锐度和对比度,创造性地开发了计算光学系统。
融合多影像模组的超级影像单元的诞生,改变了行业长期以来以某一独立影像单元的成像模式,让手机的多个摄像头可以协同工作,并利用不同摄像头的优势和特点,为后期影像处理提供更好的基础信息,让手机成像模组融合成为一个系统。而在华为P50系列上出现的计算光学系统,则是在目前手机摄像头模组品质无法大幅度提升的技术现状下,可以有效地提升镜头光信号还原的一种突破性技术。这一技术的出现,对手机影像未来的进步提供了基础性的技术思路。
无论是手机还是传统影像系统,CMOS都是一个光电转换核心。虽然这一技术核心掌握在上游传感器厂家,但正是受制于手机传感器领域的技术进步缓慢,CMOS厂家需要和手机厂家协同,共同完成成像单元的技术进步。
在成像技术方面,针对传RGB传感器存在的光信号偏弱的现状,华为与上游厂家协作,创新性地通过对CFA滤光片的改造,把传统的RGB三色变成了RYB的三色超感光传感器,提高了40%的透光量,这对后期影像的还原提供了更多的信息。
常规意义上的传感器,一般只限于可见光的光电转换,在华为P50 Pocket上,华为创造性地将可见光和不可见光进行了综合信息的处理和成像,这种利用超光谱的传感器和光电信号处理,最大限度地发挥了小面积成像模组的性能,为更大幅度提升手机影像的画质提供新方向。
手机影像区别于传统影像最大的不同就是AI算法的加入,事实上,在图像处理过程中,算法是图像处理的核心技术,也是未来手机影像发展的一个制高点。
华为虽然不是第一个将算法引入手机影像的厂家,但在手机影像领域,华为的产品之所以能比苹果的产品在影像方面有更好的表现,AI算法的突破起到了重要的作用。华为通过在图像处理方面卷积神经网络的应用,有效地提升了手机影像的主体及影像细节的识别能力,通过语义分析,可以对场景有了更准确的还原。华为XD Fusion Pro的出现,通过对多模组、多帧图像的实时处理,极大地提升了影像的动态范围、亮度、色彩信息和清晰度。在多镜头不同维度的信号输入之后,XD Fusion Pro系统的计算机视觉单元开始进行不同画面的语义识别,并通过设定标准进行不同场景的识别和主要特征的识别,对背景中的物体(草原、蓝天、树林等)以及拍照主体的人物、动物或静物花卉进行数字化识别,并重新结构背景信息、主体及主体形态等一系列画面要素。而原色引擎的引入,解决了数字影像重构过程中数字影像中的色彩与人眼所看到的色彩存在的差异。华为拟合人类感知色彩的流程(人类感知色彩有两部分:一是人眼看到,二是人脑处理)。模拟人眼的部分做了独特的色彩空间的转化,图像传感器和多光谱传感器获得环境信息后,把RGB转为CIE-XYZ色彩空间,再进行人脑认知的模拟,使得光源色彩变化时保持感知到的物体色彩尽量恒定,从而实现了拍摄的图像色彩基本上和人眼看到的一致。
从光信号传递过程中的信号还原,到传感的技术的改进,再到基于XD Fusion及原色引擎的开发,华为在影像技术领域不仅从三个关键环节进行了深度的技术研发,而且通过三大技术环节的技术与理论研究,形成了影响未来移动影像领域基础技术理论体系的构建,从而为寻找移动影像的革命性突破创造了条件。
三、华为影像创新历程及对产业的影响
事实上,在华为影像体系中,并不仅仅就技术而技术的进行技术突破,更重要的是基于用户体验,将相对专业的影像技术普及到更为广泛的大众群体,形成独特的影像文化,从而构建起华为影像的文化体系和技术体系。
从业界第一款引入双摄系统的华为P9,到专注于人像摄影的P10,再到业界首创的超级夜景神器P20;从第一款加入潜望式变焦架构的的P30,到拥有全时段,全焦段超清影像的P40系列,再到革命性地加入计算光学和超感知影像的P50系列,一路走来,华为在影像领域的技术创新,都是围绕提升用户的拍照体验而展开。
通过不断地在手机影像各个环节的技术创新,构建起了手机影像的技术体系,这个技术体系的建立,让手机影像或者说移动影像体系,形成了与传统影像体系完全不同的技术方案和用户群体,以及由此产生的不同拍摄体验。其实与其说“智能手机正在谋杀摄影”,倒不如说手机影像正在通过全新的技术体系和拍照体验,让摄影成为人们生活的记录,成为专业普惠大众方式。
从影像发展和影像的社会价值来看,从来没有一次技术的发展能和手机影像带给影像领域的变革更具有价值。
无论是静态影像的拍摄还是连续影像——视频的拍摄,影像正在从原来由专业人士的职业技能,逐渐演化为大众生活记录的方式。同时也正是由手机影像技术的不断提升,奠定了短视频这个万亿规模以上产业的用户基础和产业基础。
手机影像的文化也由此诞生,这是摄影从一个小众群体社区走向大众文化的开端,也让影像文化走向更宽广、更有价值的未来空间。华为自2017年举办第一届新影像大赛以来,到2021年的新影像大赛,已经形成了自己独特且广泛的影像群体和文化特征。2021年的华为新影像大赛,共有170多个国家和地区的用户参与,参赛作品320多万件,互动10亿次以上,历史上,没有任何一个影像领域的活动能达到如此的规模和广度。
人们已经习惯了用手机记录生活中的点点滴滴,记录这个世界每时每刻的变化,记录亲人、朋友甚至陌生人间的情感,记录这个世界的美和我们对世界的期望。
在手机影像文化的推动下,手机影像正成为人们记录生活,记录历史的一种全新的方式。
这也是华为以及手机产业带给人们最大的文化资产。
回顾华为影像17年走过的历程,华为影像从单项技术的突破,演化到今天的整体理论体系和技术体系的构建,华为影像不再是简单的镜头、成像模组或某个方向的算法进步,而是基于对移动影像未来的整体思考,以及移动影像对未来人们生活和文化的影响。华为正在试图通过技术创新、全面提升用户体验以及重构影像文化的方式,形成在影像领域基于用户需求和体验的华为影像体系。
就像当初华为将双摄系统引入手机,把AI技术引入手机一样,华为对于移动影像体系的系统化技术体系的建立,也很有可能成为整体手机影像行业未来共同前进的方向。华为影像以其独有的影像文化及理论体系,不仅成为移动影像领域的拓荒者,也在推动这种技术和文化的过程中,成为移动影像的薪火传播者。