|
打印本文
进入2023年下半年，智能手机市场在影像上的军备竞赛有增无减。更大面积的传感器、光学防抖、全焦距的焦段覆盖，正在成为高端智能手机的标配，也有着逐渐普及的趋势。
然而智能手机毕竟是一种大众消费品，重量和体积都会制约影像配置的无限增长。而在消费者端，用户往往对于影像原理不甚了解。因此就需要厂商不断在软件、算法层面，去解决实际的问题。
7月底，vivo首次向外界展示了其位于重庆工厂的3D影像实验室，并宣布相关技术将会率先应用在下一代X系列旗舰手机上。
vivo 3D影像实验室，主要是由100余台单反相机，配合闪光灯、处理器、控制器和服务器所组成。通过采集大量的人体躯干、面部信息，最终实现对于智能手机人像拍摄的提高。
采集人体信息时，vivo 3D影像实验室会同时调动100多台单反相机，从不同的角度进行拍摄，生成100余张2D图片，随后通过局域网上传至存储服务器，再通过2D图片进行3D匹配，生成3D模型。
基于生成的3D模型，vivo可以实现对于算法的训练，提升人像模式下，模拟背景虚化的精确性。据vivo工作人员介绍，预计每年将会有上万组3D人像模型。
传统的智能手机人像虚化算法，往往是在2D层面，判断人的轮廓来实现虚化，不具备3D层面的深度信息，因此主体与背景之间往往会过渡的比较生硬，“抠”出来的背景也会缺少层次。
通过大量的3D模型进行预训练，vivo的算法可以变得更加智能，智能手机可以更好的判断人的纵深信息，使得虚化更具有渐进感也更加细腻。
此外3D模型加入之后，智能手机的人像虚化算法应用范围可以进一步扩大。目前人像虚化算法由于缺乏深度方向的信息，只能拍摄全身像或是半身像，未来则可以近距离贴脸拍摄眼睛的特写虚化画面。
在3D模型之外，vivo有一套“重打光”的设备。由96个可编程的同步光源搭配vivo的工业相机。与拍照工作站以及服务器共同组成，可以模拟不同光照条件下的成像图片，为自研人像算法做数据支撑，促进3D重建和3D算法方面的开发和预研，提升手机上的算法效果。
例如在加入重打光技术后，vivo手机可以对前期拍摄到的“逆光黑脸”进行高精度补光，甚至是调整光线的冷暖色温。生成式人像编辑则能通过纹理重建与光照估计算法等技术，让用户基于自身喜好对光照、年龄、发型、表情等内容进行重新编辑。
基于人像3D重建感知能力，vivo还可以叠加AIGC算法，通过vivo手机即可拍摄出虚拟与实景结合更为自然的照片，实现“足不出户拍出四季人像大片”的人性化体验。
在此之外，3D影像的相关技术可以应用在如今火爆的3D虚拟人应用上。包括抖音上比较火的3D数字人直播、3D表情驱动、3D的虚拟场景编辑以及相应的一个动画制作。
此外还有基于3D影像衍生的3D换装应用，可以根据采集者的人体模型，在虚拟场景内实现足球游戏，目前在vivo手机和平板电脑上已经可以进行演示。
vivo 3D影像实验室于2022年下半年组建，全球共有7个实验室。预期2023年下半年到2024年将会采集几万组数据。这些高质量的数据未来将会与vivo全球的用户一起组建兼顾质量和数量的庞大数据库。据vivo工作人员介绍，相关技术落地，将会在vivo X系列的下一代产品上率先应用。
钛媒体App了解到，类似vivo这种通过大量采集数据，建立数据库以优化算法的实验室，在传统相机领域早已有之，但vivo应该是通过3D模型实现多重优化以及AIGC相关应用的第一家智能手机厂商。
某种意义上，自建影像实验室标志着vivo在影像领域的研究进入了深水区，而能够借助AI的东风，扩展智能手机影像的边界，则是vivo探索出来的一条创新之路，也许会开拓出智能手机影像的全新方向。（本文首发钛媒体App 作者/吴泓磊 编辑/钟毅）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
上海双预警高挂！台风“卡努”今天要大转弯，可能重新登陆！新一轮台风也有消息了→
苹果新科技：Siri借AirPods运动传感器，“读取”唇语，提升体验
AMD Radeon RX 7900 GRE在德国上架，但只能买整机或者套装
瑞典女足戏剧性晋级！制胜点球过线！荷兰女足晋级八强，南非门将低级失误，悍将重伤后拄拐
苹果新科技：Siri借AirPods运动传感器，“读取”唇语，提升体验
AMD Radeon RX 7900 GRE在德国上架，但只能买整机或者套装
|