元宇宙专栏
技术进步打通数智人“快车道”
(图源:数智人“艾雯雯”)
依托于新一代多模态人机交互系统和深厚的NLP、知识图谱、视觉等全栈AI底层能力,数智人产品矩阵拥有强大的形象表现力、识别力和感知理解能力,已经在众多场景落地应用。
技术迭代驱动数字人形似人
制作效能将继续提升
(图源:平行宇宙)
建模技术发展推动超写实数字人制
作门槛、成本和周期进一步下降
01
2D数字人和3D数字人生成/建模方式不同,2D数字人本质是生成图像,因此主要方式是利用深度学习技术根据视频生成与真人相同的图像,技术相对成熟。
02
3D数字人需要建立3D模型,主要是利用软件传统的手工建模、静态扫描建模(相机阵列扫描建模)、动态光场或者AI建模(3D重建技术)生成3D模型。目前手工建模和静态扫描建模技术较为成熟且应用广泛,利用3D重建技术或动态光场重建可极大节约建模时间,提升建模效率,是未来重要布局方向。其中动态光场重建优势在于重建人物的几何模型同时 还可一次性获取动态的人物模型数据, 并高品质重现不同视角下观看人体的光影效果 。
03
AI建模目前已经初步实现产品化,目前精度可以达到次世代游戏人物级别,优势是可以开放程序接口,对接各种应用,因此潜力较大,范围较广,特别是C端的应用,可以通过便捷化的上传图片即可生成3D数字人面部模型。未来发展方向是通过算法驱动提高精度,优化建模效果,比如:偏移矫正、阴影修复等。
(图源:光场扫描建模)
物理仿真算法迭代推动服
装动态展示趋向真实
布料仿真一直是CG动画中的研究热点与难点,对提高动画质量以及用户体验具有重要意义。虚拟世界中虚拟角色强烈的视觉真实感主要来源于逼真的虚拟人物的服装动画,布料的仿真程度很大程度上可以增强用户的体验感。
01
将服装通过骨骼绑定驱动的方式是市场上最为常见的应用方式。这种应用方式下,数字服装作为刚性物体被驱动,只能进行拉伸,好处是对于服装解算没有算力消耗,因此,更常见于实时互动应用中。
02
基于位置的动力学技术,面数较大容易出现网格穿模,动力学表现生硬,且较难区分不同面料质感的物理差异,修型的工作量极大,单件服装的效果调优无法被负责且较难体现布料细节褶皱。
03
物理仿真算法的服装动力学解算能够无限接近真实世界的服装表现,能够很好的表达服装的物理质感,服装与人体的关系,同时也不依赖于美术的高复杂且繁重的美术工作,但是过于依赖端的计算能力,移动端只能够通过云端服务器的计算然后进行数据网络传输,进而对网络传输速度也有了极高的要求。
04
基于AI算法的服装动态模拟在学术上有所表现,但是成熟度较低,目前无法较好的处理多层级服装的效果解算,服装的细节表现也较弱,但是仍有较大的潜力与可能性。
(图源:数字服装秀看面料动态模拟)
渲染引擎迭代和GPU算力提升推
动数字人画面更加精细和实时化
渲染是对3D数字人或虚拟场景加入几何、视点、纹理、照明和阴等信息从而达成从模型到图像的转变,渲染决定了最终数字人的质量,而渲染引擎和GPU算力的发展推动数字人渲染更加信息和实时化。
01
目前离线渲染比较成熟,应用较为广泛。而实时渲染尚有提升空间,伴随GPU算力的不断提升和渲染引擎的优化,将推动实时渲染的速度和真实度,未来实时渲染技术的发展也为数字人的实时交互提供了极大助力。
02
主流的3D渲染引擎UnrealEngine和Unity3D版本不断迭代,推动数字人皮肤纹理、3D效果、质感和细节等方面渲染效果更佳,同时生产效率更高。
(图源:3D渲染大赛《交替现实)
算法的优化推动专业动捕设备趋向便
捷化,视觉动捕在C端应用潜力更大
动作捕捉是指通过数字手段记录现实中的运动过程,特点是动作灵活、互动效果觉好,多用于内容/IP型数字人,场景多为直播、路演等互动性活动,其本质上是传统影视制作CG技术的演进,目前主流的方式是光学动捕和惯性动捕,而基于计算机视觉的视频动捕发展速度较快。此外,多种方式相结合的混合动捕方式也是未来重要的发展方向,如光学动捕和惯性动捕的结合,视觉动捕和VR头显/手柄的结合等。
01
光学动捕是最早出现的动捕技术,同时发展也最为成熟,需要多个专业动捕摄像机结合穿动捕服的中之人。未来会向专业化和便捷化两个方向发展:专业化方向,将实现更高的分辨率和更远的探测距离,动作的还原度更高,更加逼真和稳定,同时将数据在云上处理;便捷化方向将和视频动捕趋同,采用数量较少的消费级摄像头,无需穿戴设备。
02
惯性动捕是采用传感器结合算法的方式,由于精度较高,对场地要求适中,因此是B端主流方式,未来伴随算法的不断完善,传感器数量将呈下降趋势,对中之人和场地的限制也会越来愈少。
03
激光+惯性动捕方式,采用激光传感器结合惯性传感器的方式,对抗电磁干扰能力强,可连续24小时稳定工作,适合大空间内动捕定位,未来向更低使用门槛发展。
04
视觉动捕显著降低了使用门槛,从最初的利用深度摄像头,到利用多目摄像头到现在的利用单目普通摄像头,对设备的要求逐渐降低,未来发展方向是在C端不断提高定位精度和准确度,适用于UGC的使用场景。另一发展方向是通过增加摄像头的数量,向专业化发展,与光学动捕中便捷化发展趋势趋同。
(图源:AI引擎驱动的动捕技术)
面部捕捉技术向更简单的硬件、更细
腻的表情、更自动化的流程方向发展
驱动数字人往往被拆分为追踪(Tracking)与重定向(Retargeting)两个环节。追踪由专业的面部捕捉设备及其辅助算法完成,负责记录演员的面部动作信息,重定向则是将捕捉到的面部动作信息迁移到新的角色。
(图源:Seattle Pro)
数智人在元宇宙平台中的重要性
为什么在元宇宙平台里面,数智人是如此重要?我们认为数智人有独特的优势。
第一,数智人具备比较强的亲和力,目前我们在市场上看到的数智人形象都比较好,它可以更好地吸引比较年轻的用户,尤其是 Z 时代 95 后和 00 后这批年轻用户。
第二,数智人具备比较稳定的人设言行,不易塌方,数智人可以做到没有任何瑕疵。
第三,数智人具有强科技感,它拥有语言优势和技能优势,因为 AI 的加持。
第四,它具备强延展性,可以跨品牌、跨时空、跨物种进行创新合作,可以同时在不同的空间、和不同的品牌进行联名合作。
这是数智人的四项优势。市场上已经比较成功的数智人案例:洛天依已经成功的登上了春晚舞台,和真实的歌手同台演唱;柳夜熙美妆博主在抖音平台捉妖;天猫的一号数智员工AYAYI在天猫带货。
(图源:洛天依参与春晚节目《听我说》)
数智人的未来
从数据上来说,2021年是业内公认的元宇宙元年,虚拟世界畅想新的十年大幕开启。2022年,元宇宙的概念火爆会为行业带来更多的内容、产品、参与者。预计2022-2027年中国元宇宙市场规模将保持持续增长趋势,预计2027年市场规模将达1263.5亿元,年均复合增长率达32.98%。
在未来,越来越多的企业将加入到数智人产业生态之中,数智人市场分工越来越细分,围绕垂直领域多样化、精细化的应用需求,将会诞生出一大批例如数智人AI训练、数智人素材创作、数智人资产管理和服务等创新型企业或创新型职业。
AI数智人将成为我们与数字世界连接的重要入口,人机交互的重要媒介,与数字空间、数字资产、数字化身(Avatar)等一起构成未来虚实融合世界的基本结构。
(图源:数智人“艾雯雯”)
专栏简介
元宇宙入口已经开启,这是一个虚实相生的未来世界,这是一座无界的创新之城。元宇宙,到底是人类幻想下的乌托邦?还是急需沉淀下来,待技术底座搭建后描绘的宏伟蓝图呢?环球数科作为“行业+云”专业服务商,基于对行业的深刻理解,洞察数字经济发展趋势,前瞻布局元宇宙相关研究。
本专栏将站在技术和产业第一线,以从业者的视角,系统性地介绍元宇宙的底层技术、行业趋势等相关资讯,并重点展示元宇宙在环球数科深度布局的智慧文旅、智慧城市、智慧生态3大领域的产业应用情况。
让我们共同进入一个让不可能成为可能的世界!
参考文献:《数字人产业发展趋势报告(2023)》
✦
✦ ✦
Web|www.hqshuke.com
Tel|(+86)77588328999