宋庆龄数字人“跨越时空”,一支队伍背后极致的工匠精神

发布时间:2023-04-14 16:33:10

3月23日晚,由中国福利会主办、中国福利会少年宫承办的“永远在一起”纪念宋庆龄诞辰130周年音乐会在上海举行。通过数字资产全链实现数字化还原,宋庆龄数字人首次出现在大众视野中。细致入微的形象还原和眼前一亮的动作设计,让现场所有人跨越时空,感受宋庆龄的温暖面容。

当前数字人定义宽泛,标准各异。利用超写实数字人形式,让宋庆龄先生形象跨越时空到来,本身就意味制作团队向行业标准顶峰发起挑战,这背后,离不开一群技术人的不断钻研“较劲”的匠心。

 

本次宋庆龄数字人项目由中国福利会与开天工作室联合打造,并得到了蔚领时代的全力支持。由开天工作室携手蔚领时代提供技术解决方案,联合攻关宋庆龄数字人制作,最终打造出超写实数字人的行业标杆。

 

敬畏心和“较劲”精神 让每一个细节飘动鲜活

 

宋庆龄是新中国的缔造者之一、国家名誉主席、中国福利会创始人,受到中国人民、海外华人华侨的景仰和爱戴,也赢得国际友人的赞誉和热爱,被誉为二十世纪最伟大的女性和中华民族的“国之瑰宝”。接到宋庆龄数字人制作任务那一刻起,数字人制作团队既兴奋又有压力,在只有行业通用标准50%的制作周期条件下,如何在尽可能还原和复现宋庆龄先生原貌的基础上,让数字人以更好的风貌神韵呈现在观众面前,是团队面临的最大的挑战。

 

工作日常中的自我较劲,成了最大的“底气”。以数字人的形式复现伟人,既需要对历史有敬畏之心和深刻理解,也需要将最高标准的技术进行合理化应用。这便离不开“较劲”的匠人精神做支撑,一点一点抠细节,一帧一帧耐心打磨,成为决定数字人成功的关键。


由于可供参考的照片、音频资料非常有限,让宋庆龄数字人的复原工作非常具有挑战性,数字人制作团队探访多地,从近千张影像照片中选取出了最经典、最清晰、形象特征最鲜明的一组照片做参考,基于SFM(Structural From Motion)算法,还原出3D模型。

 

 

有了模型,如何让人物动起来,则需要更细致的修改。人的面部肌肉很多,连带的运动也极其复杂,很多理论上“自然的表情”放在某个数字人的脸上,就会看起来失真。此外,当前市面上通过面部捕捉形成的数字人视频,表情精细度和写实度,仍然需要结合领先的实时渲染技术,才能达到最好的状态。每一个小角度,每一个微表情,都反复推敲修改,数字人制作团队通过对细节的极致雕琢, 不仅在技术上追求完美,在艺术上也竭力呈现出最好的表现力,来达成伟人数字人形象亲切与庄严并存的特点,整套方案前后修改了四十余版,才得到满意的效果。

 

这样的“较劲”精神,发生在整个制作过程中,从资产到动画,从解算到灯光渲染,数字人制作团队在每个环节都准备了多套备选方案,以达到效果方面的最佳呈现。

 

核心技术的大胆尝试,跨越历史向伟人致敬

 

让数字人有灵魂,让宋庆龄先生的形象鲜活灵动,实时渲染是支撑互动的核心技术。数字人制作团队运用实时渲染技术,积极大胆的应用行业前沿的制作理念,最终让宋庆龄数字人呈现出神态庄重又和蔼可亲的理想状态。

 

传统的实时渲染方案,数字人的呈现容易出现真实感不足的问题。“像游戏中的人物,虽然像真人,但在细节上会呈现出一种塑料感,主要的原因还是在于实时渲染的方式,并没有达到类似于Arnold 、Renderman、MentalRay这类渲染器的品质,尤其是sss(透光)的诠释,这是真人皮肤最重要的特性”,业内人士这样形容。这样的效果,对于呈现伟人的风采,显然是不恰当的。针对这一痛点,在本次宋庆龄数字人的制作方案中,数字人制作团队创造性的采用了实时渲染引擎中非常前沿的路径追踪渲染技术。

 

常言道,眼见为实,普通人看到的内容,受观看角度、焦距与透视、光影效果等等多重因素影响。利用好光影的变化,对于细节的刻画与气氛的烘托可以起到举足轻重的作用,能够给数字人的写实度,制作品质等方面带来质的提升。最终,制作团队在材质方面实现了物理真实且无损的全局光照、反射和sss效果,弥补实时渲染特性的不足,让真实和灵动同时出现在宋庆龄数字人的身上。

 

更重要的是,在保证超写实效果的同时,通过制作团队的技术优化,使渲染效率大大提升。普通的路径追踪方式,渲染高品质的视频用时很长,一段几分钟的讲话,单台电脑需要渲染2周时间。在严格的品控要求下,反复调整渲染效果,需要花费的时间更长。期间蔚领时代利用自身GaaS能力及海量云端算力,让整个渲染时长缩短了几十倍,顺利完成渲染任务。

 

 

此外,在面部绑定环节,数字人制作团队利用业内领先的自动化绑定管线,产生700多个面部骨骼,同时还有几百个BS和面部动态纹理的变化,促进形成细致入微的微表情,再通过对演员表情的智能算法捕捉,实时驱动面部所有肌肉,还原出细微神态。

 

如此复杂的面部绑定工程,以往需要由多年经验的绑定师耗时1个月以上才能完成。而通过自动化绑定管线,仅需10分钟即可完成基本绑定,再根据每个数字人的需求完成个性化表情定制。自动化绑定带来的效率提升,能够让艺术家将精力专注在角色的细节刻画上。利用这套绑定技术方案,同一套数字人资产不仅可以用于路径追踪渲染超高清视频,同时兼容AI驱动,在未来,可以实现宋庆龄先生数字人与小朋友实时对话互动,让更多人体会到先生的大爱精神。

 

最终,人物数字化资产、动作、场景、音频整合同步,实现智能拟真、数字驱动的效果,宋庆龄数字人在音乐会现场与小朋友们实时互动,精美的视听效果带来深刻的心灵共鸣,带领大家重温宋庆龄伟大的儿童教育思想。

 

宋庆龄先生数字人的制作,只是一个全新起点,未来,开天工作室将与蔚领时代一起,不断打造超写实数字人制作高维标准,为真实世界创造更多数字人,也让更多普通观众感受到真善美的教育,体会技术的纯粹之美。