Unity 社区
3
0

数字少女“弱水”:缘起Unity的实时渲染动画创作之旅

Unity技术博客
官方技术干货、社区动向、学习信息、活动资讯
阅读 2055
2023年11月14日
《Windup》实时渲染动画全流程技术美术高级课程半价秒杀:11月13日12:00-11月16日12:00
在不久前落下帷幕的“首届文旅中国元宇宙创新大赛”中,一位石绿色长裙、黑色长发,独具西北特色与中国古典美学气质的少女脱颖而出,获得了大众组数字人赛道一等奖。她,就是用 Unity 创作的数字人——弱水
《山海经》记:昆仑之丘“­其下有弱水之渊”。“弱水”是甘肃省最大内陆河——黑河的古称,在大洪水时代经流导入合黎,是浸润河西走廊大地的文明古河之一。其水性盈柔,流澈轻灵,又有贯通古今的悠长历史,这一跨时空数字艺术形象的命名也就由此而来。
被这一形象所吸引,本文联系到了“数字人弱水”的制作人,北京蒂诺科技有限责任公司高级技术美术王舒旸,一起谈谈“弱水”和她背后的创作故事,以及 Unity 为数字人影视动画创作带来的灵感及潜能

基于 Unity HDRP 的实时渲染动画剧

“弱水”的数字人形象只是我们提前窥见的倩影,在团队的规划中,她将是使用 Unity 实时渲染的 10 集动画短剧《驼骆王子与黑水姑娘》的女主角。这部动画在设计上融入了敦煌壁画元素,从人物服饰,到丹霞、雪山、大漠、草原;从脱胎于河西走廊民间传说的背景故事,到黑水国、骆驼城遗址、丝路古道等场景还原,无不体现着西北地区独特的山川物理和人文历史。“这是一支穿过河西古月的时间箭头”——制作团队这样描述这部作品。

*“弱水”的古装与现代形象
谈起创作初心,“数字人弱水”制作人王舒旸坦言自己是看到 Unity 引擎实时渲染的动画影片**《Windup》 https://www.bilibili.com/video/BV13T4y1K7vQ/?spm_id_from=333.999.0.0&vd_source=6ad5666ecbc7fe0e80d963da7e237d92的精美画面,才决定创作自己的动画作品的。**《Windup》是由 Unity 全球创意兼艺术指导江忆冰女士带领一支跨国团队,用 Unity 高清渲染管线(HDRP)历时两年打造的匠心之作,它曾揽获 19 项全球电影节提名并斩获 5 项大奖,入围 2021 年奥斯卡,其中的数字人 Kiki 更是 Unity 发布的首个中国风实时渲染作品主角。相较于动画影视中常用的离线渲染,Unity 引擎的实时渲染可以让开发者对作品进行实时全局把控,直观观察 Scene 视图中人物场景的变换,从而提高开发效率。
在创作过程中,“弱水”的制作团队也充分参考《Windup》主创成员在 Unity 中文课堂推出的《Windup》实时渲染动画全流程技术美术高级课程 https://learn.u3d.cn/tutorial/unity-windup,在 Unity 高清渲染管线(HDRP)中运用了屏幕空间全局光照(Screen Space Global Illumination)、屏幕空间反射(Screen Space Reflection)、环境光遮蔽(Screen Space Ambient Occlusion)等光线追踪功能、DLSS 深度学习超级采样、后处理(Post-processing)、HDRI Sky / Gradient Sky 天空生成技术等,助力整部动画剧的开发;并尤其通过学习课程中的角色板块,完成了“数字人弱水”高质量的头发及皮肤制作。
接下来,本文就将一一介绍“数字人弱水”制作团队如何借助《Windup》实时渲染动画教程中所学知识,将 Unity HDRP 的强大潜力运用到自己的动画作品中。

HDRP 实时光线追踪

《Windup》实时渲染动画全流程技术美术高级课程中包含灯光板块教程,从最基本的 Studio 光源讲起,从色彩理论到技术细节,运用《Windup》电影中的实例来介绍如何制作室外灯光、室内灯光和角色打光。“数字人弱水”逼真的角色打光及场景打光,就以课程中讲解的主光源(Key Light)、补充光源(Fill Light)、反射光源(Bounce Light)等知识为基础。
除此之外,“弱水”还应用了 Unity HDRP 提供的光线追踪(Ray Tracing) https://docs.unity3d.com/Packages/com.unity.render-pipelines.high-definition@17.0/manual/ray-tracing.html支持。与传统的光栅化相比,光线追踪可以更真实地模拟光线的行为以及与物理材质的交互,从而制作更逼真的渲染。要配置 HDRP 项目以支持实时光线追踪,只需打开渲染管线向导(Render Pipeline Wizard)(窗口>渲染管线>HD 渲染管线向导(Window>Render Pipeline>HD Render Pipeline Wizard))。单击 HDRP+DXR 选项卡中的全部修复(Fix All),重新启动编辑器并按照警告说明修复所有被禁用的功能。
为了在“弱水”项目中应用实时光线追踪,团队通过 Volume 组件设置了屏幕空间全局光照(Screen Space Global Illumination,替代传统光照贴图)、屏幕空间反射(Screen Space Reflection)和环境光遮蔽(Screen Space Ambient Occlusion)。与传统的 SSR 和 SSAO 相比,光追版本的功能可以更好地利用屏幕外的数据,为场景创建更逼真的光照。
下方左图未开启屏幕空间全局光照、屏幕空间反射)、环境光遮蔽,右图已开启。开启前,角色皮肤被环境光所影响,暖色点光源(Point Light)作用到脸颊上;开启环境光遮蔽后能更好地遮蔽无序光,使角色面部显得更加立体。
同时,为了更好地提高画面效果,在 Project Settings 中有几个容易忽略的小细节需要设置。在 Quality-HDRP 设置里,根据项目调整 Lights 以下几个参数,且选择调整 Maximum Lights Per Cell (Ray Tracing) 最大灯光数量,不然会造成场景中的灯光显示不正常。
除了《Windup》课程外,如果想学习更多关于 Unity HDRP 光照、实时光线追踪的知识详解,还可以参考 Unity 中文课堂中的《高清渲染管线(HDRP)光照权威指南 - 2022版》 https://learn.u3d.cn/tutorial/hdrp_lighting_expert_guide_2022、《栋哥带你学 Unity 实时光追系列》 https://learn.u3d.cn/tutorial/unity-raytracing-intro两套免费教程。

后处理(Post-processing)

后期处理效果可以仅用很少的时间大大提升画面视觉表现。Unity HDRP 内置了丰富的后处理解决方案,比如色调映射(Tonemapping),泛光(Bloom)、胶片颗粒(Film Grain)等。《Windup》实时渲染动画全流程技术美术高级课程也很详细地讲解了后处理如何在 HDRP 项目中使用,创作者可根据自己的喜好和项目需求调节后处理参数,让画面更加丰富多彩。
为了更好地提升影视级别画质效果,“数字人弱水”在渲染上充分利用了各种后处理效果。其中,胶片颗粒(Film Grain)能为项目带来电影胶片质感。色彩方面,在色调映射(Tonemapping)设置中选择动态范围更宽的 ACES 色彩空间也尤其重要,对于数字艺术创作来说,它可以使渲染的外观和颜色更具保真,在“数字人弱水”的丹霞场景中体现了非常好的色彩还原度。
*其他色彩空间,色泽失真
*ACES 色彩空间,色泽保真

灵动逼真的数字角色

《Windup》实时渲染动画全流程技术美术高级课程角色板块中详细讲解了如何用 Unity 实现逼真的数字角色毛发、皮肤、眼睛和衣物布料制作,以及面部绑定、动画导入等常见技术及方法。
除了《Windup》中 Kiki 这样动画风格的儿童数字角色外,Unity 也先后发布了《异教徒 (The Heretic)》 https://assetstore.unity.com/packages/templates/the-heretic-digital-human-hdrp-168620和《敌人 (Enemies)》 https://assetstore.unity.com/packages/essentials/tutorial-projects/enemies-hdrp-248975两套超写实数字人 Demo 及免费工程文件,展示了 Unity 图形及核心技术迭代为高质量数字人创作带来的最新突破,如基于发丝的实时头发渲染方案(Strand-based Hair Solution)、超写实的皮肤及眼球渲染方案、ZIVA 角色模拟等。这些都为“弱水”制作团队打造更加灵动逼真的数字人角色提供了支持。
*《The Heretic》2019
*《Enemies》 2022

应用次表面散射(SSS)的皮肤质感

皮肤材质的次表面散射(Subsurface Scattering,简称 SSS)相比其他材质是非常明显的。现实中,当有强光源从皮肤背面照射的时候,会照亮皮肤透出橘红色的光,《Windup》实时渲染动画全流程技术美术高级课程中介绍了如何通过 Unity 引擎中的次表面散射模拟这一效果,使人物角色的皮肤质感更加逼真。
*Kiki 耳朵皮肤的次表面散射效果
在“数字人弱水”的制作过程中,同样参照《Windup》教程中的方法为角色皮肤打开了次表面散射。通过 Shader 调整 HDRP/Lit,设置 Material Type 开启 Subsurface Scattering,并调整 Diffusion Profile 参数设置。
开启次表面散射后,“弱水”的皮肤质感有了较大幅度提升。

《Enemies》同款飘逸秀发

“数字人弱水”的头发系统采用了 2022 年 Unity 官方数字人 demo《Enemies》中基于发丝的实时头发渲染方案(Strand-based Hair Solution)。它是一种用于头发创作、模型蒙皮、发丝模拟和头发渲染的一体化方案,兼容所有能够输出以 Alembic 为文件格式的发型数据,并支持高清渲染管线(HDRP)、通用渲染管线(URP)和内置渲染管线。
相比游戏中常见的基于面片的头发,这一方案能为每根头发创建高画质实时模拟和精细渲染,还能有效防止因发丝过细导致无法正确地光栅化所造成的锯齿,实现影视级的数字毛发表现。
*《Enemies》 中的头发
为了更好地应用这一方案,“弱水”的制作团队为 HDRP 项目勾选了 High Quality Line Rendering,能更好地渲染头发的柔顺质感。

同时,为了解决头发边缘的描黑边透光问题,可以在 Volume 组件后处理中调整 High Quality Line Rendering 中的 Composition Mode,选择 After Depth of Field。
Unity 已经在 GitHub 开放了基于发丝的实时头发渲染方案实验性软件包 https://github.com/Unity-Technologies/com.unity.demoteam.hair(需 Unity 2022.2.0f1 及以上版本),并附免费使用教程 https://learn.unity.com/project/getting-started-with-hair-simulation,帮助大家在自己的项目中创建《Enemies》同款飘逸秀发。

电影级镜头调度

电影是视觉的艺术,运用镜头语言讲故事是制作影视作品的基本功。对于动画影视而言,Unity 可以通过插件 Cinemachine https://unity.com/unity/features/editor/art-and-design/cinemachine 还原真实摄像机的镜头调度,允许开发者无代码实时调整、迭代、实验和创建摄像机行为,并应用于 2D、3D 游戏、影视等任何 Unity 项目。Unity 与迪士尼电视动画公司合作的动画系列短片《大白的梦》就曾在这一变革性技术赋能下获得技术与工程艾美奖 http://mp.weixin.qq.com/s?__biz=MzkyMTM5Mjg3NQ==&mid=2247535796&idx=1&sn=32efb855d687421acc9c32ce78066342&chksm=c1864f30f6f1c62674ce58770b14446bf2a922754d319aadff9d9b71f3ce28d4100cd1dfdedb&scene=21#wechat_redirect。
“数字人弱水”参考了《Windup》实时渲染动画全流程技术美术高级课程中运用 Cinemachine 制作预览镜头、镜头尺寸及角度选择、镜头过渡、Dolly Camera 轨道运镜、动态追踪镜头等知识的讲解,在主相机(Main Camera)设置中基于物理相机(Physical Camera)选择 Senser Type 为 35mm Academy,使画面看起来更加具有电影质感。后续的动画剧制作还将继续使用 Cinemachine 完成影视级别的镜头调度。
同时,为了更好地优化镜头中的画质,“弱水”在主相机设置 Rendering 中开启了深度学习超级采样(DLSS)和 TAA 抗锯齿。
NVIDIA 深度学习超级采样 (DLSS) https://docs.unity3d.com/2023.3/Documentation/Manual/deep-learning-super-sampling.html 是一种利用人工智能提高图形性能的渲染技术,Unity HDRP 对其提供了原生支持。通过 DLSS,我们可以以高帧速率和分辨率运行实时光线追踪,并显著提高光栅化图形的性能和质量。下图中,开启 DLSS 和 TAA 后“弱水”的面部画质更加清晰流畅。

从学习,到创作

学习是灵感的种子,也是创作的起点。从被《Windup》的第一个画面触动,到通过 Unity 把“数字人弱水”带到大家面前,制作团队花费了两年时间。目前团队正在持续优化“数字人弱水”,预计年底会在甘肃省张掖市临泽县丹霞口小镇举行线下首发仪式,让观众能真正与“弱水”面对面互动。“弱水”主演的动画剧《驼骆王子与黑水姑娘》也将在明年 8 月上线网络视频平台,同时借助国际平台向 20 多个国家传播发行。
谈及未来的创作规划,“弱水”的制作人王舒旸说自己已经全职投入基于 Unity 引擎的实时渲染动画创作,除了继续《驼骆王子与黑水姑娘》的续作神话故事外,团队还计划根据反馈开发一款基于 visionOS 的电影感叙事游戏,让观众成为玩家,沉浸体验剧中角色故事,并且可以改变剧情走向。
从学习《Windup》他山之石到分享自己的创作经验;从深耕熟悉的动画制作到探索更具代入感的空间交互,背后是 Unity 联结共享的社区生态、强大逼真的渲染能力和跨平台兼容优势。
这次双十一,Unity 中文课堂首次奉上了《Windup》实时渲染动画全流程技术美术高级课程半价秒杀优惠(11 月 16 日 12:00 秒杀结束),希望这场 20 小时的学习之旅能成为更多 Unity 开发者创作实时渲染动画的第一个脚印,点亮更多创意灵感!

发布于技术交流
0条评论

AI

全新AI功能上线

1. 基于Unity微调:专为Unity优化,提供精准高效的支持。

2. 深度集成:内置于团结引擎,随时查阅与学习。

3. 多功能支持:全面解决技术问题与学习需求。

AI