鸣潮基于虚幻引擎4的多平台效果和性能优化实践

《鸣潮》基于虚幻引擎4的多平台效果和性能优化实践 | 王宏波 库洛游戏

更多参考文章： ue taau详细解析 - 知乎 (zhihu.com)

why deferred shading

选了deferred shading之后aa只能选后处理aa了

aa之前：

移动端高质量的taau

渲染流程

增加了velocity pass，把taa pass变为了 taau pass

ghost和flicker优化，一些图像空间算法的融入

ghost问题优化：

同时实现这三种模式。低配置上会选rgb颜色空间来做，而高配置会选ycocg来做

第一部分是关于速度，速度编码到了24位的一个rgb里去了。第二部分是记录遮罩是不是角色的，这样更不容易产生鬼影和染色问题。

因为没有把勾边pass渲染velocity buffer，这样会导致角色上有很多黑边，在做taa的时候character mask判断它不是角色的一个像素。对卡渲来说，渲染一个角色要五六遍。蒙皮更严重，每一次渲染都需要蒙皮两次，因为需要上一帧的位置和当前帧的位置才能得到它的速度。所以去掉了velocity buffer勾边渲染。去掉之后会导致角色边缘闪烁的比较厉害。

flicker问题优化：

动静态像素的差异处理

尝试一：使用运动速度插值动态静态两套权重

最终权重是根据velocity的值的大小进行插值的。像素运动越快，当前帧的权重就越大。像素运动越慢，当前帧的权重就越小。

尝试二：图像的锐化算法

主要是为了处理动态像素。例如unsharp masking kernel。它也是十字星的采样，所有可以重用之前的采样数据。

taau之upscale简介

一般图像在做上采样的时候，考虑的是目标像素到原像素的距离来做一个权重的插值。但是fsr等除了考虑这个距离，还会考虑原像素本身的一些情况。lanczos2用的是多项式的一个逼近。

总结及其他的一些优化和结果：

混合方案：实现了经典taa算法，同时又融入了一些图像处理的方式与方法

从one pass deferred pipeline到one pass uber pipeline

渲染管线简介

gbuffer的结构：

第一版：三张gbuffer+一张scenecolor+一个depthbuffer （depth fetch获取深度信息）

三种材质scene color存的都是自发光；gbuffera存的是法线、lightfunction（做云层投影用）和一个通道的卡渲信息；gbufferc存的是basecolor和ao的信息；gbufferb每种都不太一样，存的是一些特化的信息

opds在mali上的指令异常（第一个坑）

上面方案在arm的mali gpu的测试结果：

发现三个灯光pass的指令数都非常高，fpk失效。进一步分析发现是depth fetch的问题会导致fpk失效（从1.2兆变为0.01兆）。

from opds pipeline to one pass uber shading pipeline

上述问题的解决方案 - 混合方案：opds+forward前向卡通渲染+gbuffer重新编码（把原来的depth编码到gbufferb里面去）

最终放在了lighting passes之后

opds在adreno gpu gles 下的写带宽异常（第二个坑）

发现是引擎rhi实现有个小的bug导致的（ue4才有的问题，ue5没有）

只对scenecolor和depth生效，会把gbuffer三张都给resolve出来

修改后：所有的rt和depth都是可以discard掉的

测试带宽结果：

树的双端方案

多平台适配框架简介：

整体方案

billboard tree

把原来插片树的面向相机的每一丛树叶都变成一个billboard来替代

测试结果：billboard树只要30%~40%的面片占用就可以达到插片树效果的还原，但是阴影会跟着相机转动。渲染的时候让阴影面向光源而不是面向相机就可以解决。

imposter tree

imposter树原理：围绕模型放一圈相机去拍这个树，记录树的一些基本渲染信息，渲染的时候通过相机的方向去采一些最接近当前相机方向的离线渲染出来的信息去做信息合成，最终生成当前相机下应该出现的样子。

dynamic texture array & streaming

扩展了ue默认的texture array做成了动态texture array，可以按需增加slice进来

depth还原：

光影效果对比：

蓝色效果为imposter树，其他为模型树

优化结果测试：

其他优化