本文是《Unreal Engine 4 卡通轮廓线(Toon Outlines)教程》的第二部分:后期处理法(Post Process Outlines),书接上文《Unreal Engine 4 卡通轮廓线(Toon Outlines)教程》之 反转网格法
- 后期处理法(Post Process Outlines)
- 理论部分(译者注,头疼可跳到下面的实操部分)
- 什么是卷积(Convolution)?
- 拉普拉斯边缘检测(Laplacian Edge Detection)
- 实操部分(译者注)
- 创建边缘检测算子(Laplacian Edge Detector)
- 创建像素抽样函数(Sample Pixel Function)
- 小结
- 卷积
- 小结
- 使用阈值
- 创建粗线
- 添加到原始图像上
使用边缘检测(edge detection)的方法也可以制作轮廓线。这种技术的关键就是检测一幅图像各个区域间的不连续性(discontinuity)。如下图所示不连续性有很多种类型:
译者注:法线的不连续性、深度的不连续性、颜色的不连续性以及亮度的不连续性
优点:
- 可以非常方便地应用于整个场景
- 恒定的性能损耗,因为着色器永远都是逐像素处理
- 轮廓线的宽度在不同的距离都会保持相同,当然这也会成为一个缺点
- 轮廓线不会和几何体重合,因为这是一种后期处理效果
缺点:
- 需要多重边缘检测算子(edge detector)来获取所有的边缘,这将会影响一定的性能
- 容易出现噪点,这意味着检测出的轮廓线边缘会有一定的不稳定性
所谓卷积就是在图像处理中,从两组数字产生一个单一数值结果的运算。首先,我们把一个由数字组成的网格(一般称之为核kernel)中心放置在每一个像素上。以下图为例,一个3x3的核沿着图像顶部的两行像素扫描:
译者注:核指的是3x3的网格
对于每一个像素,都用核实体去乘以它的相对应像素。(译者注:这句不好理解,看下面的例子就明白了)以嘴部左上角的像素为例(在这里为了简化运算,我们把图像转成了灰度图)
首先,我们以目标像素为中心放置核(这个核我们使用的就是上面的那个),然后让每个核元素乘以其覆盖的像素(灰度)值。
最后把所有的乘积加在一起,让这个乘积作为中心像素新的值。本例中,新的值就是0.5 + 0.5即1。下图就是每个像素卷积处理完毕以后的结果:
核的选用会决定我们得到的结果。本例中的核是用于边缘检测的,下面是其它一些类型的核:
译者注: 从左到右分别为锐化(Sharpen)、凹凸(Emboss)和均值模糊(Box Blur)
注意:你可能已经发现,在很多图像处理软件中,这些东西被称之为滤镜(Filter)。实际上,图像处理软件就是通过卷积来实现滤镜的。你甚至可以在Photoshop上自定义核来进行卷积运算。
我们一般使用拉普拉斯算子(Laplacian)进行边缘检测,即拉普拉斯边缘检测(Laplacian Edge Detection)。
拉普拉斯边缘检测(Laplacian Edge Detection)那么,拉普拉斯边缘检测的核是什么样的呢?它就是我们刚刚在上一部分用到的那个!
之所以这种核能够用于边缘检测,是因为它计算的在斜率(slope)上的变化。一个区域的斜率变化越大,就越意味着它是边缘。
咱们用一维的拉普拉斯算子做个实验,以帮助你理解。一维的拉普拉斯算子如下:
首先,我们用肉眼找到一个图像的“边缘”像素(下图红色中心那个像素),把这个(一维拉普拉斯算子)核放到上面,然后它的计算卷积。
我们得到的结果是1,这标志着它的斜率变化很大,同时也意味着它很可能是一个“边缘”。
然后咱们再肉眼找一个非边缘像素(下图红色中心那个像素),同样计算一下它的卷积。
尽管像素的值不同(0.7,0.6,0.5),但是梯度是线性的。这表示着它的斜率没有变化,同时也意味着它不是边缘像素。
下面的图表就是用这个图像所有像素进行卷积后结果绘制的,我们可以看到所有的边缘像素的卷积结果都远离零点。
我去!好多的理论啊,不过别着急,下面就是有趣的部分啦。下个部分,我们将创建一个后处理材质并让它在深度缓冲区(depth buffer)进行拉普拉斯边缘检测。
实操部分(译者注) 创建边缘检测算子(Laplacian Edge Detector)找到Maps文件夹并打开PostProcess地图,你将看到一个黑屏。这是因为这个地图使用了一个包含空的后处理材质(post process material)的Post Process Volume。
我们将编辑这个材质来实现边缘检测算子。第一个步骤是如何对相邻像素进行抽样。
我们使用一个纹理坐标(TextureCoordinate)来获取当前像素的位置。比如,如果当前像素在中间,那么它的返回值就是(0.5,0.5).这个二维向量,我们称之为UV。
想获取其它的像素,我们只需要给纹理坐标加上一个偏移量。在一个100x100(像素大小)的图像上,每个像素占大小为0.01的UV空间。要抽样它右边的像素,只需要在X周上加0.01。
然而,这里存在一个问题。因为图像的分辨率可能发生变化,使得像素大小也随之变化。如果把同样的偏移量(0.01,0)用在200x200像素的图像上,它抽样的像素就会是右数第2个。
为了解决这个问题,可以使用SceneTexelSize
节点来返回像素大小。我们如下操作即可:
因为咱得抽样多个像素,那就不得不重复多次这个步骤:
很显然,这样很快就乱套了。好在我们可以使用材质函数来整理材质蓝图。
注意: 材质函数就类似于我们在蓝图和C++中使用的函数
下面的部分,我们将把节点复制到材质函数中,然后创建一个输入引脚来获取偏移量。
创建像素抽样函数(Sample Pixel Function)首先找到Materials\PostProcess文件夹。单击Add New然后选择Materials & Textures\Material Function来创建材质函数。
将其更名为MF_GetPixelDepth并打开。这个蓝图当前只有一个FunctionOutput
节点。后面,我们会把它连接到被采样像素的值。
首先,我们需要创建一个创建一个FunctionInput
节点作为接收偏移量的Input节点。
后面我们使用这个函数的时候,这个节点将会成为输入引脚。
现在,我们得为这个输入做一些设置。选择FunctionInput
节点,然后打开细节面板。调整如下设置:
- InputName:
Offset
- InputType:
Function Input Vector 2
,因为深度缓冲区是一个2D图像,所以偏移量也必须是Vector 2
- Use Preview Value as Default:
Enabled
。如果我们不提供输入值,那么函数将会使用Preview Value的值
接下来,我们得用偏移量乘以像素大小。然后通过添加下图中高亮的节点让结果和纹理坐标相加:
最后,使用所提供的UV对深度缓冲区进行抽样,添加一个SceneDepth
节点并如下图所示连接:
- 偏移量通过Vector2和SceneTexelSize相乘而得来。它是UV空间上偏移量。
- 让偏移量和TextureCoordinate相加获得一个相距当前像素距离为(x,y)的像素。
- SceneDepth使用所提供的UV来抽样相应像素,然后把它输出。
这就是材质函数的全部了。点击Apply,然后关闭MF_GetPixelDepth。
注意: 这时可能会看到一个报错only translucent or post process materials can read from scene depth
,可以忽略它,因为这个函数将用于后处理材质,没有问题的。
接下来,就要用这个函数来进行深度缓冲上的卷积运算了。
卷积首先,为每个像素创建偏移量节点。因为核的角上都是0,所以可以不用管它们。这样,我们对左、右、上、下4个像素创建就可以了。
打开PP_Outline材质,按如下所示创建4个Constant2Vector
节点:
- (-1, 0)
- (1, 0)
- (0, -1)
- (0, 1)
然后对核中的5个像素进行抽样。创建5个MaterialFunctionCall
节点,并把每一个都设为MF_GetPixelDepth
。然后把每个偏移量连到对应的函数上。
于是,我们获得了每个像素的深度值。
接下来是乘法阶段。因为周围像素的乘数都是1,你可以不用乘它们;但必须对中心像素乘以-4(对应上图最下面的那个函数)。
然后,把所有的值相加。如下图所示,创建Add
节点:
还记得上面图表中的像素值么?有些值会是负的。如果你在材质中使用负值,那么将会显示黑色,因为它们小于零。因此,我们得给计算它们的绝对值,把每个输入都变成正数。 添加一个
Abs
节点餐后如下所示连接:
MF_GetPixelDepth
节点会获得上、下、左、右、中间像素的深度值- 把它们分别和核中的值相乘,实际上我们只需要让中间的像素相乘
- 计算它们的和
- 获取和的绝对值以防止出现负数
点击Apply并回到主编辑器。这时,整个画面将会呈现线条!
目前还有一些问题。首先,有些“边”在只有一点深度差的地方(其实算不上边)。其次,应为背景是球体,所以呈现一圈一圈的。如果你只想对网格模型进行检测,这算不上是问题。但如果你要检测整个场景的边缘,这些环线就不行了。
我们可以通过阈值来修正这些问题。
使用阈值首先,我们来修正那些微小深度差上产生的边缘。回到材质编辑器,如下操作。把阈值设为4.
后面,我们会把边缘检测的结果镰刀A上,这样当像素值大于4,它就会输出1.否则输出0(即非边)。
接下来,咱们处理背景上的线。如下所示操作,并将DepthCutoff
设为9000。
这样,如果当前像素的深度值大于9000,将会输出0(非边),否则会输出A
最近更新
- 深拷贝和浅拷贝的区别(重点)
- 【Vue】走进Vue框架世界
- 【云服务器】项目部署—搭建网站—vue电商后台管理系统
- 【React介绍】 一文带你深入React
- 【React】React组件实例的三大属性之state,props,refs(你学废了吗)
- 【脚手架VueCLI】从零开始,创建一个VUE项目
- 【React】深入理解React组件生命周期----图文详解(含代码)
- 【React】DOM的Diffing算法是什么?以及DOM中key的作用----经典面试题
- 【React】1_使用React脚手架创建项目步骤--------详解(含项目结构说明)
- 【React】2_如何使用react脚手架写一个简单的页面?