基于光照方向一致性的换脸视频检测

李纪成，刘琲贝，胡永健，王宇飞，廖广军，刘光尧; LI Jicheng; LIU Beibei; HU Yongjian; WANG Yufei; LIAO Guangjun; LIU Guangyao

2025年5月9日 22:54 星期五

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于光照方向一致性的换脸视频检测 PDF

- ORCID：
李纪成 ¹
- ORCID：
刘琲贝 ^1,2
- ORCID：
胡永健 ^1,2
- ORCID：
王宇飞 ²
- ORCID：
廖广军 ³
- ORCID：
刘光尧 ⁴

1. 华南理工大学电子与信息学院，广州，510641； 2. 中新国际联合研究院，广州，510000； 3. 广东警官学院刑事技术系，广州，510230； 4. 公安部物证鉴定中心，北京，100038

中图分类号： TP391.41

最近更新：2020-11-06

DOI：10.16356/j.1005-2615.2020.05.012

摘要

光照条件是视频外部成像环境的重要因素，可反映视频成像时的客观物理条件，即使采用复杂的计算机图形学模型，也难以完全反映光照的真实场景。针对大部分Deepfake换脸视频与真实视频在外部成像环境上的差异，提出一种基于光照方向一致性的换脸视频检测方法。本文利用Lambert光照模型逐帧计算待测视频的二维光照方向，通过判断整段待测视频二维光照方向的角度变化是否平滑确定视频真伪。实验结果表明该方法在公开的测试数据库TIMIT和FaceForensics⁺⁺上具有较好的检测性能，可以有效区分真实视频和换脸视频。由于不需要训练检测模型，该方法具有计算复杂度低、实时性好的优点。

关键词

视频篡改检测; 换脸视频; 成像环境; 光照方向

随着人工智能和机器学习的快速发展，视频换脸的技术门槛变得越来越低。从早期基于电脑端的Deepfake视频换脸技术^[

1⁃2]，到目前基于手机端的Impressions换脸APP^{[参考文献 3
百度学术}3]，视频换脸技术对于硬件的要求越来越低，且换脸视频的制作时长也从最初的几个小时变成了短短几分钟，使用者仅通过一部手机就可以在几分钟内得到效果逼真的换脸视频。然而这些换脸视频在快速传播的同时，也给社会舆论带来了极大的安全隐患，因此针对换脸视频篡改检测技术的研究具有重要的意义。

换脸视频丰富了人类的社会生活，也带来了巨大的安全隐患，引起了社会各界的广泛关注，目前国内外学者已对换脸视频篡改检测技术展开相关研究^[

4]。现今流行的换脸视频篡改检测技术主要通过深度神经网络判别器来检测视频是否发生换脸^{[参考文献 5⁃14}5⁃14]。在库内的检测准确率通常都较高，但跨库性能严重下降，泛化性能或称通用能力不强，这也是目前基于深度神经网络检测算法的共性问题。此外，基于深度网络的检测方法需要预先进行模型训练，使得算法计算复杂度较高，无法在普通计算机上直接运行。除此之外，在实现的技术细节方面，脱胎于针对图像处理而设计的深度网络检测算法^{[参考文献 5⁃13}5⁃13]多以帧图像为单位进行模型训练和检测，未能考虑同一视频相邻帧之间在时间轴上的内在联系，即时域特征，虽有个别算法^{[参考文献 14
百度学术}14]考虑了连续若干帧在时域上的特征关联，但计算复杂度高，特征描述针对性不强。

为了降低计算复杂度，提高通用性，本文从视频成像的基本事实出发，利用常规图像处理技术，提出一种不依赖于深度网络特征且简单可行的方法。由于真实视频和换脸视频在成像环境上存在差异，一种合理的途径是利用这种差异进行篡改检测。真实视频一般直接通过数码成像设备录制得到；而换脸视频则是将换脸处理过的视频帧序列重新进行视频编码得到，二者在成像方式上有本质不同。

光照方向是一个重要的取证特征^[

15⁃18]，能客观反映成像环境，故从光照特征出发来分析真实视频和换脸视频之间的差异具有天然的合理性。一般而言，用于换脸的目标视频通常为在自然环境中拍摄的短视频，这类真实视频相邻帧之间的光照方向变化具有较好的一致性；而换脸视频在对单帧图像进行换脸时虽考虑了光照渲染，但由于各换脸帧常为独立制作，难以保证相邻帧图像之间光照方向的自然吻合。

本文提出一种基于光照方向一致性的换脸视频篡改检测算法。首先确定待测视频的脸部检测区域，然后逐帧计算检测区域的二维光照方向矢量，以获得整段待测视频的光照角度序列，最后将光照角度序列的标准差与预先设定的判别门限进行比较，确定待测视频是否换脸。在公开的换脸视频测试数据库TIMIT和FaceForensics⁺⁺上的实验结果表明，本文算法可以快速有效地区分真实视频和换脸视频，与现有3种算法相比，也具有最好的综合检测性能。

1 光照方向的计算

Lambert光照模型^[

19⁃20]（图1）是一种流行的单光源漫反射模型，假设光源是单一无限远的点光源，且物体表面会等方向性地反射光线，则观察者在任何一个方向观察到的反射亮度都相同。

图1 Lambert光照模型

Fig.1 Lambert illumination model

虽然不是所有光照环境都是单一点光源，也不是所有物体表面都会等方向性地反射光线，但Lambert模型仍是一个简单通用的光照模型，本文沿用这个模型。物体表面反射光的光照强度I的定义如下

I = k (N \cdot L) + ε

（1）

式中：k为物体表面的漫反射率，经验值为k=1； $N$ 为物体表面的法线方向矢量； $L$ 为照射到物体表面上的光照方向矢量； $ε$ 为环境光强度。由于实际的光照方向是三维矢量，物体表面的理论光照强度值可通过式（1）得到，实际光照强度值可用物体表面的灰度像素值表示，则三维光照方向矢量 $L$ 可通过最小化理论光照强度和实际光照强度的差异得到。其中理论光照强度和实际光照强度的差异通过二次误差函数E描述，E的定义如式（2）和式（3）所示。

E (L, ε) = {‖M (\begin{matrix} L_{x} \\ L_{y} \\ L_{z} \\ ε \end{matrix}) - (\begin{matrix} I (x_{1}, y_{1}) \\ I (x_{2}, y_{2}) \\ ⋮ \\ I (x_{p}, y_{p}) \end{matrix})‖}^{2} = {‖M v - b‖}^{2}

（2）

M = (\begin{matrix} \begin{matrix} N_{x} (x_{1}, y_{1}) & N_{y} (x_{1}, y_{1}) & N_{z} (x_{1}, y_{1}) 1 \\ N_{x} (x_{2}, y_{2}) & N_{y} (x_{2}, y_{2}) & N_{z} (x_{2}, y_{2}) 1 \\ ⋮ & ⋮ & ⋮ \end{matrix} \\ N_{x} (x_{p}, y_{p}) N_{y} (x_{p}, y_{p}) N_{z} (x_{p}, y_{p}) 1 \end{matrix})

（3）

式中： $‖\cdot‖$ 表示向量范数， $L_{x}$ ， $L_{y}$ 和 $L_{z}$ 表示三维光照方向矢量 $L$ 在三维空间坐标系x，y，z方向上的分量， $p$ 表示用于计算光照方向的采样点数量， $N_{x} (x_{i}, y_{i}), N_{y} (x_{i}, y_{i}) 和 N_{z} (x_{i}, y_{i})$ 表示第i个采样点处的三维法向矢量在x，y，z方向上的分量， $I (x_{i}, y_{i})$ 表示在第i个采样点处的实际光照强度值。通过对式（2）的二次误差函数求导，使其最小化，从而得到三维光照方向 $L_{0}$ ， $L_{0}$ 表达式为

L_{0} = (\begin{matrix} L_{x} \\ L_{y} \\ L_{z} \\ ε \end{matrix}) = (M^{T} {M)}^{- 1} M^{T} b

（4）

实际应用场景中通常针对图像计算其二维光照方向，此时可令 $L_{0}$ 中z分量等于0得到二维光照方向 $L_{1}$ ， $L_{1}$ 表达式为

L_{1} = (\begin{matrix} L_{x} \\ L_{y} \\ ε \end{matrix}) = (M_{1}^{T} M_{1})^{- 1} M_{1}^{T} b

（5）

M_{1} = (\begin{matrix} \begin{matrix} N_{x} (x_{1}, y_{1}) & N_{y} (x_{1}, y_{1}) & 1 \\ N_{x} (x_{2}, y_{2}) & N_{y} (x_{2}, y_{2}) & 1 \\ ⋮ & ⋮ & ⋮ \end{matrix} \\ N_{x} (x_{p}, y_{p}) N_{y} (x_{p}, y_{p}) 1 \end{matrix})

（6）

式中矩阵 $M_{1}$ 由矩阵 $M$ 去除其第3列元素后得到。

2 本文算法原理

2.1　算法原理

首先用一段帧长为81的真实视频和其对应的换脸视频来介绍本文方法的基本思想（图2）。

图2 真实视频和其对应的换脸视频帧图像

Fig.2 Frames of a real video and its corresponding fake video

注：

第一行为真实视频，第二行为换脸视频，从左到右依次为视频的第1，4，7，10和13帧

图3为图2中真实视频和其对应换脸视频光照方向角度分布的对比图，由图3可以看出，前者在时间轴上变化较平缓，而后者在时间轴上变化较剧烈。对于一段数十秒的短视频，可以假设拍摄环境的光照条件是不变的，即在自然环境中拍摄的真实视频其相邻帧之间光照方向的变化具有较好的一致性；与之相反，换脸视频则是通过将独立换脸的视频图像帧序列重新编码得到，独立换脸过程难以保证相邻帧之间光照方向的自然吻合。据此，当待检测视频帧序列的光照方向角度出现剧烈变化时，有理由认为该段视频可疑，若光照方向的计算区域限定在脸部，则可认为是发生了换脸操作。

图3 真实视频和其对应换脸视频光照方向角度对比

Fig.3 Comparison of illumination direction distribution between a real video and its corresponding fake video

2.2　算法步骤

本文算法通过视频帧图像的纹理信息估计其二维光照方向，主要包括视频分帧、选择检测区域、选择目标区域和计算目标区域二维光照方向4个部分，其算法流程如图4所示。

图4 计算视频光照方向序列的算法流程图

Fig.4 Flow chart for calculating illumination direction sequence of a video

下面以图2中的真实视频作为测试对象说明本文算法的计算过程。具体步骤如下：

步骤1 逐帧读取视频帧图像，并使用Dlib从视频帧图像中提取人脸部分作为检测区域。

步骤2 将各帧检测区域图像转化到YCbCr图像空间，提取其对应的灰度分量图像I_G，然后利用Canny边缘检测算子对I_G进行边缘滤波，得到其对应的二值边缘图像I_C。

步骤3 将I_G和I_C等比例划分为4 $\times$ 4个子区域，其中子区域序号k按照逐行扫描顺序排列，通过I_G计算每个子区域的平均像素值 $G_{k}$ ，通过I_C计算每个子区域的边缘信息所占百分比 $P_{k}$ ；以测试视频第1帧图像为例，其对应的 $G_{k}$ 和 $P_{k}$ 分布情况如图5所示。

图5 测试视频第1帧图像对应的 $G_{k}$ 和 $P_{k}$ 分布示意图

Fig.5 Distribution of $G_{k}$ and $P_{k}$ corresponding to the first frame of the test video

步骤4 利用 $G_{k}$ 来分析子区域的图像亮度水平，利用 $P_{k}$ 来分析子区域的纹理复杂度，然后通过 $G_{k}$ 和 $P_{k}$ 选择低纹理复杂度、高平均灰度值的N个子区域作为目标区域。其理论依据是：纹理平坦的子区域能更好的体现相邻像素间的明暗变化，亮度较高的子区域能避免阴影区域的干扰，依此原则选择的目标区域可以较好反映图像的光照方向信息。具体方法如下：首先从16个子区域中选择M个 $P_{k}$ 较小的子区域，再从M个子区域中选择前N个 $G_{k}$ 较大的子区域作为目标区域，这里M∈[1,16]，N≤M。以图5中 $G_{k}$ 和 $P_{k}$ 分布为例，当M=8，N=3时，此时选择的目标区域为第8、第14和第15个子区域。

步骤5 使用式（5）计算各帧N个目标区域图像各自的二维光照方向矢量 $L_{k}^{s}$ ，其中s表示帧序号，k表示目标区域的序号，最后得到含有N个矢量元素的二维光照方向向量 $L = {L_{k}^{s}}, k = 1,2, \dots, N$ 。

步骤6 将步骤3中各帧目标区域图像对应的边缘信息百分比作为权重，对各帧二维光照方向向量 $L$ 中N个矢量元素进行加权计算，得到该帧图像的光照方向矢量 $L^{s}$ ；加权公式如下

L^{s} = (\frac{1}{P_{k}} \times L_{k}^{s})

（7）

步骤7 通过计算各帧图像二维光照方向矢量的X分量和Y分量正切值所对应的角度 $θ$ 来表示该帧的二维光照方向，然后逐帧保存每帧图像的光照方向角度，得到测试视频的光照角度序列； $θ$ 的表示规则如图6所示， $θ \in [- 180 °, 180 °]$ ，测试视频光照方向的角度分布如图7所示。

图6 二维光照方向的角度 $θ$ 定义

Fig.6 Definition of the angle $θ$ calculated by two-dimensional illumination direction

图7 测试视频光照方向的角度分布

Fig.7 Distribution of the angle $θ$ calculated by illumination direction of the test video

3 检测区域和目标区域数量选择

由第2节算法原理可知，检测区域和目标区域数量的选择是光照计算过程中的两个重要步骤，会直接影响光照方向的计算结果，因此本节通过实验对检测区域和目标区域数量的选择做进一步探究。

3.1　检测区域的选择

为了测试不同大小的人脸区域对光照计算结果的影响，实验分别选择整帧区域、包含部分背景的人脸区域和人脸区域作为候选区域（分别记为类别1、类别2和类别3），然后计算真实视频和其对应换脸视频在不同候选区域中光照方向角度的分布，选择在上述两个视频中分布差异最大的候选区域作为检测区域 $A_{b}$ ，最后统计多段视频的 $A_{b}$ 概率分布情况。 $A_{b}$ 的选取可由式（8）得到

A_{b} = a r g m a x_{A} \{D (A) = |s t d_{o} (A) - s t d_{c} (A)|\}

（8）

式中： $s t d_{o} (A)$ 和 $s t d_{c} (A)$ 分别表示在检测区域为 $A$ 时真实视频和其对应换脸视频光照方向的角度分布对应的标准差， $D (A)$ 表示 $s t d_{o} (A) 和 s t d_{c} (A)$ 的差值绝对值。

实验通过TIMIT数据库中200对原始视频和其对应的换脸视频给出 $A_{b}$ 的 $统计分布情况$ 。结果如图8所示，真实视频和换脸视频光照方向角度分布差异最大的 $A_{b}$ 主要集中在类别3（即人脸区域）处，其原因是换脸视频仅针对人脸区域进行篡改，使得真实视频和换脸视频的差异主要集中在人脸区域，在背景区域则无明显差别，因此本文算法选择视频帧图像的人脸区域作为检测区域。

图8 不同检测区域的概率分布

Fig.8 Probability distribution with different detection areas

3.2　目标区域数量的选择

首先通过一对帧长为98的真实视频和换脸视频给出目标区域数量为3，4，5时的光照方向结果，这里M=8。

结果如图9所示，对于同一个测试视频，当目标区域数量取不同值时视频光照方向角度的分布是不同的。选择合适的目标区域数量可以有效扩大真实视频和换脸视频光照方向角度分布的差异，因此对目标区域数量的选择进行研究十分必要。

图9 不同目标区域数量时真实视频和换脸视频光照方向的比较

Fig.9 Comparison of the illumination direction angle between the real video and its corresponding fake video with different numbers of target areas

为了选择合适的目标区域数量，实验计算真实视频和其对应的换脸视频在目标区域数量取不同值时光照方向的角度分布，然后选择使得真实视频和换脸视频光照方向的角度分布差异最大的目标区域数量 $N_{b}$ ，最后统计多段视频 $的 N_{b}$ 分布情况。 $N_{b}$ 的选取由公式（9）得到

N_{b} = a r g m a x_{N} \{D (N) = |s t d_{o} (N) - s t d_{c} (N)|\}

（9）

式中： $s t d_{o} (N)$ 和 $s t d_{c} (N)$ 分别表示在目标区域数量为N时真实视频和其对应换脸视频光照方向角度分布的标准差； $D (N)$ 表示 $s t d_{o} (N) 和 s t d_{c} (N)$ 的差值绝对值。

实验通过TIMIT数据库中200对原始视频和其对应的换脸视频给出 $N_{b}$ 的 $统计分布情况$ 。结果如图10所示，使得真实视频和其对应的换脸视频光照方向分布差异最大的 $N_{b}$ 主要集中分布在N=3处，因此本文算法将目标区域数量N设置为3。

图10 不同目标区域数量的概率分布

Fig.10 Probability distribution with different numbers of target areas

4 实验结果与分析

实验测试的硬件环境为Windows 10操作系统，CPU为Inter(R) Core(TM) i7⁃7700，主频3.60 GHz，内存16.0 GB；算法仿真平台为MATLAB 2017a；测试数据库为TIMIT数据库^[

21]和FaceForensics⁺⁺数据库^{[参考文献 22
百度学术}22]，其中TIMIT数据库中对每一个真实视频分别使用不同的训练模型和融合技术生成高质量（High quality，HQ）和低质量（Low quality，LQ）的两种换脸视频，而FaceForensics⁺⁺数据库中包括Face2Face、Faceswap和Deepfake篡改方法合成的3类换脸视频。

4.1　算法有效性验证

本节首先从TIMIT数据库（HQ视频部分）和FaceForensics⁺⁺数据库（Deepfake部分）中各选取一对真实视频和其对应的换脸视频，给出算法在个例测试对象上的实验结果。如图11，12所示，为了反映相邻帧光照方向角度的变化情况，实验将真假视频光照方向的角度分布进行差值处理（相邻两帧中的后一帧光照方向的角度减去前一帧光照方向的角度），结果表明两数据库中的真实视频和换脸视频光照方向的角度分布均具有明显差异，其中真实视频光照方向的角度变化较为平滑，而换脸视频光照方向的角度变化则较为剧烈。

图11 TIMIT数据库中faks0_si943真实视频和其对应换脸视频光照方向的角度分布

Fig.11 Distribution of illumination direction angle in the real video faks0_si943 and its corresponding fake video in TIMIT database

图12 FaceForensics⁺⁺数据库中135_880真实视频和其对应换脸视频光照方向的角度分布

Fig.12 Distribution of illumination direction angle in the real video 135_880 and its corresponding fake video in FaceForensics⁺⁺ database

为了进一步验证算法的有效性，实验对TIMIT数据库（包括HQ视频和LQ视频两部分）和FaceForensics⁺⁺数据库（Deepfake部分）进行统计分析。首先计算数据库中每对真实视频和换脸视频光照方向角度序列的标准差，通过标准差来衡量其光照方向的角度变化是否剧烈，标准差越大，表明整段视频光照方向的角度变化越大，然后统计数据库对应的标准差分布情况。实验结果如图13和图14所示，结果表明两个数据库中真实视频和换脸视频光照方向角度的标准差分布均有明显差异，其中真实视频光照方向角度分布的标准差大多低于换脸视频光照方向角度分布的标准差，这种现象在FaceForensics⁺⁺数据库中更加明显，由计算可得TIMIT数据库中真实视频和换脸视频对应标准差分布的均值分别为49.70和97.14，FaceForensics⁺⁺数据库中真实视频和换脸视频对应标准差分布的均值分别为23.22和63.31。这表明所提取的光照方向特征可以较好地区分真实视频和其对应的换脸视频，证明了本文方法的有效性。

图13 TIMIT数据库的统计分析结果

Fig.13 Statistical analysis of TIMIT database

图14 FaceForensics⁺⁺数据库的统计分析结果

Fig.14 Statistical analysis of FaceForensics⁺⁺ database

4.2　算法性能分析

为了研究本文算法的性能，实验分别选择TIMIT数据库（包括HQ视频和LQ视频两部分）和FaceForensics⁺⁺数据库（Deepfake部分）中真实视频和换脸视频为正样本和负样本，绘制算法的ROC（受试者工作特征）曲线。结果如图15所示，算法在FaceForensics⁺⁺数据库上的检测效果要优于TIMIT数据库；且算法在TIMIT数据库中LQ视频部分的检测性能要优于HQ视频部分。其原因如下所示：

图15 算法ROC曲线

Fig.15 ROC curves of the algorithm

（1）FaceForensics⁺⁺数据库中视频换脸效果相对TIMIT数据库较差，脸部边缘容易出现较为明显的篡改痕迹；且相比于TIMIT数据库中单一的室内拍摄环境，FaceForensics⁺⁺数据库中视频拍摄场景的光照更加丰富（例如光照良好的室外和灯光明亮的室内直播间），此条件下拍摄的真实视频其光照信息更加充分，真实视频和换脸视频的光照方向一致性差异更大，因此在FaceForensics⁺⁺数据库上检测效果要更好。

（2）TIMIT数据库中LQ换脸视频的视频质量更低，帧图像的纹理更模糊，无法准确反映视频的光照方向，导致换脸视频光照方向的一致性变得更差，有利于本文算法的检测，因此算法在TIMIT数据库中LQ视频部分的检测性能要优于HQ视频部分。

为了进一步验证本文算法性能，选取文献[

11]、文献[12]和文献[13]作为对比算法，并使用ROC曲线下的面积（Area under the curve，AUC）作为算法性能的评价指标，分别在TIMIT数据库和FaceForensics⁺⁺数据库内对不同算法进行测试，其中对比算法均以视频帧为单位进行检测，而由于本文算法充分考虑了整段视频的时域信息，因此以整段视频为单位进行检测，结果如表1所示。本文算法在2个数据库内的检测结果均高于对比算法，其中在FaceForensics⁺⁺数据库上的AUC值要远高于所对比的算法。这说明本文算法可以较好检测真实视频和换脸视频，尤其是在视频光照环境良好的场景下，算法拥有较好的检测性能。

表1 不同算法的AUC对比

Table 1 AUC comparison of different algorithms

算法	数据库
算法	FaceForensics⁺⁺ （Deepfake）	TIMIT（HQ）	TIMIT（LQ）
文献[11]	0.701	0.735	0.835
文献[12]	0.473	0.532	0.551
文献[13]	0.780	0.770	0.773
本文算法	0.966	0.853	0.886

由于本文算法不需要预先训练检测模型，其计算复杂度主要集中在计算待测视频帧图像的二维光照方向这一步骤，而算法所使用的Lambert光照模型是一种较为简单的单光源漫反射模型，因此本文算法具有较低的计算复杂度，实时性好。如表2所示，以帧数为100帧、分辨率为512像素×384像素的待测视频为例，本算法不需要提前训练检测模型，仅需10~15 s就能完成检测，而文献[

11]、文献[12]和文献[13]的方法则需要先训练好检测模型才能进行检测，且3种对比算法的检测速度均低于本文算法，故本文方法在算法实时性方面有明显优势。

表2 不同算法的实时性对比

Table 2 Realtime comparison of different algorithms

算法	测试视频帧数/帧	测试视频分辨率/ （像素×像素）	是否需要训练检测模型	检测时长/s
文献[11]	100	512×384	是	50~60
文献[12]	100	512×384	是	15~20
文献[13]	100	512×384	是	15~20
本文算法	100	512×384	否	10~15

5 结论

针对现有深度网络换脸视频篡改检测算法存在计算复杂度较高、通用性不够好以及未充分考虑视频时域特征的问题，提出一种基于光照方向一致性的换脸视频篡改检测方法。从视频成像的外部环境条件出发，利用待检测视频帧图像序列光照方向一致性进行检测，具有计算复杂度低，通用性好的特点，在公开数据库中的测试结果证明了算法的有效性。下一步的工作可考虑使用更加精确的光照模型计算视频帧图像的光照方向。

参考文献

KORSHUNOVA I， SHI W， DAMBRE J， et al. Fast face-swap using convolutional neural networks［C］// Proceedings of 2017 IEEE International Conference on Computer Vision. Venice， Italy： IEEE， 2017： 3697-3705. [百度学术]

BITOUK D， KUMAR N， DHILLON S， et al. Face swapping： Automatically replacing faces in photographs［J］. Proc Siggraph， 2008， 27（3）： 1-8. [百度学术]

Impressions-video face swap App：Realistic face swap videos［EB/OL］.（2020-02-15）［2020-04-05］. https：//impressions.app/. [百度学术]

GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］//Proceedings of the 28th Conference on Neural Information Processing Systems. Montreal， Canada， 2004： 2672-2680. [百度学术]

高逸飞，胡永健，余泽琼，等. 5种流行假脸视频检测网络性能分析和比较［J］. 应用科学学报， 2019， 37（5）： 590-608. [百度学术]

GAO Yifei， HU Yongjian， YU Zeqiong， et al. Evaluation and comparison of five popular fake face detection networks［J］. Journal of Applied Sciences， 2019， 37（5）： 590-608. [百度学术]

AFCHAR D， NOZICK V， YAMAGISHI J. Mesonet： A compact facial video forgery detection network［C］//Proceedings of IEEE International Workshop on Information Forensics and Security. Hong Kong， China： IEEE， 2018： 1-7. [百度学术]

BAYAR B， STAMM M C. Constrained convolutional neural networks： A new approach towards general purpose image manipulation detection［J］. IEEE Transactions on Information Forensics and Security， 2018， 13（11）： 2691-2706. [百度学术]

TARIQ S， LEE S， KIM H， et al. Detecting both machine and human created fake face images in the wild［C］//Proceedings of ACM 2nd International Workshop on Multimedia Privacy and Security. Toronto， Canada： ACM， 2018： 81-87. [百度学术]

SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Boston， USA： IEEE， 2015： 1-9. [百度学术]

CHOLLET F. Xception： Deep learning with depthwise separable convolutions［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， USA： IEEE， 2017： 1251-1258. [百度学术]

ZHOU P， HAN X， MORARIU V， et al. Two-Stream neural networks for tampered face detection［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu， USA： IEEE， 2017： 1831-1839. [百度学术]

YANG X， LI Y， LYU S. Exposing deep fakes using inconsistent head poses［C］//Proceedings of International Conference on Acoustics， Speech and Signal Processing. Brighton， UK： [百度学术]

［s.n.］， 2019： 8261-8265. [百度学术]

MATERN F， RIESS C， STAMMINGER M. Exploiting visual artifacts to expose Deepfakes and face manipulations［C］//Proceedings of IEEE Winter Applications of Computer Vision Workshops. Hawaii， USA： IEEE， 2019： 83-92. [百度学术]

LI Y， CHANG M C， LYU S. In ICTU OCULI： Exposing AI created fake videos by detecting eye blinking［C］//Proceedings of IEEE International Workshop on Information Forensics and Security. Hong Kong， China： IEEE， 2018： 1-7. [百度学术]

PENG B， WANG W， DONG J. Optimized 3D lighting environment estimation for image forgery detection［J］. IEEE Transactions on Information Forensics and Security， 2016， 12（2）： 479-494. [百度学术]

牛少彰，黄艳丽，孙晓婷. 投影与光照方向一致性的图像篡改检测［J］. 北京邮电大学学报， 2014， 37（5）：61-65. [百度学术]

NIU Shaozhang， HUANG Yanli， SUN Xiaoting. Image tampering detection by consistency of projection and lighting direction［J］. Journal of Beijing University of Posts and Telecommunications， 2014， 37（5）：61-65. [百度学术]

CARVALHO T， FARIA F A， Pedrini H. Illuminant-based transformed spaces for image forensics［J］. IEEE Transactions on Information Forensics and Security， 2015， 11（4）： 720-733. [百度学术]

DE CARVALHO T J， RIESS C， ANGELOPOULOU E， et al. Exposing digital image forgeries by illumination color classification［J］. IEEE Transactions on Information Forensics and Security， 2013， 8（7）： 1182-1194. [百度学术]

YI J， MAO X， CHEN L， et al. Illuminant direction estimation for a single image based on local region complexity analysis and average gray value［J］. Applied Optics， 2014， 53（2）： 226-236. [百度学术]

YANG K F， GAO S B， LI Y J. Efficient illuminant estimation for color constancy using grey pixels［C］// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Boston， USA： IEEE， 2015： 2254-2263. [百度学术]

KORSHUNOV P， MARCEL S. Deepfakes： A new threat to face recognition assessment and detection ［EB/OL］. （2018-12-20）［2020-04-07］.https：//arxiv.org/abs/1812.08685. [百度学术]

RÖSSLER A， COZZOLINO D， VERDOLIVA L， et al. FaceForensics⁺⁺： Learning to detect manipulated facial images［C］//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul， South Korea： IEEE， 2019： 1-11. [百度学术]

请使用 Firefox、Chrome、IE10、IE11、360极速模式、搜狗极速模式、QQ极速模式等浏览器，其他浏览器不建议使用!

基于光照方向一致性的换脸视频检测 PDF

摘要

关键词

1 光照方向的计算

2 本文算法原理

2.1 算法原理

2.2 算法步骤

3 检测区域和目标区域数量选择

3.1 检测区域的选择

3.2 目标区域数量的选择