订阅 DeepL Pro 以编辑此演示文稿。

访问 www.DeepL.com/Pro，了解更多信息。

请参阅本出版物的讨论、统计资料和作者简介： https://www.researchgate.net/publication/284325035

p2693-wu

数据 - 2015 年 11 月

著作
阅读文章
0
112

4 位作者。

吴玉兴 蒋兴浩
上海交通大学 上海交通大学
2 个出版物 44 次引用 107 个出版物 732 次引用

孙丹凤
万旺
上海交通大学
上海交通大学
107 个出版物 646 次引用
7 个出版物 210 次引用

本出版物的一些作者也在从事这些相关项目的工作。

中国国家科学基金会，"视频内容管理中心" 查看项目

基于 AI 造假的检测方案 查看项目

本页以下所有内容由孙丹凤于 2015 年 11 月 22 日上传。

用户要求对下载的文件进行改进。
 2014 年 IEEE 声学、语音和信号处理国际会议（ICASSP）。

基于速度场一致性的视频帧间伪造的曝光

吴玉兴，蒋兴浩*，孙丹凤和王万

上海交通大学电子信息与电气工程学院，上海，中国
@sjtu.edu.cn {wuyuxing, xhjiang, tfsun, wangwan}@sjtu.edu.cn

ABSTRACT
光流。他们发现，帧间造假操作会导致光流序列的不连
续。
近年来，视频取证已经成为一个重要问题。视频帧间伪 本文提出了一种基于速度场一致性的检测监控视频
造检测是取证学的一个重要分支。本文提出了一种基于 帧间伪造的新方法。该方法能够区分被篡改的视频，识
速度场一致性的新算法来检测视频帧间伪造（即连续的 别伪造的类型（即连续帧删除，连续帧重复），并在伪
帧删除和连续的帧重复）。广义的极度偏离（ESD）测 造的视频中找到被操纵的位置。我们的算法有三个步
试被应用于识别伪造的类型和定位伪造视频中被操纵的 骤。首先，通过应用基于块的交叉关联获得速度场序
位置。实验表明了我们算法的有效性。 列。然后，从速度场序列中计算出相应的相对因子序
列。最后，用广义的极度偏离（ ESD）算法确定真实
Index Terms- 视频取证，帧间造假检测，速度场， 性、伪造类型和被操纵位置。
广义的极端研究偏差
2. 视频造假检测中的速度场
1. 简介
速度场是由粒子图像速度测量（ PIV）技术引起的一个
如今，监控摄像系统已在许多情况下被广泛部署，以监 术语[11]。PIV 的关键点是比较相邻的视频帧并估计它们
控非法活动。监控视频已经被视为法庭上的司法证据。 因时间分离而产生的位移。我们认为，任何帧间操作，
然而，随着先进的视频编辑器的发展，它们的完整性已 如帧的删除和复制都会扩大位移。在本节中，我们将展
经无法得到保证。因此，如何鉴定监控视频已成为一个 示如何形成速度场序列，并说明不同伪造操作后留下的
重要问题。 痕迹。
到目前为止，已经研究了许多视频取证技术[1]。2]-
[4]提出检测双重压缩，[5]-[7]利用传感器噪声模式检测 2.1. 速度场序列估计
视频伪造，[8]-[10]根据视频内容揭露伪造。在帧间伪造
检测方面，Wang 和 Farid[2]首先揭示了通过预编码错误 速度场的计算是由 PIVlab[12]完成的。其 PIV 算法设置为
进行的帧删除或插入。他们发现，帧从一个 FFT 窗口变形，单通 16 16 像素的询问窗口，75%的重叠
画面组(GOP)到另一个会有更大的动作。 系数。1）和（2）是计算的数学描述
过程。
C
*
估计错误。然而，如果一个完整的 GOP 被删除，他们的 R u,v F 1 F I i, j,t F I i, j,t 1 (1)
方法会失败。Mondaini 等人[5]提出通过光反应非线性
检测帧的插入/重复。 arg max ReRC u,v (2)
均匀性噪声（PRNU）指纹技术。Chao et al. u,v

[10]提出通过检测帧的删除和插入来实现 其中 I i, j,t 和 I i, j,t 1 分别是 t 和 t 1 帧中 i, j 位置的询问窗

口。 F , F 是二维傅里叶变换算子和 反傅里叶变 换 算
1

子。
* 通讯作者是蒋兴浩
形式的算子，*是复共轭的

978-1-4799-2893-4/14/$31.00 ©2014 IEE2693

函数，Re 获得其参数的实数部分。Ac-
根据这些公式，u,v 被认为是
两个询问窗口之间的位移（也叫速度矢量）。 为了准确
表达，我们表示为
u,v 为 u i, j, t , v i, j, t ，表示 t 帧中 i, j 位置的速度矢量。 因
此，我们可以定义
速度场强度（VFI）如下。 (a)

VFI t h u i, j,t; VFI t v v i, j,t

(3)
i ji j

其中 VFI t h , VFI t v 表示水平和垂直

速度场的强度。然后我们表示
VFI t h t 1, L 1 和 VFI t v t 1, L 1 为地平线和垂直 VFI 序列，
其中 L 为帧数。 (b)
最大样本技术被用来排除那些具有极低 VFI 的帧。
低 VFI 可能是由于数据中两个相邻帧的相似性造成的，
这是由相机编码错误引起的。每三个帧被采样为一个具
有最大 VFI 的帧。采样过程从剩余帧数能被 3 除以的位
置开始。
我们有新的 VFI 序列，如下所示。
(c)
v
图 1.水平（左）和垂直（右）的相对系数 S-。
的序列。(a) 原始视频；(b) 删除帧的视频；(c) 重复帧的视频。
SVFI t h t [1,T], SVFI t t [1,T]
其中 SVFI t 表示最大取样后的 VFI 序列。
代表舍入函数，T L 1 / 3。
如果视频被一些帧间伪造操作所操纵， VFI 序列在
两个方向的一致性将被破坏。因此，相对系数 RFh 和 RFv 被
(a)(b)(c)(d
定义为揭示这些变化。
图 2.一段视频的四个代表性帧。在(a)和(d)之间删除了 600 多个连续
SVFI t 1 SVFI t 1 帧，以涵盖一个可疑的
RFh t h h SVFI t (4) 走出电梯的男子。伪造过程前后不会有任何视觉差异。
SVFI t 1 SVFI t 1 hh
h

RF t SVFI t 1 SVFI t 1 vv SVFI t (5)

v
SVFI t 1 SVFI
vv
t
1v
2.2.2. 删除连续帧的视频
在相对因子序列 RF t h t 2,T1 和 这些视频通过删除连续的帧而被篡改。在伪造过程之
RF t v t 2,T1，伪造操作所引入的不连续峰将明显突出。 后，两个原本不相关的帧已经成为邻居，在 VFI 序列中
产生了突出的增加。因此，在相对因子序列中会观察到
一个不连续的峰值。
2.2. 相对因子序列中的痕迹

2.2.3. 连续帧复制的视频
在本文中，考虑了两种类型的伪造，即连续帧删除和连
这些视频是通过复制从一个时间点到另一个时间点的连
续帧复制。不同的伪造操作会在相对因子序列中引入不
续帧来修改的。因此，会观察到两个不连续的峰值。
同数量的不连续峰值。图 1 显示了一个给定视频在操作
再次注意，我们只考虑静态监控摄像机记录的视
前后的相应相对因子序列。
频。也就是说，只有帧间伪造操作才会在相对因素序列
中引入明显的不连贯性。此外，我们专注于检测有意义
2.2.1. 原始视频
的伪造的视频，这意味着在伪造过程前后不会有视觉差
这些视频是直接来自于监控摄像头，没有经过任何修
异。图 2 展示了一个有意义的连续帧删除伪造的例子。
改。而且在这种类型的视频中，相对因子序列中没有不
连续的峰值。

269
 3. 视频伪造鉴定 以提高识别精度。让 Nh 和 Nv 去掉
注意分别是水平和垂直序列中检测到的不连续峰的数
相对因子序列中不连续的峰值被认为是视频伪造的证 量。图 3 给出了识别算法的流程图。
Y
据。广义的 ESD 测试已被应用于提取峰值和识别伪造类 Nh Nv 1 原创
型。识别算法的细节将在本节中描述。
视频剪辑 N

3.1. 广义的 ESD 测试 Y

Nh Nv 2 删减
我们发现，相对因子序列的概率分布遵循近似的正态分
生成相对因子序列 N
布。因此，广义的 ESD 测试[13]能够被用于我们的识别
算法。 Nhv1; N 1
Y

检验中有两个重要的参数， 离群值的上限 r 和显著性水

平。首先计算 R1，从
最大 xi xi x / s (6) 广义的 ESD 测试 N

重复性
图 3 识别算法的流程图
其中，x 和 s 分别表示平均数和标准差。
分别为 n 个样本。删除观察到的 最后，确定被篡改的位置范围是基于
最大化 xi x / s，然后重新计算上述统计数字 关于相对因子序列的生成过程，在第
withn 1 观察。 重复这一 过 2. 范围的上界是 Ru P 1 3 modLVFI ,3。
程 ，直到
R1, R2, ..., Ri 都已经计算出来了。最后
在选定的置信度下选 其中 P 是相对面序中检测到的峰的位置，"mod "是模数运
取相应的 r 个临界值 i
算，LVFI 是指
.异常值的数量是通过找到最大的
est i，这样，R . 相应的 VFI 序列的长度。因此，tam-
的范围是 R 2, R .
为了确定 Uu
中峰的 确切数量
相对因子序列，我们通过乘以一个系数，对临界值 i 进行了
微调，新的定义如下。
'
t p,ni 1 n i
i (7) (a)(b)(c)(d
n i 1 t2 ni1
p,n i 1
图 4.四个具有不同场景的源视频。(a) 场景 1；(b)
p 1 第二场；（c）第三场；（d）第四场。
(8)
2n i1
其中 t p,ni 1 是 t 分布的第 p 个百分位数，有 4. 实验
n i 1 个自由度。
在相对因子序列中可能会发现一些伪造的峰值。与 4.1. 视频数据库
真正的伪造峰值相比，这些峰值的强度相对较低，可能
是由相机噪声或视频编码引起的。这些假峰 据我们所知，目前还没有检测视频帧间伪造的公开数据
将被确定为原始 i 的异常值，而微调，略微提高了临界值是 库。因此，我们邀请了一些志愿者来建立一个。我们的
有助于拒绝这些假峰，也有助于准确地挑出伪造的峰。 四个不同场景的源视频（见图 4）是从 TRECVID 监控事
件检测评估[14]下载的。每个源视频分成 10 个视频片
3.2. 识别算法 段。每个片段包含大约 3000 帧，分辨率为 720 576 。然
后，这 40 个视频片段被巧妙地篡改，生成 40 个删除帧
根据第 2.2 节的描述，相对因子序列中最多有两个不连 的视频和 40 个重复帧的视频（定义见 2.2 节）。因此，
续的峰值，因此我们设定了离群值的上限数量 r 2 。此 在我们最终的帧间伪造检测数据库中，总共有 120 个视
外，广义的 ESD 测试是在水平和垂直相对因子序列上进 频片段。请注意，所有被篡改的视频片段都是用与源视
行的，这有助于 频相同的编码标准和参数重新编码的 MPEG-2。

269
 4.2. 结果和分析
识别算法的配置如下。
异常值的上界数为
注意力水平为 0.05 和临界值的系数
价值是 。
4.2.1. 随机删除下的检测精度
本实验是通过计算随机删除帧时的检测精度来测试我们
算法的敏感性。表一显示了从原始视频中随机删除 1
帧、3 个连续帧和 5 个连续帧的检测准确率。结果表明，
我们的算法在检测删除几帧的伪造行为时，可以有很好
的准确性。
4.2.2. 有意义的伪造下的识别精度
表二中给出了四个场景的视频片段的混淆矩阵和总体准
确率。帧重复识别的准确率相对较低，是由于其两个检
测峰之间存在较大的强度间隙，所有不正确的识别视频
都被认定为帧重复伪造。然而，结果表明我们的算法是
有效的，在识别原始视频、帧删除视频和帧复制视频方
面，总体准确率为 90.0%、85.0%和 80.0%。如果我们只
考虑视频是否被篡改，对被篡改视频的整体识别准确率
为 96.3%，有 10%的假阳性。我们没有做对比实验，因
为没有发现关于识别连续删帧和重复伪造的论文。
4.2.3. 有意义的伪造下的定位准确性
如果在水平和垂直 VFI s e-quences 中检测到的一个峰值
不在第 3.2 节所述的预期范围内，则认为该位置被错误
地识别。表三中给出了正确识别的伪造视频的位置精
度。由于基于榻榻米的广义 ESD 算法，伪造视频中所有
检测到的峰值位置都被正确识别。
表四显示了 Qscale=2、2、3 的压缩结果。当用 Qscale=2
进行重新压缩时，比特率平均下降了 3%，所以精度与
Qscale=2 的结果相同。
r 2，标志着 Qscale=2。而当以 Qscale=3 进行重新压缩时，比特
识别率下降了很多（30%），重复识别的准确性也略有
下降。其原因是，两个检测到的峰之间的强度差距扩大
了。
重新压缩，这使得它很 容 易 被识别为删除帧的伪造行
为。不管怎么说，准确率报告了我们的算法对某种程度
的压缩的稳健性。
5. 结论
我们提出了一种新的算法来检测视频帧间造假。这种方
法是基于速度场的一致性。通过连续的帧删除和帧复制
的伪造操作，在 VFI 序列中可以观察到一些不连续的峰
值。广义的 ESD 测试被应用于提取峰值并识别伪造的类
型。实验表明了我们算法的有效性。
鸣谢
本文的研究工作得到了国家自然科学基金（No.61272439,
61272249 ） 、 高 等 教 育 博 士 点 专 项 研 究 基 金
（No.20173110053）和武汉大学软件工程国家重点实验室
基金（No.SKLSE2012-09-12）的资助。该项目也是上海
市科学技术委员会支持的国际合作与交流项目（编号：
12510708500）。
表一 随机删除的检测准确率。
被删除的帧数 1 3 5
准确度 40% 65% 80%

表三 在有意义的伪造下的定位精度。
4.3. 对抗压缩的稳健性 伪造类型 删减 重复
准确度 100%(34/34)a 100%(32/32)
a
(n/m) 表示 m 个地点中的 n 个被正确识别。
表四 在不同质量等级下的检测准确率（%）。
规模 1 2 3
在本实验中，对有损压缩的鲁棒性进行了测试。每个视频片 原始的 90.0 90.0 90.0
段 都 被 ffmpeg 软 件 用 不 同 的 Qscales （ 控 制 视 频 质 量 的 参 删减 85.0 85.0 85.0
数）重新压缩。在 Qscale=1（无损压缩）的情况下，识别结 重复 80.0 80.0 62.5
果为：1.
表二 每个场景的混淆矩阵和他们的总体准确率（%）。- 表示数值为 0。
视频 场景一 第2场 第三场 第4场 总的来说
利亚
伪造类型 δ 牯牛 ori δ 邑 ori δ 邑 ori δ 邑 ori δ 邑
降

ori 80.0 10.0 10.0 90.0 10.0 - 100 - - 90.0 10.0 - 90.0 7.5 2.5
δ 20.0 70.0 10.0 - 90.0 10.0 10.0 90.0 - - 90.0 10.0 7.5 85.0 7.5
邑 - 30.0 70.0 - 20.0 80.0 - 30.0 70.0 - - 100 - 20.0 80.0
a
原始视频类型。b 帧删除的视频类型。c 帧复制的视频类型。

269
 参考文献

[1] Milani S., Fontani M ., Bestagini P. et al., "An overview on

video forensics, " APSIPA Transactions on Signal and Information
Processing, 2012.

[2] Wang W. H. and Farid H., "Exposing digital forgeries in video

by detecting double MPEG compression," In proceedings of 8th
ACM workshop on M ultimedia and Security , pp.37-47, 2006.

[3] Chen W. and Shi Y. Q., "Detection of double MEPG video

compression using first digits statistics," Digital Watermarking.Q.,
"Detection of double MEPG video compression using first digits
statistics," Digital Watermarking, Springer Berlin Heidelberg, pp.16-
30, 2009.

[4] Wang W. H. and Farid H., "Exposing digital forgeries in video

by detecting double quantization," In proceedings of the 11th ACM
Workshop on M ultimedia and Security, pp.39-47, 2009.

[5] M ondaini N., Caldelli R., Piva A. et al., "Detection of malevo-

lent changes in digital video for forensic applications," In
proceedings of the society of photo-optical instrumentation engi-
neers, vol.6505, pp.T5050-T5050, 2007。

[6] Hsu C.C., Hung T.Y., Lin C.W. et al., "Video forgery detection
using correlation of noise residue," IEEE 10th Workshop on M 媒介
信号处理, pp.170-174, 2008。

[7] Kobayashi M., Okabe T., Sato Y., "Detecting Forgery From
Static-Scene Video Based on Inconsistency in Noise Level Func-
tions, " IEEE Transactions on Information Forensics and Security,
vol.5, pp.883-892, 2010。

[8] Wang W. H. and Farid H., "Exposing Digital Forgeries in Video

by Detecting Duplication," In proceedings of the 9th ACM Work-
shop on M ultimedia and Security, pp.35-42, 2007.

[9] Conotter V., O'Brien J.F., Farid H., "Exposing Digital Forgeries
in Ballistic M otion," IEEE Transactions on Information and Securi-
ty, vol.7, pp.283-296, 2012.

[10] Chao J., Jiang X. H. and Sun T. F., "A novel video inter-frame
forgery model detection scheme based on optical flow consisten- cy,
" International Workshop on Digital Forensics and Watermaking,
pp.267-281, 2012.

[11] Grant I., "粒子图像测速法。A review," In proceed- ings of

the Institution of Mechanical Engineers, vol. 211, pp.55-76, 1997.

[12] Thielicke W., Stamhuis E. J., "PIVlab-- 用 于 MATLAB 1.32

版的时间分辨数字粒子图像测速工具"，2010。

[13] Iglewicz B., Hoaglin D.C., " 如 何 检 测 和 处 理 失 职 者 ",

Milwaukee (Wisconsin):ASQC 质 量 出 版 社 ， 第 16 卷 ， 1993
年。

[14] TREC 视频检索评估, http://trecvid.nist.gov/

查看出版统计资料
2697