Professional Documents
Culture Documents
基于感兴趣区域的图像感知哈希技术研究 伍旭军
基于感兴趣区域的图像感知哈希技术研究 伍旭军
i s ^ A u °
c
I
S m i
_
鄭 ? a.
硕士 研 宄生 学位 论文
基 于 感 兴 趣 区 域 的 图 像 感 知 哈 希 技 术研 究
申 请 人 :
伍旭军
学 号 : 2 1 9 1 83 8
培 养 单位 : 数 据科 学 与 技术 学 院
学科 专业 : 网 络 空 间 安全
研究方 向 :
图 像感 知 哈希
指 导 教师 :
崔晨 副教 授
完成 日 期 : 2022 年 4 月 28
日
摘要
中文摘要
文字和图像一直以来都是人们传递信息的两种主要方式。随着进入信息化时
代,相比与文字叙述,人们更加倾向使用图像来代替文字来更快的表述信息。同
时计算机软件的发展,例如:Photoshop 等图像编辑工具应运而生使得图像修改变
得更加容易。其次图像在传输过程中由于信道噪声等影响会带来一定的影响。同
时,在日常的图像传输过程中,往往传输的不是原始图像,而是经过编辑后的图
像。例如:图像的亮度调整,去噪和校正等。图像感知哈希技术使用哈希向量对
图像进行表示,并通过哈希向量的匹配来寻找对应的图像,能够较好的适用于现
实生活。目前,图像感知哈希技术在区分视觉上相同和不同方面有一定进展,但
是仍然存在诸如对图像目标没有区分,不能很好的符合人类对图像的直观感受。
本文根据人类视觉感受机制——人类一般只对图像感兴趣区域(ROI,Region Of
Interest)聚焦。同时现有的图像感知哈希算法大多数只考虑 2D 图像上的感知哈
希 向 量 提 取 , 并 没 有 针 对 基 于 深 度 图 绘 制 ( Depth Image Based Rendering ,
DIBR) 3D 图像上的提取方案。作为提取感兴趣区域的一种方法,基于人眼视觉
特征的检测方案中的显著图模型能够好的表示图像中的目标信息。现有的基于图
像显著图的感知哈希算法并没有解决对图像旋转操作不鲁棒的问题。
基于上述观点提出基于图像显著性区域的图像感知哈希算法。本文的主要研
究工作以及创新点如下:
(1)提出以基于吸收马尔科夫链的视觉显著图算法(Abosorbing Markov
chain,AMC)为模板进行改进,以提升对旋转操作的鲁棒性。
(2)提出一种基于改进后的 AMC 模型与 NMF 图像感知哈希算法。改进后
的 AMC 模型基本达到对图像旋转的鲁棒性。对感兴趣区域中的像素数据按序排
列并构建二次图像,对二次图像和原始图像分别进行 NMF 操作,以获得两个系
数矩阵,并将两者串联构成最后的哈希向量。在实现对图像旋转鲁棒性的同时,
也实现了对图像篡改检测操作,同时相比于现有的图像感知哈希算法在综合性能
上具有一定的优势。
I
黑龙江大学硕士学位论文
关键字:图像安全;感知哈希; 感兴趣区域;NMF;显著图;SIFT;DIBR 3D
II
Abstract
Abstract
Text and images have always been the two main ways for people to convey
information. With the advent of information technology, people prefer to use images
instead of words to express information faster than textual narratives. At the same time,
the development of computer software, for example, Photoshop and other image editing
tools have emerged to make image modification easier. Secondly, images are affected
by channel noise in the transmission process. At the same time, in the daily image
transmission process, often the transmission is not the original image, but the edited
image. For example, the brightness of the image is adjusted, denoised and corrected, etc.
Image-aware hashing technology uses hash vectors to represent images and finds the
corresponding images by matching the hash vectors, which can be better applied to real
life. At present, image perception hashing techniques have made some progress in
distinguishing visually identical and different, but there are still problems such as no
distinction between image targets, which cannot well match the human intuitive
perception of images. In this paper, according to the mechanism of human visual
perception - humans generally focus only on the region of interest (ROI, Region Of
Interest) of an image. Meanwhile, most of the existing image perception hashing
algorithms only consider the perceptual hash vector extraction on 2D images, and there
is no extraction scheme for the depth image based rendering (DIBR) 3D images. As a
method for extracting regions of interest, the saliency map model in human eye visual
feature-based detection schemes can represent the target information in images well.
The existing perceptual hashing algorithm based on image saliency map does not solve
the problem of not being robust to image rotation operations.
Based on the above viewpoint, the image perceptual hashing algorithm based on image
saliency region is proposed. The main research work as well as the innovation points of
this paper are as follows.
(1) A visual saliency map algorithm (Abosorbing Markov chain, AMC) based on
the absorption Markov chain is proposed as a template for improvement to enhance the
III
黑龙江大学硕士学位论文
IV
目录
目录
中文摘要 ...........................................................................................................................I
Abstract .........................................................................................................................III
目录 ..................................................................................................................................V
第 1 章 绪论 .................................................................................................................... 1
第 2 章 图像感兴趣区域提取 ....................................................................................... 10
2.1 引言 ...................................................................................................................... 10
2.2 显著图 .................................................................................................................. 10
2.2.1 基于 ITTI 视觉显著性检测...........................................................................11
2.2.2 基于光谱残差的显著性检测 ....................................................................... 13
2.2.3 基于吸收马尔科夫链的显著性检测 ........................................................... 14
2.2.4 显著图算法的选择 ....................................................................................... 15
V
黑龙江大学硕士学位论文
3.1 引言 ...................................................................................................................... 24
3.2 基于感兴趣区域和 NMF 相结合的图像感知哈希算法.................................... 24
3.2.1 非负矩阵分解(NMF)介绍 ...................................................................... 25
3.2.2 图像哈希算法描述 ....................................................................................... 25
3.2.3 实验结果与分析 ........................................................................................... 27
3.3 基于感兴趣区域和特征点的图像感知哈希算法 .............................................. 33
3.3.1 尺度不变特征变换 ....................................................................................... 34
3.3.2 图像哈希算法描述 ....................................................................................... 35
3.3.3 实验结果与分析 ........................................................................................... 36
3.4 本章小结 .............................................................................................................. 43
4.1 引言 ...................................................................................................................... 44
4.2 图像哈希算法描述 .............................................................................................. 45
4.3 实验结果与分析 .................................................................................................. 47
4.3.1 区分性分析 ................................................................................................... 47
4.3.2 鲁棒性分析 ................................................................................................... 48
4.3.3 算法性能比较 ............................................................................................... 49
4.3.4 图像篡改敏感性 ........................................................................................... 49
4.4 本章小结 .............................................................................................................. 50
第 5 章 总结与展望 ....................................................................................................... 51
VI
目录
5.1 总结 ...................................................................................................................... 51
5.2 展望 ...................................................................................................................... 51
致谢 ................................................................................................................................ 53
参考文献 ........................................................................................................................ 54
攻读硕士期间取得的成果 ............................................................................................ 58
独创性声明 .................................................................................................................... 59
学位论文版权使用授权书 ............................................................................................ 59
VII
第 1 章 绪论
第 1 章 绪论
1.1 研究背景及意义
互联网的发展改变了人类交流的方式,图像和视频作为一种传播信息的媒
介,逐渐从信息传送的辅助地位变成和文字同等重要。各种社交软件等流行,如
微博、微信,Twitter 等社交软件的出现,人们交流变得更加密切。互联网上充斥
着成千上万张图片,并且每天都在大量产生。有用的信息被大量的无用信息淹
没,用户缺乏一种好的信息筛选手段。同时,图像编辑工具的流行如:
Photoshop,美图 APP 等工具的出现,图像的编辑变得越来越简单。图像的真实
性和完整性受到了很大的冲击。现有的技术缺乏一个明确的方式来对图像的内容
进行一个准确的描述,这为图像的检索、识别和认证等带来了巨大的困难。
传统的哈希是绝对的对应规则——即使是 1 比特哈希值的改变,都认为整个
哈希值发生了改变。在文字信息传输过程中,这种方式是比较安全。考虑到现有
的计算机网络中,通信信道并不是绝对稳定,往往会带来一定的传输噪声。人们
对图像的合法编辑也会造成图片的像素的改变,如图 1-1 中所示的加噪、亮度调
整和剪切等图像编辑操作都会造成哈希向量的改变。可见传统密码学中的哈希概
念并不适合于多媒体领域。
图 1-1 内容保持操作示意图
Fig.1-1 Content retention operation diagram
1
黑龙江大学硕士学位论文
感知哈希技术作为一个来源于传统密码学,在继承其哈希及概念的基础上允
许哈希向量发生改变。图像感知哈希的提取步骤一般分为:输入图像标准化,特
征提取和哈希向量生成三个阶段。在预处理阶段一般都是对图像进行尺寸固定以
及滤波处理已获得标准化图像。对于特征提取阶段,现有的大多数算法都是对整
幅图像进行提取,并没有考虑到对图像中感兴趣区域单独提取。根据研究可知,
人 通 常 是 对 图 像 的 特 定 区 域 聚 焦 , 即 图 像 的 感 兴 趣 区 域 ( ROI , Region Of
Interest)。本课题研究的主题是将感兴趣区域与图像感知哈希相结合,从而构成
一个最终的图像感知哈希算法。现有的基于感兴趣区域的感知哈希算法并没有实
现对旋转操作的鲁棒。同时随着 3D 技术的发展,如何对 DIBR 3D 图像的感知哈
希提取也成为了一个重要的研究课题。由于 DIBR 3D 图像的中间图像和左右眼虚
拟图像中心视点不一样,现有的大多数感知哈希算法不能直接应用于 DIBR 3D 图
像中。对于中间图像和左右眼虚拟图像而言,图像的感兴趣区域往往不会发生明
显的变化。因此,可以很好的将图像的感兴趣区域提取算法应用于图像感知哈希
技术中。
1.2 国内外研究现状
图像感知哈希技术发展至今,众多研究者从图像特征提取和哈希生成的各个
阶段入手,提出了众多的感知哈希方案。为此,本文将目前绝大多数的文献分为
以下四类:基于变换域、基于统计特征、矩阵分解和其他方式。接下来对每一个
分类进行详细的介绍。
1.2.1 基于变换域的图像哈希
在频域上进行图像哈希的提取,主要基于离散余弦变换(DCT)[1-4]和离散小波
变换(DWT)[5-7] 等。Swaminathan 等人 [8] 提出一种基于旋转不变性的图像哈希算
法,对 Fourier-Mellin 变换提出一种新的框架,研究现有图像哈希的安全性问题。
其对几何攻击以及各种内容保持操作具有良好的鲁棒性。Ouyang 等人[9]根据图像
低频部分信息更加稳定,首次将四元傅里叶变换和极坐标变换相结合,提取
2
第 1 章 绪论
QDFT 低频系数作为特征,并根据系数之间的相关性生成最后的哈希向量。F.
Ahmed 等人[10]提出一种基于小波变换的图像哈希算法。该方案首先将输入图像分
割成不重叠的区域块,每个块内像素进行有序排列和小波变换。对生成的小波系
数进行排列形成最终的图像哈希,该方案对大多数内容保持操作具有鲁棒性。在
后续的文献[11-13]中,研究人员继续使用基于 DWT 或 DCT 方式来获得最终的哈希
序列,并且取得了一定的成果。
1.2.2 基于统计特征的图像哈希
Xiang 等人[14]研究发现直方图在诸如亮度变换等其他操作中,形状不会发生
明显的改变,提出将两个相邻像素组内的像素数量比值关系作为哈希向量,该方
案在面对不改变直方图形状的攻击下表现表过较好。如:亮度变化等,但在面对
诸如加噪,旋转和滤波等操作时表现的效果较差。直方图形状发生改变而引起最
终哈希向量的改变。研究人员通过不同的方式重构直方图[15-19]来增强直方图形状
的不变性,进而增强感知哈希算法的鲁棒性。对不变矩而言,Tang 等人[20]通过提
取图像中的不变矩作为最终的哈希,并在后续的工作中[20,21],通过不同的方式构
建二次图像,再从中提取不变矩等方式,也都获得了较好的效果。后续不少研究
者将不变矩作为构架哈希序列的重要步骤,也都是举得了一个较好的效果。
在特征点检测方面,V.Monga 等人[22]通过对比 Harris 检测器和其变体 Hessian
仿射变换、最大稳定极值区域(MSER)检测器和 end-stopped 小波检测器在图像
内容保持操作中的鲁棒性,选择性质最好的 end-stopped 作为最终的检测器。X.Lv
等人[23]通过对比发现 SIFT、SIFT-Harris 检测器和 end-stopped 小波检测器,发现
SIFT-Harris 检测器具有更加稳定的性能。并通过改进形状上下文的方式,使得该
算法具有一定的篡改定位能力。在之后的研究中,研究人员通过改进探测器在内
容保持操作中的稳定性,进而提出更加鲁棒的感知哈希算法[24-27]。
1.2.3 基于矩阵分解的图像哈希
在图像处理中常见使用矩阵分解有基于奇异值分解(SVD),非负矩阵分解
3
黑龙江大学硕士学位论文
1.2.4 其他方式的图像哈希
4
第 1 章 绪论
虽然已经有众多的图像哈希算法提出,但是在哈希算法设计上依旧存在着问
题。需要研究人员不断的改进并提出更加高效的算法,在算法的鲁棒性和区分性
之间达到一个较好的平衡。
1.3 图像感知哈希概述
在感知哈希众多的性质中,研究人员公认算法对图像的区分性和鲁棒性是感
知哈希算法的最基本也是最重要的需求。这两者的性质决定了一个感知哈希算法
是否可以很好的区分视觉上相同和不同图像。在本文中,主要围绕这两个性质进
行研究。
1.3.1 感知哈希框架
图像的感知哈希技术发展到现在已经逐渐的成熟,并且形成了一个完整的流
程。如图 1-2 所示,从图像的预处理到最终的哈希生成,以及如何判定接收图像
是否与原始图像相同做了一个大致的评判流程。感知哈希一般分为三个阶段:图
像预处理,特征提取和哈希编码。对于图像的预处理,不同的研究人员可能会有
不同的操作,一般是对图像进行尺寸固定和降噪处理。在特征提取的过程中,只
要提取的描述符可以很好的表示整幅图像,并且能够很好的满足算法的鲁棒性和
区分性,一般就认为其是一个很好的特征。最后的哈希生成阶段,一般采用数据
量化操作,以达到哈希向量的简短。从而较好的满足哈希的摘要性。
图 1-2 感知哈希算法框图
Fig.1-2 Block diagram of the perceptual hashing algorithm
5
黑龙江大学硕士学位论文
如图 1-2 所示,一个优秀的感知哈希算法应该能够很好的区分视觉上相同和
不同的图片,表现在实验上应该是算法的区分性与鲁棒性在保证性能优异的前提
下维持一个均衡的关系。对于篡改后的图片,传输图像和接收图像各自的感知哈
希距离应该大于视觉上相同图片的感知哈希距离。
1.3.2 评价指标
同传统的哈希评价指标类似,感知哈希也具有哈希性质:鲁棒性、摘要性、
单向性、区分性、篡改敏感性和安全性[37]。假设传输图像为 I1 ,生成的哈希向量
两个哈希向量之间的感知距离。一般使用的距离有欧式距离、汉明矩和相关系数
等。感知哈希相应的名词定义如下:
( 1 ) 鲁 棒 性 : 假 设 我 们 对 图 像 I1 进 行 内 容 保 持 操 作 , 操 作 记 为 :
( )
Dis H( I1 ), H ( I1' ) < Threshold1 (1-1)
上述公式表示,原始图像经过内容保持操作后的哈希向量与原始图像的哈希
向量之间的感知距离小于设定的阈值。即若传输图像和接收图像在视觉上相同,
则两者之间的感知距离应该小于设定的阈值 Threshold1 。
(2)区分性:假设 I1 和 I 2 分别表示两个不同的图像, H ( I1 ) 和 H ( I 2 ) 表示两
幅图像提取出来的哈希值。则:
Dis ((H( I1 ), H( I 2 ))) > Threshold1 (1-2)
区分性实验主要是验证哈希向量对于不同的图像是否会产生相近的值,主要
体现哈希算法的一个抗碰撞性。即两幅不一样的图片不应该具有相似的哈希向
量。
( 3) 篡 改 敏 感 性 :假设我们对图像 I1 进行一个内容篡改操作,记为:
6
第 1 章 绪论
(( ))
Dis H( I1 ), H ( I1tamp ) > Threshold1 (1-3)
上述公式表示,对一个图像进行内容的篡改操作,那么最终得到的哈希向量
应与原始哈希之间的距离大于设定的阈值。
(4)摘要性:通过我们提出的感知哈希提取算法,最终得到的哈希向量长
度应该尽可能的短,所占的内存较小。
(5)安全性:一般在哈希向量生成过程中通过添加密钥来保证感知哈希算
法的安全性。
1.3.3 评价方式
感知哈希算法的测试一般分为类内测试与类间测试两种方式[38],类内测试为
探究感知哈希算法的鲁棒性,类间测试探究对不同图像的区分性。首先为了探究
算法的鲁棒性,需要对原始图像数据集中的图片进行内容保持操作。内容保持操
作包括但不限于缩放、加噪、对比度调整、亮度调整、水印嵌入以及旋转等。其
次,为了探究算法的区分性(类间测试)。对原始图像中的图像数据进行两两比
较,计算两幅图像之间的感知距离,从而来判定算法的区分好坏。
目前主流的图像感知哈希算法评价方式有:ROC 曲线、FAR( False Accept
Rate)、FRR(False Reject Rate)、准确率和柱状图分析等。在本文中,我们主要
采用 ROC 曲线、准确率和柱状图来进行算法性能的评价。
1.3.3.1 ROC 曲线
接收者操作特性曲线(receiver operating characteristic curve,简称 ROC 曲线
[39]
)用来判断图像感知哈希算法的鲁棒性与区分性。横坐标为假阳性概率
(FPR),纵坐标为真阳性概率(TPR)。这两者的计算方式如公式(1-4)所示,
其中 n1 是在选取的相似图像数据集中算法判断为相同的图像数量, N1 是数据
集中实际相同的图像数量。 n2 是在选取的不同图像数据集中判断为相同的图像数
7
黑龙江大学硕士学位论文
左上角表面算法区分性判断更准的情况下,算法的鲁棒性能更优。因此,ROC 曲
线的应用可以很好的表面各个算法之间的优劣程度。
1.3.3.2 准确率
准确率可以很直观的表示当一个阈值确定的情况下,算法在区分性和鲁棒性
方直观的感受。对于评判各个算法性能具有很直观的展示。
1.3.3.3 柱状图
柱状图在测试算法的区分性时具有直观的感受,可以很清晰的观测到所提方
案的稳定性和效果。可以帮助研究人员更好的确定初始阈值范围,从而更好的进
行后续实验步骤。由于区分性实验的图片数据集是随机挑选,那么一个好的感知
哈希算法得到的区分性柱状图应该尽可能的符合正态分布。
1.4 本文的主要研究内容与结构
现有的哈希算法,很多都是基于图像自身的性质,并没有考虑到人对图像的
注意力机制。基于此观点,本文引入图像感兴趣区域检测,并且提出新的结合方
式。所提的方法在 2D 图像和 DIBR 3D 图像上都是具有较好的性质。图 1-2 展示
了本文的主要内容以及行文结构。
第 1 章介绍了感知哈希技术的背景及意义。总结分析了感知哈希技术的国内
外现状。介绍了图像感知哈希框架以及对于的评价指标以及对应的评价方式。
第 2 章根据人类对感兴趣区域更加聚焦的特性,本文采用图像显著图对感兴
趣区域进行表示,结合图像显著性区域检测算法,对图像显著性区域的特征进行
提取。针对现有基于图像显著图的感知哈希算法并没有对图像旋转操作取得良好
鲁棒性的问题,对基于吸收马尔科夫链的显著图提取方法( Abosorbing Markov
chain,AMC)进行改进,使得检测到的显著性区域对旋转操作具有良好的稳定
性。实验对改进后的显著图模型和现有的两个优秀的模型比较。分别对 2D 图像
和 DIBR 3D 图像进行了性能、鲁棒性和时间成本进行比较。实验结果表明,改进
后的显著图提取算法综合性能优异,较原始算法性能未明显下降,并且对旋转的
鲁棒性得到了提升。
8
第 1 章 绪论
9
黑龙江大学硕士学位论文
第 2 章 图像感兴趣区域提取
2.1 引言
人在观察某一图像时,由于图像中存在着特定的目标,使得人不自觉的忽略
图像的背景信息,只将注意力集中在图像的感兴趣区域当中。目前篡改通常是对
图像的局部信息进行修改,如图 2-1 所示,对图像的目标进行目标增加、减少和
替换。可见感兴趣的提取和表示会有助于感知哈希算法的设计和实现。
图 2-1 图像的恶意篡改
Fig.2-1 Malicious tampering of images
现有的感兴趣区域检测算法大致可以分为以下三类:(1)基于交互的 ROI 检
测;(2)基于变换的 ROI 检测;(3)基于视觉特征的 ROI 检测。本文则采用基于
视觉特征的 ROI 检测中的显著图(Saliency Map,SM)检测来对图像感性区域进
行提取和表示。在本章中,首先介绍显著图的提取原理,以及现有的几种优秀的
显著图提取算法。在设计图像感知哈希算法的过程中,需要考虑图像的各种内容
保持操作对算法性能的影响,如:亮度调整、加噪和旋转等,而在现有的显著图
提取过程中并不需要考虑这些问题。为此,本章分析了显著图提取算法在各种内
容保持操作下的性能变化,并提出相应的改进方法。
2.2 显著图
人类对所观看到的图像内容并不是都感兴趣,尤其是在面对复杂的场景时,
10
第 2 章 图像显著区域提取原理
往往会不自觉的忽视一些不重要的信息。可以理解为人类观测图像时大多数时候
会忽视背景信息。这种行为方式是基于人类的心理和生理共同决定,在人类的视
觉处理信息中是一个十分重要的机制[40]。显著性检测是提取图像中人类最感兴趣
或者称之为视觉表现力最强的图像区域,可以很直观的表示人的视觉感受。现有
的较为公认的一些数据集有 MSRA、MSRA-B[41]和 ASD[42]等。显著图理论可以较
好的表示人类的视觉注意力机制,即在一幅图像中,往往关注的是图像中的目
标,而不是背景信息。
从显著图提取方式不同来看,一般分为:由上而下(Top-dowm)和由下而上
( Bottom-up )两种方式。由下而上的方式是利用图像中的数据信息来提取,例
如:提取图像中的颜色、亮度、纹理等信息来构建显著图。其中较为出名的有
RC[43],HC[44]和 SR[45]等。其中 RC 和 HC 两者都是利用图像的对比度来获得显著
性区域。SR 提出从数学的角度来提取显著图,利用光谱残差获得一个较好的效
果。自上而下的方式往往是根据人的经验而决定,更多依赖于人的主观意识。
经典的基于显著图的图像感兴趣区域方法已经提出许多,本文以此介绍基于
ITTI 视觉模型的显著性检测、基于光谱残差视觉模型的显著性检测和基于吸收马
尔科夫链视觉模型的显著性检测。下面将对这三种方法进行详细的介绍与分析。
ITTI 模型[40]是根据人类视觉神经系统设计的一种视觉模型[46],比较符合人类
神经生物学和视觉心理学理论[47,48]。该方式是对图像的颜色,亮度和方向三个分
量进行提取,并获得最终的显著图。该显著图计算框图如图 2-2 所示。
首先对输入图像进行一个标准化操作,包含尺寸固定,彩色图像转化成灰度
图像和线性滤波。对颜色、亮度和方向分量进行高斯金字塔操作。具体操作流程
包含三部分:高斯金字塔的构建、特征图构建和显著图的构建。
11
黑龙江大学硕士学位论文
I ( σ ) = ( r (σ ) + g (σ ) + b ( σ )) / 3 (2-1)
按照公式(2-2)构建各个颜色分量的颜色金字塔。其中构建颜色金字塔时需要
在 RGB 颜色分量的基础上增加一个黄色分量 Y。
R (σ ) = r (σ ) − ( g (σ ) + b (σ )) / 2;
G (σ ) = g (σ ) − (r (σ ) + b (σ )) / 2;
(2-2)
B (σ ) = b (σ ) − ( g (σ ) + r (σ )) / 2;
Y (σ ) = ( g (σ ) + r (σ )) / 2− | r (σ ) − g (σ ) | /2 − b (σ )
央为小尺度(c),周边为大尺度(s))生成特征图。具体的计算方案按照公式(2-3)所
示进行。
I (c, s ) = | I (c) I ( s ) |
RG (c, s ) = | ( R(c) − G (c)) (G ( s ) − R( s )) |
(2-3)
BY (c, s ) = | ( B(c) − Y (c)) (Y ( s ) − R( s )) |
O ( c, s , θ ) = | O (c , θ ) O ( s , θ ) |
对上个步骤中产生的特征图进行归一化处理,用 ( • ) 表示,范围为 [ 0, M ] 。
其中 M 是该特征图的全局最大值,并找到其他所有局部最大值 m,求解其均值
m ,最后所有特征图都与 ( M − m) 2 相乘。各个分量采用公式(2-4)进行求解获取对
应的特征图。
4 c+4
I = ⊕ ⊕ ( I (c, s ))
c = 2 s =c + 2
4 c+4
C = ⊕ ⊕ [ ( RG (c, s )) + ( BY (c, s )) ] (2-4)
c = 2 s =c + 2
4 c+4
O= ( ⊕ ⊕ (O(c, s, θ )))
c = 2 s =c + 2
θ ∈{0 ,45 ,90 ,135 }
最后对得到的特征图进行线性叠加即可,本章采用原始算法中按公式(2-5)求
解最后的显著图。
S = ( ( I ) + (C ) + (O)) / 3 (2-5)
2.2.2 基于光谱残差的显著性检测
13
黑龙江大学硕士学位论文
其中 f 表示频率,算法的具体计算步骤如下。
(1) 使用公式(2-7)计算图像的 Log 谱线
A( f ) = R (ΓI [ x])
(2-7)
L( f ) = log( A( f )))
(2) 利用公式(2-8)进行模板卷积操作获取图像背景数据。
C ( f ) = h ∗ L( f ) (2-8)
其中 h 表示 k*k 的平滑滤波器,本章中采用 3*3 卷积核进行平滑滤波。
(3) 按照公式(2-9)计算图像的光谱残差。
R ( f ) = L( f ) − C ( f ) (2-9)
(4) 最后对获得的原图剪切背景信息后的残差图,进行逆傅里叶变换。
( f ) = ℑ (Γ[ I ( x)])
(2-10)
(
S ( x) = g ( x) ∗ Γ −1 exp( R( f ) + P( f )) 2
2.2.3 基于吸收马尔科夫链的显著性检测
14
第 2 章 图像显著区域提取原理
算法,其主要步骤如下:
图 2-3 原算法中展示图[49]
Fig.2-3 The graph shown in the original algorithm[49]
(1)对原始图像使用 SLIC 算法,获得超像素块的划分;
节点集合,E 是节点之间边的集合。
(3)构建边上的权重值。用公式(2-11)表示两个节点之间边上的权重:
ti − t j
wij = e σ
2
(2-11)
其中 i 和 j 分别表示相邻两个关联节点, ti 与 t j 表示该超像素块的颜色均值。
б是用于调节权重系数。
(4)图中的 k 个虚拟的节点类内不关联,但是与其他的节点都是相连。因此
对应的关联矩阵 A 为:
wij j ∈ N (i ),1 ≤ i ≤ n
aij = 1 i= j (2-12)
0 其他
(5)将图像的四条边都当作吸收节点,并根据公式(2-12)的关联矩阵获得相
期吸收时间。至此,计算出所有的转移节点的吸收时间 y = N * I 。吸收时间越
15
黑龙江大学硕士学位论文
短,表明与吸收节点的距离越近,意味着其与背景更相近。最后将 y 进行归一化
获得显著图 S。从上可见吸收节点的确定好坏,直接决定了显著区域定位的准确
性。
2.2.4 显著图算法的选择
感知哈希一个重要的特性是对图像内容保持操作的鲁棒性,因此选择一个好
的显著图提取算法首先应该具备对图像内容保持操作的鲁棒性。其次才是显著图
评价方法中对一个优良的算法的评价指标——计算速度和显著性区域准确性。综
合可知,一个良好的显著图提取算法应该在计算速度、显著性区域准确性和鲁棒
性方面都达到一个较好的均衡效果。本章将从模型的显著性区域准确性、鲁棒性
和计算速度三个方面进行对比分析。
2.2.4.1 图像显著性区域准确性
选择 MSRA 数据集中的五张图片,观察三种模型的显著性区域准确性,如图
2-4 所示。
16
第 2 章 图像显著区域提取原理
显著性区域,GT 表示该图像的准确区域,则对应的精准率和召回率计算公式如
下所示。
result ∩ GT
precision = (2-13)
result
result ∩ GT
recall = (2-14)
GT
Fβ =
(1 + β ) precision ⋅ recall
2
(2-15)
β 2 ⋅ precision + recall
其中 β 2 在本文中设置为 0.3 。在本阶段选择 MSRA 数据集作为原始数据集,
17
黑龙江大学硕士学位论文
对图像内容保持操作后的显著图表示为 result。对两次得到的显著图进行二值化
处理,并 Fβ 来表示算法的鲁棒性。从 MSRA 数据集中随机选择 100 张图片,并
图 2-5 图像内容保持操作对三种模型的影响
Fig.2-5 Effect of image content retention operations on the three models
如图 2-5 所示,三种显著图提取算法在面对图像旋转时相比于其他操作性能
下降明显。其中 ITTI 模型表现最好,其次是 SR 模型,最后是 AMC 模型。综合
前面 AMC 准确性比 ITTI 和 SR 模型都好,且在面对旋转操作时相差不是很大。
2.2.4.3 图像显著性区域计算时间
在计算图像的感知哈希的过程中,时间成本也是一个重要的因素。因此,本
18
第 2 章 图像显著区域提取原理
图 2-6 旋转对显著区域的影响
Fig.2-6 Effect of rotation on significant areas
如图 2-6 所示,图像的旋转操作会造成图像四个角区域像素的缺失,图像感
19
黑龙江大学硕士学位论文
图 2-7 吸收节点选择示意图
Fig.2-7 Schematic diagram of absorption node selection
2.3.1 模型准确性分析
改进后的显著区域算法由于增加了吸收节点的数量,因此在显著区域准确性
方面有一定的变化。为了对比模型改进前后与原始模型和其他模型的性能,选择
MSRA 数据集中的所有图片,对改进后的显著图提取算法进行实验验证,并且绘
制对应的实验结果。
20
第 2 章 图像显著区域提取原理
2.3.2 模型鲁棒性分析
21
黑龙江大学硕士学位论文
进一步使用精准率和召回率来定量的解释说明改进后的算法对旋转操作后的
表现。从 MSRA 数据集中随机选择 100 张图片,并对所有图片进行内容保持操
作,总共产生 32*100 = 3200 张图片。分别计算原始的 AMC 模型和改进后的
AMC 模型在数据集上的图像显著性区域鲁棒性。
表 2-2 原始 AMC 模型和改进后的 AMC 模型
Table.2-2 Original AMC model and improved AMC model
22
第 2 章 图像显著区域提取原理
2.3.3 时间成本分析
时间成本在图像的显著性区域提取过程中也是一个重要指标。为了比较改进
后的 AMC 方案相比于原始 AMC 方案在时间成本上的差异性。随机选择 MSRA
数据集中的 200 幅图片,生成对应的显著图,计算每个模型产生单幅显著图的时
间 均 值 。 本 文 采 用 的 设 备 为 Intel(R) Core(TM) i5-10200H CPU @ 2.40GHz ,
Matlab2019a 软件进行计算。结果如表 2-3 所示。
表 2-3 原始 AMC 模型和改进后的 AMC 模型计算一幅图像时间
Table.2-3 The original AMC model and the improved AMC model calculate an image time
23
黑龙江大学硕士学位论文
2.4 本章小结
图像显著区域提取算法并不考虑图像的加噪、缩放和旋转等内容保持操作对
图像显著区域的影响。现有的基于显著图的感知哈希算法也是使用现有的显著图
提取算法,并没有进一步去改进显著图提取算法。针对目前显著图提取算法对图
像旋转操作不具有鲁棒性。本文以一种较为先进的传统图像显著性区域提取算法
为模板,对其进行修改,以提高其对图像旋转操作的鲁棒性。通过重新调整吸收
节点数量和区域,从而在尽量保持显著图提取算法性能的基础上提升对图像旋转
鲁棒性。实验对比结果展示,改进后的显著图提取算法在其他内容保持操作性能
未明显下降的情况下,图像的旋转性能有一定的上升。
24
第 3 章 基于显著图的 2D 图像感知哈希算法
第 3 章 基于感兴趣区域的 2D 图像感知哈希算法
3.1 引言
根据人眼注视机制[40]——人往往对图像中的某些区域更加感兴趣。作为提取
感兴趣区域的一种方法,基于人眼视觉特征的检测方案中的显著图模型能够好的
表示图像中的目标信息。基于此观点,不少研究学者提出众多基于显著图的图像
哈希算法,并都取得较好的效果。现有的基于显著图提取哈希算法也具有一定的
局限性。主要集中在两方面。一是选取的显著图提取算法性能过于简单[36,38],这
会造成算法在面对复杂图像背景时显著性区域定位不准确。二是默认图像的显著
性区域个数有限[35,53,54],显著性区域个数的固定会造成图像信息的损失。本章选
取的改进后的显著区域提取算法对图像的亮度,对比度和选择等其他一些内容保
持操作具有良好的鲁棒性。
基于上述观点,本章提出两种基于改进后的显著区域提取算法的感知哈希方
案。(1)提出一种基于改进后的 AMC 模型和 NMF 相结合的图像感知哈希方案,
该方案不固定显著区域的数量,从而使得算法具有一定的普适性。(2)提出一种
基于改进后的 AMC 模型和特征点相结合的图像感知哈希方案。该方案只提取图
像显著性区域的特征点,并对所提取特征点进行筛选,从中选择最稳定的特征
点。最后使用密钥 key 对每个特征点的描述子进行内积操作,以获得最后的哈希
向量。
25
黑龙江大学硕士学位论文
3.2.1 非负矩阵分解(NMF)介绍
则相应的系数矩阵 H 的更新规则为:
(W V ) T
aμ
H aμ ← H aμ (3-2)
(W T
WH )
aμ
置元素不做更新。相应的 W 的更新准则如公式(3-3)所示:
Wia ← H ia
(VH ) T
ia
(3-3)
(WHH ) T
ia
取的哈希向量步骤中的一部分。
3.2.2 图像哈希算法描述
26
第 3 章 基于显著图的 2D 图像感知哈希算法
其中的*表示卷积操作,并且低通滤波高斯函数 G ( x, y, σ ) 表示如公式(3-5)所
示:
1 2
+ y 2 /2σ 2
G ( x, y , σ ) = e− x (3-5)
2πσ 2
其中 σ 是标准差,并且根据文献[56]设置 σ = 1 。
(2)构建二次图像。获取预处理后的图像的显著性区域的最小外接矩形。
由于每个图像中的显著性区域的数量并不固定,因此对显著性区域中的所有数据
进行一个从小到大的排序处理,并且将所有数据放入一个宽度固定大小的矩阵
中,从而保证了图像进行非负矩阵分解时系数矩阵大小的固定,进而保证了最后
得到的哈希向量长度的固定。像素提取示意图如图 3-2 所示:
图 3-2 提取外接矩形框中数据示意图
Fig.3-2 Schematic diagram of extracting data in a bounding rectangle
27
黑龙江大学硕士学位论文
(3)构建最终哈希向量。上述步骤中固定了二次图像的宽度,从而确保了
NMF 中系数矩阵大小的固定。假设得到的二次图像的宽度设定为 m,NMF 中的
秩设定为 r,则得到第一部分的哈希向量 Hash1 ,且其长度为 L = m * r 。预处理后
哈希向量。
h = [ Hash1 Hash2 ] (3-6)
(4)感知距离评价方式。在本章节中,为了评价前后两幅图像之间的感知
距离,我们使用相关性系数 S 来评定。假设原始的哈希向量为 hash1 ,待判定的哈
一幅图像,反之亦反。
3.2.3 实验结果与分析
28
第 3 章 基于显著图的 2D 图像感知哈希算法
集。对所有初始输入图片进步标准化操作,其中每个操作的具体参数如下:高斯
低通滤波(标准的 3*3 低通高斯滤波,标准差 0.3 )和输入图像尺寸固定为
512*512 大小。对本章节哈希算法参数设定如下: m = 32,r = 2 。最终的到的哈
希向量长度为: L = m * r * 2 = 32* 2* 2 = 128 。
3.2.3.1 区分性分析
为了探究算法的区分性性能,我们从 MSRA 数据集中选择 1000 幅图像作为
初始数据集。图像中包含人物、建筑、植物、动物、水果等各种目标图像。图像
的大小有: 300* 400 , 400*300 和 400* 400 等多种尺寸图像。在区分性实验中,
每幅图像都于其他图片进行比较,计算图像之间的感知距离。因此总共构成
1000*(1000-1)/2 = 499500 图像对。最终实验结果如图 3-4 所示,横坐标表示一
对图像之间的相关系数 S,纵坐标表示对应的图像对数量。
图 3-4 本节提出的感知哈希算法区分性效果
Fig.3-4 The perceptual hashing algorithm proposed in this section distinguishes the effect of sex
如图 3-4 所示,S 的最大值为 1,最小值为-0.3833。所有 S 的均值为 0.5035,
标准差为 0.1710。当 S>0.9 时,会有 0.210%的图像对会被错误的认为是相同的图
片,当 S>0.93 时,有 0.0428%的图像对被错误判断,当 S>0.95 时,有 0.0088%的
图像对会被错误判断。
3.2.3.2 鲁棒性分析
从 MSRA 数据集中选择 200 幅图像进行鲁棒性实验。本章中对所有的图像进
行 12 种图像内容保持操作,包含用 Stirmark 工具对图像进行几何攻击,用
29
黑龙江大学硕士学位论文
操作 参数设置 数量
高斯噪声 方差 ∈ (0.0005 ∼ 0.005) 10
旋转 θ ∈ (−90,90) 16
亮度调整 -20,-10,10,20 4
对比度调整 -20,-10,10,20 4
总数 101
对每组图片提取相应的哈希向量,并使用相关系数来评估每组图像间的感知
距离。图 3-5 展示了不同的内容保持操作下的平均相关系数值。其中 x 轴表示具
体内容保持操作的参数值,y 轴是每个参数下的平均哈希距离。从图像中可以看
出,本章提出的感知哈希算法算法在图像的对比度调整、亮度变化和旋转等操作
上,所有内容相似的图像的感知哈希向量的相关性都是大于 0.94。在图像的旋转
过程中,虽然整体性能要比其他内容保持操作差,但是还是可以很明显区分视觉
上相似图片和不同图片。可见本章提出的算法在图像的鲁棒性上整体性能优异。
30
第 3 章 基于显著图的 2D 图像感知哈希算法
图 3-5 不同的内容保持操作下的感知哈希的鲁棒性
Fig.3-5 Robustness of perceptual hashing under different content-preserving operations
同时,为了更好的评价感知哈希算法的鲁棒性,我们分别计算每个内容保持
操作下的统计性质,结果如表 3-2 所示。从中可知,本章提出的哈希提取算法在
上述提及的内容保持操作下,相关性最大为 1 ,均值都大于 0.97 ,方差都小于
0.1。表明本章提出的算法在性能和稳定性上都具有较好的表现。根据上一节中区
分性实验可知,当阈值 T>0.9 时,仅有 0.210% 的图像对会被误判,而当阈值
S>0.93 时,只有 0.0428%的图像对误判。可见阈值设定在 0.9 与 0.93 之间较为合
适。
31
黑龙江大学硕士学位论文
表 3-2 不同图像处理操作下哈希距离的统计值
Table.3-2 Statistics of hash distance under different image processing operations
3.2.3.3 不同参数对算法的影响
在 NMF 中需要设定秩的大小 r,并且在构建二次图像的过程中,需要设定一
个固定的宽度值 m。因此,不同的参数值对最后的哈希向量构建会造成不同的影
响。为了寻找最优的参数值。我们探究在不同的参数值下,分别以相关系数
S>0.92 和 S>0.94 作为阈值来进行评判,计算各自的图像识别准确率。最后的结果
如表格 3-3 所示。从中可知,不同的系数对算法的区分性与鲁棒性有较大的区
别。可以看出在当 r = 2 和 m = 32 时,对图像的鲁棒性和区分性都达到了一个较好
的准确度。虽然当 r = 2 和 m = 64 时,在阈值设定为 0.94 时,性能相比于 m = 32
有一定的提升,但是小于当阈值设定为 0.92 时,因此本章最终选择 r = 2 和
m = 32 本文构建感知哈希的参数值。当 r=2 和 m=32 时,T 设置为 0.94 时,相比
于 T=0.92,虽然区分性有所上升,但是鲁棒性下降很多。因此选择 0.92 作为本节
算法的阈值。
32
第 3 章 基于显著图的 2D 图像感知哈希算法
表 3-3 不同参数值下算法性能
Table.3-3 Algorithm performance for different parameter values
T=0.92 T=0.94
r m
鲁棒性 区分性 鲁棒性 区分性
2 16 85.24% 99.97% 79.76% 100%
2 32 99.80% 99.96% 94.66% 99.99%
2 64 98.96% 99.94% 98.89% 99.98%
3.2.3.4 算法性能比较
为了更好的证明本章提出基于显著图的图像哈希算法更优于现有的一些哈希
算法。选择以下四个目前优秀的哈希方案:基于 NMF 的哈希算法[57],基于环形
切割方案[21,32]。基于拉普拉斯的图像哈希算法。
我们选取每个算法中,按照作者设定的算法最优参数值进行实验,从而尽可
能的保证算法对比的公平性。分别计算各个算法在该数据集下的感知距离。实验
结果如图 3-6 所示。
True positive rate
33
黑龙江大学硕士学位论文
3.2.3.5 图像篡改敏感性
当一个图片在视觉上的主要目标发生改变,应当认为图像已经被篡改。诸如
包括:目标数目的增加,删减和替换等。一个好的图像感知哈希算法应该对图像
的篡改操作敏感。在本章中选择以下三张图片,并分别进行目标的增加,删减和
替换。并计算与原始图像的感知距离,最后计算如图 3-7 所示。
图 3-7 篡改后的图像距离计算
Fig.3-7 Tampered image distance calculation
如图 3-7 所示,上述三种情况下的图像篡改操作,相关系数均小于 0.9。可见
本章提出的算法在图像篡改检测方面,可以很清晰的检测图像是否被篡改。
3.3 基于感兴趣区域和特征点的图像感知哈希算法
不少研究者使用特征点来构建图像感知哈希[7,24],并且都获得不错的效果。
特征点的使用已从最初的直接使用所有特征点来构建哈希值,到后来先对特征点
进行筛选再来选择相对稳定的特征点来构建一个更加稳定的哈希。从特征点的选
择方面来看,研究人员把所有的特征点赋予相同的权重,即对所有的特征点统一
对待。如图 3-8 所示,现有的基于特征点构建图像感知哈希的算法没有特征点所
属区域,本章提出只提取图像感兴趣区域的特征点,并进一步对图像感兴趣区域
的特征点进行筛选方案。
34
第 3 章 基于显著图的 2D 图像感知哈希算法
图 3-8 特征点选择示意图
Fig.3-8 Schematic diagram of feature point selection
3.3.1 尺度不变特征变换
L ( x , y , σ ) = G ( x, y , σ ) ⊗ I ( x, y ) (3-9)
其中 L( x, y, σ ) 表示高斯金字塔的尺度图像, G ( x, y, σ ) 是高斯核。其中 σ 更新
采用公式(3-10)所示。
1
σ (o, s ) = 2o −1 k ( s −1)σ , k = 2 S (3-10)
其中 o 是组坐标,s 是每组中的层坐标, σ (o, 0) 是第 o 组的初始尺度,S 为每
35
黑龙江大学硕士学位论文
组层数。
(2)特征点检测:通过步骤 1 创建的多尺度下的图像进行相减操作,从而
构建相应的差分高斯金字塔 DOG(Difference-of-Gaussian),每个极值点从本图像
和上下两幅图像中 3*3 的邻域中,即在一个 3*3*3 的立方体中选择极值点。其中
高斯差分金字塔构建用公式(3-11)表示。
D( x, y, σ ) = (G ( x, y, kσ ) − G ( x, y, σ )) ⊗ I ( x, y )
(3-11)
= L( x, y, kσ ) − L( x, y, σ )
(3)分配方向:利用图像的局部梯度方向特性为每一个特征点指定一个或
多个方向参数。用公式(3-12)计算该特征点的梯度模值,(3-13)计算梯度方向。
m( x, y ) = ( L( x + 1, y ) − L( x − 1, y )) 2 + ( L( x, y + 1) − L( x, y − 1)) 2 (3-12)
L( x, y + 1) − L( x, y − 1)
θ ( x, y ) = tan −1 (3-13)
L( x + 1, y ) − L( x − 1, y )
(4)特征点描述子:如图 3-9 所示,以步骤 3 中的主方向作为 0 度建立坐标
系,从而保证了描述子面对旋转时具有不变性。从每个特征点的 8*8 邻域中,将
此邻域分割成 4 个 4*4 的小区间,每个小区间有 8 个方向值,计算各个方向的梯
度之和作为一个种子点,则形成一个 32 维的描述子。在原文中,作者建议寻找
每个特征点的 16*16 邻域,因此组后形成一个 128 维的描述子。
3.3.2 图像哈希算法描述
本节所提出的感知哈希方案包含四个模块:特征提取,筛选,量化,编码。
具有如图 3-10 所示。
36
第 3 章 基于显著图的 2D 图像感知哈希算法
获取图像显著
输入图像 标准化 选择特征点 构建哈希值H
性区域
密钥Key
图 3-10 算法框图
Fig.3-10 Block diagram of algorithm
(1)预处理:按照上一节中的图像标准化操作,对图像进行预处理。包括
对所有图像进行高斯低通滤波和图像尺寸固定。
(2)特征点提取:使用 SIFT 特征点提取算法,参数使用原始参数,提取图
像汇总的所有特征点。使用改进后的 AMC 模型提取图像的显著性区域,只显著
区域的 SIFT 特征点以及描述子,表示为 Pmap = { p1 , p2 ,..., pn } 。
(3)特征点筛选:在更高维度提取的特征点对内容保持操作具有更强的鲁
棒性。因此,对步骤 2 中提取的特征点,按照如下准则来判断该特征点是否保
留:(1) 对候选点特征点进行排序。将向量 Pmap 的所有关键点按 σ 从大到小排序。
因为尺度越大,图像越模糊,所以点越稳定;(2)删除重复的点。在同一尺度 σ
下,不同方向 φ 的关键点被删除。最后所有的特征点用 PmapSelect = { p1 , p2 ,..., pk } 表
3.3.3 实验结果与分析
在本章实验中,选择 MSRA[41]数据集作为图像来源。对初始输入图片统一采
用如下操作:图像标准化(高斯低通滤波:标准的 3*3 低通高斯滤波,标准差为
0.3 )和图像尺寸固定为 512*512 大小。显著区域最大特征点数量选取设置为
K = 120 。最终的到的哈希值长度为: L = K = 120 。用两个哈希向量之间的相关
系数作为距离度量。
3.3.3.1 SIFT 特征点稳定性分析
虽然 SIFT 特征点是从差分高斯金字塔中提取,对常见的几种内容保持操作
37
黑龙江大学硕士学位论文
具有一定的鲁棒性,但是其在面对滤波等操作时表现较差。为了探究初始 SIFT
算法面对内容保持操作时的性能。假设 Po 表示原始图像的所有特征点, Pm 表示接
收图像与原始图像相匹配的特征点,则使用公式(3-16)来表示特征点鲁棒性。
Po ∩ Pd
F= (3-16)
Po ∪ Pd
征点具有很好的鲁棒性。因此 F 可以很好的评价特征点在各种攻击下的鲁棒性。
本节内容保持操作及参数强度具体设置如下:水印嵌入(WE)质量因子为
10 和 100,旋转(RA)角度为[-90,90]共 16 个角度值,亮度调整(BA)比值为
0.8 和 1.2,对比度调整(CA)比值为 0.8 和 1.2,JPEG 压缩(JP)质量因子为 30
和 100,伽马校正(GC)强度为 0.75,高斯噪声(GN)强度为 0.0005 和 0.005,
椒盐噪声(SPN)和斑点噪声(SN)强度为 0.001 和 0.01,高斯模糊(GB)强度
。 。
为 0.005 和 0.05,运动模糊(MB)参数为(1,1 )和(0,45 )。共计 12 中内容
保持操作。如图 3-11 所示,SIFT 特征点在图像进行内容保持操作中,整体稳定
性较差。在这高斯噪声效果很差,可见由于噪声的加入,会导致在计算局部极值
点中会选择错误,从而造成特征点选取的错误。因此,需要选择一个好的方式来
对从全图中选取的特征点进行筛选,从而保证最后算法性能的鲁棒性。
38
第 3 章 基于显著图的 2D 图像感知哈希算法
3.3.3.2 区分性分析
为了探究算法的区分性性能,我们从 MSRA 数据集中选择 1000 幅图像作为
初始数据集。图像中包含人物、建筑、植物、动物、水果等各种目标图像。图像
的大小有: 300* 400 , 400*300 和 400* 400 等多种尺寸图像。在区分性实验中,
每幅图像都于其他图片进行比较,计算两幅图像之间的感知距离。因此总共构成
1000*(1000-1)/2 = 499500 图像对。最终实验结果如图 3-12 所示,横坐标表示
一对图像之间的相关系数 S,纵坐标表示对应的图像对数量。
39
黑龙江大学硕士学位论文
操作 参数设置 数量
旋转 θ ∈ (−90,90) 16
亮度调整 -20,-10,10,20 4
对比度调整 -20,-10,10,20 4
总数 91
对每组图片提取相应的哈希向量,并使用相关系数来计算每组图像之间的感
知距离。图 3-13 展示了不同的内容保持操作下的平均相关系数值。其中 x 轴表示
具体内容保持操作的参数值,y 轴是每个参数下的平均感知距离。从图像中可以
看出,本章提出的感知哈希算法算法在图像的对比度调整、亮度变化和旋转等操
作上,内容相似的图像感知哈希的相似性都是大于 0.92。在图像的加噪和旋转过
程中,虽然整体性能要比其他内容保持操作差,但是还是可以很明显区分视觉上
相同图片和不同图片。可见本章提出的算法对内容保持操作的鲁棒性良好。
40
第 3 章 基于显著图的 2D 图像感知哈希算法
图 3-13 不同的内容保持操作下的感知哈希的鲁棒性
Fig.3-13 Robustness of perceptual hashing under different content-preserving operations
为了更好的展示本节所提方案的总体性能,使用统计方式对图像内容保持操
作后的数据集进行统计,其中包含:最小值、最大值、均值、方差。这些参数可
以定量的展示算法的性能。从表 3-5 中可知,本章提出的感知哈希提取算法在上
述提及的内容保持操作下,相关性最大都为 1 ,均值都大于 0.98 ,方差都小于
0.1。根据上一节中区分性实验可知,当阈值 T=0.85 时,算法对内容相似的图像
识别准确率可以达到 99.87% ,当阈值 T=0.9 时,本节提出的方案误判率仅为
0.02%,当阈值设置为 T=0.92 时,内容相似的图像识别准确率为 99.99%。因此本
节所提出的方案在区分性和鲁棒性实验中都具有良好的性质。
41
黑龙江大学硕士学位论文
表 3-5 不同图像处理操作下哈希距离的统计值
Table.3-5 Statistics of hash distance under different image processing operations
3.3.3.4 算法性能比较
42
第 3 章 基于显著图的 2D 图像感知哈希算法
综上所述,本节提出的算法相比于现有的一些优秀的感知哈希算法在综合性
能上要更加优异。
3.3.3.6 图像篡改敏感性
当一个图片在视觉上的主要目标发生改变,应当认为图像已经被篡改。诸如
包括:目标数目的增加,删减和替换等。一个好的图像感知哈希算法应该对图像
的篡改操作敏感。在本章中选择以下三张图片,并分别进行增加,删减和替换目
标。并计算与原始图像的相似距离,如图 3-15 所示,上述三种情况下的图像篡改
操作,相关系数均小于 0.92。可见本章提出的算法在图像篡改检测方面,可以很
清晰的检测图像是否被篡改。
43
黑龙江大学硕士学位论文
图 3-15 篡改后的图像距离计算
Fig.3-15 Tampered image distance calculation
3.4 本章小结
本章提出了两种基于显著图的图像感知哈希方案——基于改进后的 AMC 模
型和 NMF 相结合的图像感知哈希方案和基于改进后的 AMC 模型和 SIFT 相结合
的图像感知哈希方案。在基于改进后的 AMC 模型和 NMF 相结合的图像感知哈希
方案中,通过提取显著性区域外接矩形框中的数据,从而构建一个宽度值固定的
二次图像。对二次图像与原始图像进行 NMF 矩阵分解操作,提取两个 NMF 操作
后获得的系数矩阵,将其作为哈希向量的一部分。对两次得到的哈希向量进行串
联。实验结果表明,算法的鲁棒性和区分性表现良好,并且与其他感知哈希提取
算法进行对比也优于对比实验。在基于改进后的 AMC 模型和 SIFT 相结合的图像
感知哈希方案中,提取图像的显著性区域中的特征点,并对特征点进行进一步的
筛选。实验结果表明,算法的鲁棒性和区分性表现良好,并且与其他感知哈希提
取算法进行对比也优于对比实验。该方案也有一些不足之处。SIFT 本身计算速度
较慢,因此对于构建哈希向量时速度相比于现有的一些哈希算法不具有优势。对
于这个缺点,本章中对 SIFT 使用 C 语言编写,并在 Matlab 中调用程序,在时间
上已经有了一个较大的进步。
44
第 4 章 基于显著图的 DIBR 3D 图像感知哈希算法
4.1 引言
现有的图像哈希算法大多数是针对 2D 图像进行处理,并没有考虑到 3D 图像
上。在本章中,主要是讨论对 DIBR 3D 图像的哈希算法。DIBR 3D 图像包含中间
图像、左眼虚拟图像和右眼虚拟图像。如图 4-1 展示了中间图像的关系,以及
DIBR 操作生成的虚拟图像。
图 4-1: 左眼虚拟图像、右眼虚拟图像和中间图像之间的像素关系
Fig.4-1: The relationship of pixel in the left image, center image, and right image.
假设 P 是空间中的一个点, Cc , Cl 和 Cr 代表中心视点、左视点和右视点,f
标,虚拟左图像和虚拟右图像。 t x 代表基线距离,其值等于距离在左右视点之
45
黑龙江大学硕士学位论文
实际上,深度图像中像素的灰度值并不是真正的深度值。将灰度值接近 255
的像素表示 P 接近于剪裁平面 。另一方面,灰度值接近 0 的像素表示 P 接近远剪
裁平面 。根据公式(4-2)计算 P 的深度值 ,其中 v 代表灰度值。
4.2 图像哈希算法描述
本章提出的 DIBR 3D 图像哈希方案如图 4-2 所示的算法框图所示。首先对原
始图像进行高斯低通滤波操作;其次获取图像显著性区域中的所有像素,对获取
到的像素与原始图像所有像素构建灰度直方图,并随机选取灰度直方图中 M 个灰
度级。对所选择的 M 个灰度级进行像素分组操作。将每个分组作为一列,从而构
建一个二次图像;对二次图像采用非负矩阵分解操作获得系数矩阵;最终的哈希
值由这些系数矩阵进行构造。
图 4-2 本章所提方案哈希算法框图
Fig.4-2 Block diagram of the hashing algorithm for the scheme proposed in this chapter
(1) 预处理
采用第 3 章中的图像预处理方案对所有图像进行预处理。主要包含图像尺寸
固定和高斯低通滤波。
(2) 像素分组
首先使用改进后的 AMC 模型提取图像的显著性区域,获取显著性区域的外
接矩形中所有数据,将提取到的像素值数据与原图整体数据组合构建一个新的灰
度直方图。从该直方图中随机选择 M 个灰度级(本章中 M=240)来进行构建最后
的哈希向量。使用密钥 Key 对 M 个灰度级进行置乱处理以调整各个灰度级之间的
相邻关系,将置乱后的 M 个灰度级进行分组处理,将每个分组中的像素作为二次
图像 V 的一列。在本文中分成 40 个灰度级分组。
(3)哈希构造
46
第 4 章 基于显著图的 DIBR 3D 图像感知哈希算法
47
黑龙江大学硕士学位论文
表 4-1 中间图像与虚拟图像的感知距离统计值
Table.4-1: Statistics of perceptual distance between the center image and the virtual image.
图 4-3 中心图像和虚拟图像的不同组别中的像素数量。
Fig.4-3The number of pixels in different groups of center image and virtual images.
4.3 实验结果与分析
[52]
选择 MSRA 和 Microsoft Research 3D Video Datasets 数据集作为实验数据
集,其中包含中间图像和深度图像,图像大小范围从 450*375 到 1390*1110。
4.3.1 区分性分析
48
第 4 章 基于显著图的 DIBR 3D 图像感知哈希算法
4.3.2 鲁棒性分析
操作 参数设置 数量
高斯噪声 方差 ∈ (0.0005 ∼ 0.005) 10
旋转 θ ∈ (−90,90) 16
总数 72
图 4-4:4 幅图像的鲁棒性
Fig.4-5: Robustness test based on four test images.
49
黑龙江大学硕士学位论文
4.3.3 算法性能比较
本章实验结果表明,传统的哈希算法对 2D 图像具有良好的性质,但由于其
未考虑图像中心视点的变化,因此在 DIBR 3D 图像上性能较差。尤其是对于文献
[21,32]
提出的基于中心视点的环形分割算法更是会造成哈希算法性能的下降。
4.3.4 图像篡改敏感性
50
第 4 章 基于显著图的 DIBR 3D 图像感知哈希算法
选择 6 幅图像分别对各自的中间图像和左右眼虚拟图像进行篡改操作。篡改
操作包含:目标的删减、目标的增加和目标的替换三种。,如图 4-5 所示,展示其
中一种篡改操作,并计算篡改后的显著图。
图 4-5 图像篡改后展示
Fig.4-5 Display after image tampering
计算篡改后的图像与原始中间图像的哈希向量之间的相关性来判断图像是否
被篡改。实验结果如表 4-4 所示。
表 4-4 原始图像和篡改后图像的相关系数
Table.4-4 Correlation coefficients of the original and tampered images
图片标号 1 2 3 4 5 6
4.4 本章小结
在本章中,我们提出了一种基于图像显著图和像素分组相结合的 DIBR 3D 图
像感知哈希方案,该方案可用于虚拟图像识别,检索和认证等。低通滤波和基于
直方图形状的像素分组是关键步骤。直方图形状对剪裁的近似不变性和 DIBR 操
51
黑龙江大学硕士学位论文
52
第 5 章 总结与展望
第 5 章 总结与展望
5.1 总结
本文完成的工作如下:
1、针对图像显著图对图像的旋转操作并不鲁棒,在基于吸收马尔科夫链的
显著图提取基础上,对其在吸收节点的确定阶段进行更改,从而在算法总体性能
未发生明显的变化下基本达到对图像旋转操作的鲁棒。
2、提出一种基于改进后的 AMC 显著图和 NMF 相结合的感知哈希方案。该
方案并没有固定每一幅图像中显著区域的数量,对所有的显著区域外接矩形中的
像素数据进行排序处理,再使用 NMF 获得系数矩阵。实验结果表明,基于改进
后的显著图和 NMF 相结合的感知哈希方案在感知哈希的区分性和鲁棒性方面相
比于现有的一些代表性算法具有更好的性能。
3、提出一种基于改进后的 AMC 显著图和 SIFT 相结合的感知哈希方案。该
方案针对现有的基于 SIFT 检测方案,都是将整幅图像中的特征点进行构建哈希
值。算法提出只提取显著区域中的特征点,并将特征点描述子与密钥做内积从而
获得最后的哈希向量。该方案在感知哈希区分性和鲁棒性方面相比于现有的算法
具有更加优良的性质。
4、针对现有的 2D 图像感知哈希算法方案大多数没有考虑到中心视点的变
化,因此在 DIBR 3D 图像上感知哈希算法表现的都是比较差。通过第二章的实验
验证,中心视点的变化并不会引起图像的显著性区域发生明显的改变。因此,提
出一种基于改进后的 AMC 显著图和像素分组相结合的图像感知哈希方案。实验
结果表明,文中提出的方案在 DIBR 3D 图像上具有良好的鲁棒性与区分性,并且
具有一定的篡改检测能力。
5.2 展望
本文提出的基于感兴趣区域的图像感知哈希研究虽然取得了一些成果,但是
53
黑龙江大学硕士学位论文
也具有一定的局限性。比如在过度依赖显著图提取算法的性能。未来基于显著图
的研究方向个人觉得有以下几点。
1、 进一步提高显著图在旋转等内容保持操作下的鲁棒性。
2、 进一步对显著图算法进行改进,以达到其对复杂背景情形下显著区域定
位的准确性。
3、 使用别的特征点与显著图结合,探究更优秀的感知哈希算法。
54
致谢
致谢
行文至此,求学生涯也暂时告一段落。本科四年,研究生三年,都是在黑龙
江大学度过。黑龙江大学还是很漂亮,有机会要常来逛逛,看看这里的花花草
草。
在硕士生涯中,我有幸遇到了恩师崔晨老师。在过去的三年里,我的导师在
他百忙之中依旧孜孜不倦的指导我,领我进入科研的大门。在为人处世方面,不
停的教导我,让我受益匪浅。老师的宽容和开放让学生看到了学者的风度和气
度,也让学生了解了与人打交道的道理。老师的言行举止深刻的影响了我,让我
逐渐的形成一个成熟的人生观。
感谢黑龙江大学数据科学与技术学院的各位老师在我求学期间的帮助与指
导。
感谢贾尧师弟,在学习和生活中可以互相讨论。同门之间的讨论,也时常是
我灵感与思路的来源。
感谢我的室友们和朋友们,他们在我求学生活中给与了一抹不一样的颜色。
让我的生活多姿多彩。同时还有我大兄弟吴宇晗,有事没事聊聊天,挺有意思。
感谢我的父母,感谢他们的养育之恩。感谢他们在我求学期间无私的支持
我。感谢我的姐姐,每次有烦心事,总是和她聊聊天。她也时常开导我,分享一
下我那两个外甥(禹诚和嘉诚)的有趣视频。
55
黑龙江大学硕士学位论文
参考文献
[1] Tang Z, Wang S, Zhang X, et al.Lexicographical framework for image hashing with
implementation based on DCT and NMF[J].Multimedia Tools and
Applications,2010, 52 (2-3): 325-345.
[2] Tang Z, Yang F, Huang L, et al.Robust image hashing with dominant DCT
coefficients[J].Optik,2014, 125 (18): 5102-5107.
[3] Tang Z, Lao H, Zhang X, et al.Robust image hashing via DCT and
LLE[J].Computers & Security,2016, 62: 133-148.
[4] Jie Z J a P A.A novel block-DCT and PCA based image perceptual hashing
algorithm[J],2013.
[5] Hu Y, Niu X. DWT based robust image hashing algorithm[C].INC2010: 6th
International Conference on Networked Computing,2010: 1-4.
[6] Karsh R K, Laskar R H J E J O I, Processing V.Robust image hashing through
DWT-SVD and spectral residual method[J],2017, 2017 (1): 1-17.
[7] Vadlamudi L N, Vaddella R P V, Devara V.Robust image hashing using SIFT feature
points and DWT approximation coefficients[J].ICT Express,2018, 4 (3): 154-159.
[8] Swaminathan A, Mao Y, Wu M J I T O I F, et al.Robust and secure image
hashing[J],2006, 1 (2): 215-230.
[9] Ouyang J, Coatrieux G, Shu H J D S P.Robust hashing for image authentication
using quaternion discrete Fourier transform and log-polar transform[J],2015, 41:
98-109.
[10] Ahmed F, Siyal M Y, Abbas V U J S P.A secure and robust hash-based scheme for
image authentication[J],2010, 90 (5): 1456-1470.
[11] Tang Z, Zhang H, Pun C M, et al.Robust image hashing with visual attention
model and invariant moments[J],2020, 14 (5): 901-908.
[12] Tang Z, Huang Z, Yao H, et al.Perceptual image hashing with weighted DWT
features for reduced-reference image quality assessment[J],2018, 61 (11): 1695-
1709.
[13] Tang Z, Zhang X, Dai Y, et al.Perceptual image hashing using local entropies and
DWT[J],2013, 61 (2): 241-251.
[14] Xiang S, Kim H-J, Huang J. Histogram-based image hashing scheme robust
against geometric deformations[C].Proceedings of the 9th workshop on
Multimedia & security,2007: 121-128.
[15] Choi Y S, Park J H.Image hash generation method using hierarchical
histogram[J].Multimedia Tools and Applications,2011, 61 (1): 181-194.
[16] Tang Z, Dai Y, Zhang X, et al. Perceptual image hashing with histogram of color
vector angles[C].International Conference on Active Media Technology,2012: 237-
246.
[17] Vadlamudi L N, Vaddella R P V, Devara V.Robust hash generation technique for
content-based image authentication using histogram[J].Multimedia Tools and
Applications,2015, 75 (11): 6585-6604.
56
参考文献
57
黑龙江大学硕士学位论文
58
参考文献
[57] Monga V, Mihçak M K J I T I F S.Robust and Secure Image Hashing via Non-
Negative Matrix Factorizations[J],2007, 2 (3-1): 376-390.
[58] Lowe D G J I J O C V.Distinctive image features from scale-invariant
keypoints[J],2004, 60 (2): 91-110.
[59] Hamid H, Ahmed F, Ahmad J.Robust Image Hashing Scheme using Laplacian
Pyramids[J].Computers & Electrical Engineering,2020, 84.
[60] Zong T, Xiang Y, Natgunanathan I, et al.Robust histogram shape-based method for
image watermarking[J],2014, 25 (5): 717-729.
59
黑龙江大学硕士学位论文
攻读硕士期间取得的成果
(一) 发表学术论文
[1] Xujun Wu, Chen Cui, Shen Wang. Perceptual hashing based on salient region and
NMF[C]. International Conference on Intelligent Information Hiding and
Multimedia Signal Processing,2021,2021.
[2] Cui C, Wu X, Yang J, et al. A novel DIBR 3D image hashing scheme based on pixel
grouping and NMF[J]. Wireless Communications and Mobile Computing, 2020,
2020.
[3] Robust Image Hash for Tamper Detection Based on Region of Interest. (已投稿)
[4] A novel DIBR 3D image hashing scheme based on pixel grouping and Region of
Interest. (已投稿)
(二) 参与科研项目
[1] 李菊雁等. 多云共享系统中格基门限代理重加密方案研究。开放基金(重点
项目)。课题编号:GCIS201904。
60