1 引言
随着科技水平的不断提高以及网络的不断发展,视频的观看变得十分容易。视频服务成为了人们生活娱乐中必不可少的一部分。而视频的下载、编辑等相关软件的出现及不断更新,在方便人们获取和修改视频的同时,也使得某些不法分子能够利用这些软件和相应的技术制作盗版视频,从中获取暴利。因此,对视频的保护成为了一个急需解决的问题。水印技术作为保护视频的手段之一,利用视频的冗余信息等嵌入版权信息,从而在盗版视频中能够检测出版权信息的存在,达到保护视频的作用。另一方面,诸如H.265/HEVC(High Efficiency Video Coding)[1]、3D-HEVC[2]等视频编码标准的不断发展,为视频的传输、存储及发布带来了巨大的支持。视频压缩标准在促进视频水印技术发展的同时也为视频水印技术带来了新挑战。
目前针对HEVC的视频水印技术已经相当成熟。文献[3-5]分析了嵌入信息对周围预测单元(Prediction Unit, PU)的影响,即误差传播问题。文献[3- 4]通过对其他系数进行补偿避免了误差传播问题,文献[5]则根据周围PU的预测模式,选择不会造成误差传播问题的PU作为嵌入位置。在嵌入信息方面,文献[3]通过修改系数的奇偶性实现隐秘信息的嵌入,文献[4]在嵌入水印时,利用了相邻P帧的运动矢量及I帧的非零量化系数个数寻找相邻两帧中的一组相似变换单元(Transform Unit, TU),根据水印信息修改相似TU的量化系数之间的差值。文献[5]则根据和不变方法及水印信息对量化系数进行修改。文献[6-7]建立了水印信息与方向预测模式的对应关系,并根据水印信息调制PU的方向预测模式。文献[8]综合PU的预测模式、非零系数个数及相邻帧的运动信息对嵌入位置进行了选择,根据水印信息调制PU的前两个交流系数的大小关系。文献[9]构建了2N+1进制的N维空间,从编码树单元(Coding Tree Unit, CTU)中的PU选出N/2个运动矢量(Motion Vector, MV),由N个矢量分量得到N维空间对应的映射值。根据映射值与隐秘信息的匹配情况决定是否修改矢量分量,从而实现了修改一个分量嵌入log(2N+1)bit信息的目的。
除传统的水印算法外,零水印算法[10]也用于针对视频压缩标准的视频水印算法中。如文献[11]分析了相同视频在不同量化参数(Quantization Parameter, QP)编码下各个4×4编码单元(Coding Unit, CU)的深度变化,对CU深度进行分组并映射水印信息,根据分组情况,实现对各个4×4 CU的零水印构造和注册。由于零水印算法不对原始图像、视频进行修改,而是利用图像、视频的重要特征构造零水印信息,并通过注册零水印来保护版权信息。因此解决了传统水印算法中鲁棒性和不可感知性之间的矛盾。
然而,针对HEVC扩展标准3D-HEVC的视频水印算法目前还较少。文献[12]通过调制CU的单深度帧内模式的候选像素索引值来嵌入信息,当候选列表像素值不同时,需要对CU进行进一步选择避免误差传播问题。文献[13]利用显著性模型和大津阈值将图像按CTU大小分为显著区域和非显著区域,根据隐秘信息及其所属CTU类型对QP值进行修改。文献[14]利用纹理图的纹理信息以及深度图的边缘信息将深度图的CTU分为4种类型,根据CTU类型对QP值进行修改实现隐秘信息的嵌入。文献[15]选择4×4复杂TU的非零DC系数作为水印嵌入位置,利用DC系数构造3×3可逆矩阵,将水印信息嵌入到可逆矩阵QR分解后的Q矩阵中,同时对其他交流系数进行补偿避免误差传播问题。
结合零水印算法的优势之处以及目前针对3D-HEVC视频水印算法较少的情况,本文提出了抗重压缩编码的3D-HEVC视频零水印算法。首先,利用I帧的深度图进行前景、背景的分割。其次,选择合适的非I帧纹理图的16×16块用于零水印的构造。再次,对16×16块进行8×8全相位双正交变换(All Phase Biorthogonal Transform, APBT),取其DC系数构成新矩阵并进行奇异值分解(Singular Value Decomposition, SVD),最大奇异值的最高有效位(Most Significant Bit, MSB)作为最终的特征信息。最后,得到的特征信息与图像水印进行异或生成零水印并进行零水印注册。实验结果表明,本文算法在重压缩编码攻击、基于帧及重压缩编码混合攻击和信号处理及重压缩编码混合攻击下具有良好的鲁棒性性能。
2 特征构造
在零水印算法中,重要特征的构造作为算法的关键问题之一,决定了零水印算法的鲁棒性。选择合适的特征才能使水印信息在遭受到攻击时,依然能够存在于图像、视频中,从而在检测端检测出水印信息的存在。在本文算法中,重要特征的构造通过APBT、SVD以及BIT平面分解来实现。另外,在构造特征之前,通过对特征构造位置进行选择,能够进一步提高算法的鲁棒性和安全性。
2.1 特征构造位置选择
考虑人眼视觉特性,人眼对视频中的复杂纹理区域以及快速移动目标的变化较不敏感[16]。对于视频中的平坦、静止并且属于前景的区域,同其他区域相比,这些区域遭受到攻击时更容易引起感知上的变化。因此,能够限制盗版视频在这些区域的修改程度,使得零水印信息能较好地保存下来。同时平坦、静止区域在经过APBT及SVD后,得到的DC值以及奇异值比其他区域更加稳定,能使算法鲁棒性更高。最后,对这些区域进行随机选择增加算法的安全性。
考虑上述因素,因此需要对视频中的前景、背景区域进行分割,同时对前景区域的复杂程度、运动状态进行判断。在文本算法中,前景、背景区域的分割通过OTSU阈值分割方式实现[17],具体步骤如下:
步骤1 输入I帧深度图,计算各个灰度级像素个数ni,及其概率
设置划分阈值k=0,最佳划分阈值Ok=0,最大类间方差
步骤2 按当前划分阈值k将像素点分为两类C0={0,1,...,k},C1={k+1,k+2,...,255}。
步骤3 按式(1)计算C0和C1类的出现概率ω0、ω1及其对应类均值μ0、 μ1,其中
(μT-μ(k))/(1-ω(k))
(1)
步骤4 计算当前类间方差σB=ω0ω1(μ1-μ0)2,若
转到步骤6。
步骤5 k=k+1,若k<255,转到步骤2,否则转到步骤7。
步骤
若k<255,转到步骤2。
步骤7 属于前景的16×16块数目是否少于2048,否则k=k-1,重复步骤7。
步骤8 根据最佳划分阈值进行前景背景区域分割。
由于深度图中的像素值大小表示了该点所对应目标到相机的距离,因此,主观上认为利用深度图进行阈值分割能得到更好的分割结果。对测试序列Balloons的第一帧深度图与纹理图的亮度分量直接进行OTSU阈值分割,得到对比结果图1。左图为利用深度图获取的前景区域,右图为利用纹理图的亮度分量获取的前景区域。其中,黑色区域表示背景区域。从图中可以看出,利用深度图进行前景、背景区域的分割能获得更好的分割结果。同时,OTSU阈值分割方法易于实现,降低了算法的复杂度。
图1 分割结果对比
Fig.1 Comparison of the segmentation results
前景区域的复杂程度及运动状态则通过该区域的CU划分和MV大小来进行判断。在3D-HEVC中,越复杂的CTU,其划分深度越大。因此,可以根据16×16块内的深度划分情况来判断该区域的复杂程度。当视频进行帧间预测时,会通过运动估计在已编码的图像中寻找与当前块匹配的参考块,参考块到当前块的位移即为MV。对于运动变化小的块,当前块指向匹配块的MV小。因此,可以根据16×16块内的MV的大小来判断该区域的运动状态。
综上所述,嵌入位置应根据以下条件进行选择:
1)16×16块属于前景区域。
2)16×16块内不包含深度为3的CU。
3)16×16块内MV水平和垂直分量均小于32。
4)16×16块被随机选中。
2.2 特征构造
在本文算法中,特征的构造通过APBT、SVD以及BIT平面分解实现。
APBT是由Hou[18]提出的新型变换,其二维APBT如式(2)所示:
Y=VXVT
(2)
其中,X是N×N的原始矩阵,V为N×N的变换矩阵,VT为V矩阵的转置矩阵,Y为变换后的矩阵。在APBT中,根据变换矩阵的不同,可以分为APDCBT,APIDCBT以及APWBT三种。由于视频在遭受攻击时,高频成分容易损失,而低频部分能够较好的保留。因此,选择APDCBT作为本文算法的变换矩阵。其变换矩阵如式(3)所示。
(3)
图2所示为图像分别经过8×8 APBT及8×8 DCT后的图像,从图中可以看出,APBT相比DCT有更好的低频能量聚集效果,从而能够获取到稳定的DC系数。
图2 变换结果对比
Fig.2 Comparison of the transform results
在线性几何中,任意尺寸的矩阵A都能进行SVD:
A=UΣVT
(4)
其中,Σ为奇异值矩阵,U、V为对应的正交矩阵,上标T表示矩阵转置。SVD是一种可靠稳定的矩阵分解方法,被广泛地应用于图像处理中。其特性之一是:原始矩阵的微小变化对分解的奇异值影响较小[19]。因此,当视频遭受到攻击时,从APBT提取的DC系数的微小变化不会对奇异值造成过大影响,从而得到稳定的奇异值。
最后,对得到的最大奇异值进行BIT平面分解来获得重要特征信息并与图像水印异或得到零水印。以16×16块为单位,对8个标准测试序列的前8帧图像进行APBT和SVD,图3为所统计得到的最大奇异值直方图。从图中可以看出,奇异值的分布主要在19～511之间。因此,本文算法按9BIT进行BIT平面分解。由于奇异值的变化时主要体现在最低有效位(Least Significant Bit, LSB)上的变化,以奇异值的MSB作为最终的特征信息可以进一步忽略视频攻击的影响。
图3 最大奇异值直方图
Fig.3 Histogram of the maximum singular value
3 抗重压缩编码的3D-HEVC视频零水印算法
本文算法主要由两部分构成:零水印生成算法及提取算法。算法框架如图4所示。
3.1 水印同步
在介绍零水印生成和提取算法前,对零水印的同步问题进行说明。对于零水印的空域同步来说,本文算法在构造零水印的同时记录零水印的位置信息用于生成定位图,在检测端通过定位的方式实现空域同步。对于零水印的时域同步来说,在零水印构造完成后,对重构图像的所有64×64块的4个32×32子块进行APBT并利用其DC系数进行SVD,获得的最大奇异值的前6位MSB将作为帧头信息。建立帧头信息与图像序列号(Picture Order Count, POC)的映射关系,在检测端通过计算帧头信息相关性实现时域同步。第f帧的归一化互相关系数(Normalized Correlation Coefficient, NCC)计算公式如下:
图4 算法框架
Fig.4 Framework of the proposed algorithm
(5)
其中,L为一帧视频图像的帧头信息长度,h为当前帧的帧头信息,hf为第f帧的帧头信息。
3.2 零水印生成算法
零水印生成算法具体步骤如下:
步骤1 判断当前帧是否为I帧,是则利用OTSU阈值分割方法对I帧深度图进行前景背景分割,转到步骤7。
步骤2 对当前16×16块按2.1小节的块选择条件进行选择。若当前16×16块不用于零水印构造,则转置步骤5。
步骤3 对所选16×16块中的4个8×8子块进行APBT,取其DC系数进行SVD。
步骤4 选取最大奇异值的MSB作为特征信息,记录16×16块的位置信息。
步骤5 所有16×16块是否选择完毕,否则对下个16×16块进行选择,转到步骤2。
步骤6 利用重构图像生成帧头信息。
步骤7 编码下一帧重复步骤1～6直至所有视频帧编码完成。获取的特征信息与图像水印进行异或生成零水印并进行零水印注册。
3.3 零水印提取算法
提取算法具体步骤如下:
步骤1 提取解码图像的帧头信息并与嵌入算法中存储的帧头信息进行相关性计算确定所属POC,若当前图像对应I帧,则转到步骤6。
步骤2 根据定位图判断当前16×16块是否属于零水印所在位置,否则转到步骤6。
步骤3 对16×16块中的4个8×8子块进行APBT,取其DC系数进行SVD。
步骤4 最大奇异值的MSB作为提取信息。
步骤5 所有16×16块是否判断完毕,否则对下个16×16块进行判断,转到步骤3。
步骤6 解码下一帧重复步骤1～5直到所有视频帧解码完成。提取的特征信息与注册的零水印进行异或得到各帧对应的图像水印,计算归一化互相关系数并求平均。
4 实验结果及分析
本文算法在参考软件HTM16.0上进行验证,主要参数配置如下:QP值为25、30、35、40,采用图像组(Group of Picture, GOP)大小为8的帧间编码,共编码32帧,IntraPeriod设置为8,其他参数采用默认配置。电脑基本配置:CPU为Intel Xeon CPU E5-1630 3.7GHz,内存为16GB。测试了8个具有两种分辨率的序列,分别为1024×768的Balloons、Kendo、Newspaper1及1920×1088的PoznanHall2、PoznanStreet和UndoDancer、Shark、GT_Fly。
由于零水印算法不对原始视频进行修改,因此测试序列编码前后的PSNR、比特增长率以及合成视点的PSNR均未变化。所以,以下主要分析零水印的提取情况以及验证在不同攻击下的鲁棒性。
4.1 零水印提取
在本文算法中,所选择的图像水印分辨率为32×32。通过对嵌入位置的选择,在每帧图像中构造1024 bit零水印信息,即平均每帧嵌入容量为1024 bit,总嵌入容量为28672 bit。因此,从每一帧解码图像中提取的特征信息与注册的零水印异或后可得到完整的图像水印。图5为测试序列Balloons在不同攻击类型下的水印提取总数。
图5 Balloons在不同攻击类型下的水印提取总数
Fig.5 Number of the extracted watermark under different attack type of Balloons
由图5可知,在不同的攻击下(滤波模板大小为9×9,噪声强度为0.15),本文算法仅在QP为25的重编码攻击下,能够实现完整的时域同步,从而提取出所有零水印信息。在其他攻击下,部分帧同步失败或错误,导致提取的零水印总数下降。其中,噪声添加对时域同步影响最大,使得提取的水印总数远少于滤波情况下提取的水印总数,提取的水印总数最少时为6144 bit。由于能从每一帧解码图像中提取相应的图像水印,因此,当序列中的某一帧成功同步时,就能从中获得图像水印用于计算NCC以证明视频版权。
4.2 鲁棒性分析
鲁棒性通过计算提取的图像水印与原始图像水印的平均NCC以及误码率(Bit Error Ratio, BER)来进行分析,NCC及BER的计算公式分别为:
NCC=
(6)
BER=Ee/Et×100%
(7)
其中,Ee为提取的错误水印总数,Et为提取的水印总数,w表示原始图像水印,w′表示提取图像水印,。易知平均NCC越大时,BER越小,算法的鲁棒性越好。
图6给出了本文算法在无攻击及重压缩编码攻击下的测试结果。图6中平均NCC均为1,此时BER均为0,表明本文算法有良好的抗重压缩编码攻击性能。在重压缩编码攻击中,不同的QP值对视频编解码的影响主要在于量化过程中量化步长的变化,部分较小的残差系数在较大QP值的重压缩编码过程中将被量化为0,使得编解码后的视频相对原始输入视频产生了失真。但这些被量化为0的残差系数一般出现在系数矩阵中的中高频位置,因此,原始视频的低频成分仍可较好地保留。而本文算法主要利用的是低频成分,因而提取的特征信息受重压缩编码攻击的影响较小,使得算法具有良好的抗重压缩编码攻击性能。
图7给出了本文算法在基于帧及重压缩编码混合攻击下的测试结果,基于帧的攻击类型包括了视频帧的丢失、交换和置换。图7中的平均NCC均为1,可知BER也为0,表明本文算法在基于帧及重压缩编码混合攻击下有良好的鲁棒性。由于基于帧的攻击主要影响水印检测过程的时域同步问题,而未对原始视频进行修改。因此,利用帧头信息实现帧同步后,混合攻击所带来的影响主要为重压缩编码攻击,此时的鲁棒性性能与重压缩编码攻击下的鲁棒性性能相似。
图6 重压缩编码攻击下的测试结果
Fig.6 Test results under recompression coding attack
图7 基于帧及重压缩编码混合攻击下的测试结果
Fig.7 Test results under hybrid attacks of frame-based and recompression coding
图8 信号处理及重压缩编码混合攻击下的测试结果
Fig.8 Test results under hybrid attacks of signal processing and recompression coding
图8给出了本文算法在不同信号处理及重压缩编码混合攻击下的测试结果,信号处理攻击类型包括了噪声添加及图像滤波。对于信号处理与重压缩编码混合攻击,重压缩编码攻击仅仅影响提取的零水印。而由于时域同步通过帧头信息的相关信息来实现,信号处理攻击在影响提取的零水印的同时,还影响着视频本身,使得提取的帧头信息发生变化,可能导致失步的问题。而由图8可知,在大强度的信号处理攻击下,提取水印图像的平均NCC仍为1,BER仍为0,表明本文算法在信号处理及重压缩编码攻击下仍有良好的鲁棒性。
5 结论
本文提出了抗重压缩编码攻击的3D-HEVC视频零水印算法。首先,利用I帧的深度图及非I帧的MV及CU划分情况等对水印的构造位置进行选择。其次,通过APBT及SVD对16×16块进行处理,获取最大奇异值的MSB作为最终的特征信息。最后,得到的特征信息与图像水印进行异或生成零水印。实验结果表明,在不同的重压缩编码攻击下,本文算法的抗攻击性能良好。利用APBT的低频能量聚集效应,SVD的数值稳定性及BIT平面分解使得噪声添加、图像滤波等信号处理攻击及帧丢弃、帧交换、帧置换等基于帧的攻击对特征信息的提取影响小,从而得到较好的鲁棒性性能。本文的不足之处在于:(1)当场景发生切换或快速移动时,前景背景的分割结果在同一GOP中不一定适用。(2)在每一帧非I帧中都进行零水印构造,将使得零水印、定位图及帧头信息的数据量过大。因此,本文的下一步工作将集中在场景检测以及GOP关键帧的提取上:(1)对发生场景变换的视频帧重新进行前景背景区域分割。(2)仅GOP中的关键帧用于构造水印减少数据量。
[1] Sullivan G J, Ohm J R, Han W J, et al. Overview of the High Efficiency Video Coding (HEVC) Standard[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(12): 1649-1668.
[2] Tech G, Chen Y, Muller K, et al. Overview of the Multiview and 3D Extensions of High Efficiency Video Coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 26(1): 1-1.
[3] Chang P C, Chung K L, Chen J J, et al. A DCT/DST-based error propagation-free data hiding algorithm for HEVC intra-coded frames[J]. Journal of Visual Communication and Image Representation, 2014, 25(2): 239-253.
[4] Gaj S, Rana S, Sur A, et al. A drift compensated reversible watermarking scheme for H.265/HEVC[C]∥IEEE International Workshop on Multimedia Signal Processing. IEEE, 2017.
[5] 张明辉, 冯桂. 消除帧内误差传播的HEVC可逆水印算法[J]. 信号处理, 2016, 32(2): 220-226.
Zhang Minghui, Feng Gui. A Reversible Watermarking Algorithm for HEVC Intra-coded Frames without Error Propagation[J]. Journal of Signal Processing, 2016, 32(2): 220-226.(in Chinese)
[6] 张明辉, 冯桂. 基于纹理方向的高效视频编码鲁棒视频水印[J]. 计算机应用, 2015, 35(9): 2531-2534.
Zhang Minghui, Feng Gui. Robust video watermarking algorithm for high efficiency video coding based on texture direction[J]. Journal of Computer Applications, 2015, 35(9): 2531-2534.(in Chinese)
[7] 蔡春亭, 冯桂, 王驰, 等. 基于帧内预测模式多划分的HEVC鲁棒视频水印算法[J]. 计算机应用, 2017, 37(6): 1772-1776.
Cai Chunting, Feng Gui, Wang Chi, et al. Robust video watermarking algorithm for HEVC based on intra-frame prediction modes of multi-partitioning[J]. Journal of Computer Applications, 2017, 37(6): 1772-1776.(in Chinese)
[8] Dutta T, Gupta H P. A robust watermarking framework for High Efficiency Video Coding (HEVC) -Encoded video with blind extraction process[J]. Journal of Visual Communication and Image Representation, 2016, 38: 29- 44.
[9] Yang J, Li S. An efficient information hiding method based on motion vector space encoding for HEVC[J]. Multimedia Tools and Applications, 2018, 77: 11979-12001.
[10] 温泉, 孙锬锋, 王树勋. 零水印的概念与应用[J]. 电子学报, 2003, 31(2): 214-216.
Wen Quan, Sun Tanfeng, Wang Shuxun. Concept and Application of Zero-Watermark[J]. Acta Electronica Sinica, 2003, 31(2): 214-216.(in Chinese)
[11] 王静, 郁梅, 李文锋, 等. 抗量化转码的HEVC视频流零水印算法[J]. 光电工程, 2016, 43(10): 77- 83.
Wang Jing, Yu Mei, Li Wenfeng, et al. HEVC-based Video Stream Zero-watermarking Algorithm with Robustness to Re-quantization Transcoding[J]. Opto-Electronic Engineering, 2016, 43(10): 77- 83.(in Chinese)
[12] 王静, 郁梅, 蒋刚毅, 等. 基于单深度帧内模式的3D-HEVC深度视频信息隐藏算法[J]. 光电子·激光, 2017, 28(8): 893-901.
Wang Jing, Yu Mei, Jiang Gangyi, et al. An information hiding algorithm of depth video in 3D-HEVC based on single depth intra mode[J]. Journal of Optoelectronics·Laser, 2017, 28(8): 893-901.(in Chinese)
[13] 王静, 郁梅, 陈芬, 等. 基于视觉感知的3D-HEVC帧间信息隐藏算法[J]. 光电子·激光, 2018, 29(4): 389-395.
Wang Jing, Yu Mei, Chen Fen, et al. Visual perception based inter-frame information hiding algorithm in 3D-HEVC[J]. Journal of Optoelectronics·Laser, 2018, 29(4): 389-395.(in Chinese)
[14] 左力文, 骆挺, 蒋刚毅, 等. 基于多视点视频特征的3D-HEVC深度视频信息隐藏算法[J]. 光电子·激光, 2018, 29(5): 530-538.
Zuo Liwen, Luo Ting, Jiang Gangyi, et al. An information hiding algorithm in depth map for 3D-HEVC based on feature of multi-View video[J]. Journal of Optoelectronics·Laser, 2018, 29(5): 530-538.(in Chinese)
[15] 曹海燕, 冯桂, 韩雪, 等. 基于深度图的3D-HEVC鲁棒视频水印算法[J]. 计算机应用, 2019, 39(3): 869- 873.
Cao Haiyan, Feng Gui, Han Xue, et al. 3D-HEVC robust video watermarking algorithm based on depth map[J]. Journal of Computer Applications, 2019, 39(3): 869- 873.(in Chinese)
[16] Kim J, Bae S H, Kim M. An HEVC-Compliant Perceptual Video Coding Scheme Based on JND Models for Variable Block-Sized Transform Kernels[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015, 25(11): 1786-1800.
[17] Nobuyuki Otsu. A Threshold Selection Method from Gray-Level Histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 2007, 9(1): 62- 66.
[18] Hou Zheng-Xin, Wang Cheng-You, Yang Ai-Ping. All phase biorthogonal transform and its application in JPEG-like image compression[J]. Signal Processing Image Communication, 2009, 24(10): 791- 802.
[19] Sadek, Rowayda A. SVD Based Image Processing Applications: State of The Art, Contributions and Research Challenges[J]. International Journal of Advanced Computer Science & Applications, 2012, 3(7): 26-34.
