文献标识码: A
文章编号: 0258-7998(2010)08-0130-04
随着各种各样视频服务业的飞速增长,视频编码的目标由单纯追求高压缩性能转向使视频流能够更好地适应各种不同的需求,如视频会议、移动无线视频,以及视频点播系统等。而在这些视频流的应用中,不同网络的带宽和终端用户的处理能力是不尽相同的。同时,压缩的视频信号会受到信道噪声干扰,所以有限的信道带宽和噪声干扰是视频传输系统中两个主要的问题[1]。
可伸缩视频编码(SVC)作为H.264的扩展标准[2]可以解决无线信道中的这些问题,它能产生一个高效灵活的比特流,以此满足不同网络和用户的需要,这个单独的比特流同时包括不同客户端需要的信息。但是,由于SVC比特流中的不同层有不同的重要性,所以当视频信号在信道传输时就要采用非均衡差错保护(UEP)的方法。为了提高SVC在有噪无线网络中传输的质量,本文提出一种新的非均衡差错保护方案。该方案通过控制低密度奇偶校验码(LDPC)的码率来实现非均衡差错保护,并用H.264可伸缩扩展标准作为其信源编码模型。
在所提的方法中,首先根据时间、分辨率和质量层以及峰值信噪比(PSNR)增益计算需要加入的校验位长度,然后对信源编码后产生的比特流进行分包和信道编码。同时本文所提方案有较低的计算复杂度,尤其适用于移动终端设备。
1 基于H.264的可伸缩视频编码
可伸缩视频编码能产生一个满足用户不同需要的比特流。用户能非常容易地从这个比特流中抽取到所需要的信息并解码。可伸缩视频编码与H.264的最主要的区别就是,在可伸缩视频编码中,一个码流能同时提供多种空间、时间和质量层的信息,然而在H.264的比特流中,只包括固定分辨率、帧率和质量层的信息。
对可伸缩视频编码的研究已经20多年了,但是先前的可伸缩视频标准并没有得到很好的发展,主要原因是可伸缩视频编码在性能方面的损失和解码过程的复杂性。2005年1月MPEG和ITUT视频专家组决定共同将SVC作为H.264标准的一个修正[3-5]。H.264的可伸缩的扩展标准被选为SVC标准的起始点。SVC能够在主比特流中丢弃一些NAL单元来抽取不同的空间、时间和分辨率的视频信息。SVC的比特流能被分成一个基本层和很多加强层,每一层有不同的重要性[6]。在无线信道中,用非均衡差错保护的方法来传输这些分层的视频流能有效提高解码得到的视频质量。
2 传输模型
可伸缩视频编码采用LDPC实现非均衡差错保护的系统结构如图1所示。信源编码器使用H.264扩展标准的SVC,信道编码部分分为信道码率分配、分包和LDPC编码。信道码率用来决定对每一层进行信道编码的码率、分包和LDPC编码的分配,根据码率分配的结果对信源编码后的数据进行非均衡差错保护,把分包编码后的数据送到无线信道中进行传输[7]。在接收端,接收到的数据经过LDPC解码、码流重组后送入信源解码器。下面具体介绍每一部分的实现过程和作用。
信源编码器使用基于H.264的扩展标准SVC。SVC支持时间、空间、质量可伸缩,它提供了各种各样的加强层,比MPEG-4能提供更好的伸缩性能。
2.1 非均衡差错保护的方法
本文所提方案采用LDPC编码来实现非均衡差错保护。LDPC码是线性分组码的一种,在线性分组码中,长度为k bit的信息位以一定的映射规则映射为长度为N bit的码字,信息位和码字中的各位都是某一有限域中的元素,最常用的是二元域GF(2)。所采用的信道码率为k/N,N一定的情况下,k不同,对数据施加的保护不同,k越小,对数据施加的保护越大[8]。
2.2 分包方案
图2显示了本文所用的第r帧数据的分包方案。使用这个方案,能分别对第r帧的每一层数据进行单独的保护。每一行代表了一个码字,码字长度N bit,它是第r帧与时间、分辨率和质量有关的特定数据。其中信息位的长度为k bit,经过LDPC编码后包长变为N bit。每一帧分为T个码字,对每一帧数据,T的值是不相等的。根据时间、分辨率和SNR层的重要性不同,可以把一帧数据分为m层。其中Lr,i表示第r帧第i层深度,即
2.3 信道码率分配方法
在一个图像组(GoP)内,由于分等级的预测结构,可把每一个GoP内所有的帧分为时间基本层和时间加强层。在每一帧内,又由于分辨率可伸缩和质量可伸缩,把每一帧数据分为基本层、空间加强层和质量加强层[9]。
由于加强层都是对基本层信息的加强,所以在每一帧内,空间和质量加强层的平均PSNR总是高于基本层的平均PSNR,由Q表示。
经过信道后第r帧的PSNR总量如下:
在图3所示的方案中,反复选取不同的Rr1,Rr2,…,RL组合,在(5)式的限制下,使由(4)式计算出的第r帧的PSNRr最大。这样得到的码率组合就是一定信道信噪比下第r帧的码率分配方法。同样,对其他帧的数据也都采用这种方法,实现码率分配方案。
本文所采用的分配方法对每一包数据需要4个参数来决定信道数据。这4个参数根据它们的重要性分别列出如下:
(1)时间层:在一个GoP内,时间层越低,重要性就越高,对它的保护就越大,码率就越低。本方案对时间层由低到高每一帧的平均码率相应增加。
(2)分辨率层:分辨率层越低,重要性就越高,对它的保护也越大。
(3)质量层:根据质量层id,由低到高重要性越低,施加的保护越小。
(4)总量:选取每一帧内PSNR总量最大的码率组合。
3 实验仿真
下面对本文所提方法进行仿真验证。实验中使用标准的CIF和QCIF格式的H.264序列。实验参数如下:JSVM9.16[9];GoP大小为8;只在第0帧使用I帧;采用层间预测;图像序列为标准YUV序列Foreman,City,Mobile序列;时间层分为三个层,质量层分为两个层,MGSVector0为16;编码帧数设为16;信道模型采用SNR分别为3、3.25、3.5、3.75、4的高斯信道;LDPC编码码率为(0.5,0.55,0.6,0.65,0.7,0.75,0.8,0.85,0.9,0.95),迭代次数设置为200;采用BPSK方式进行调制。
重复2 000次,统计每种码率下,信号经过不同信噪比的LDPC信道后成功接收的概率pj如表1表示。
表1说明了在相同的信噪比SNR条件下,随着码率的增加,信号经过LDPC信道后成功接收的概率pj有逐渐下降的趋势。说明了保护程度越深,pj就越大。
根据如上参数设置对Foreman序列进行编码,按照(2)式计算每一层的平均PSNR值,统计每一帧每一层平均PSNR增量如表2所示。
按照本文所提方案,根据式(4)反复计算不同信噪比时每帧数据各种码率组合得到的平均PSNR值。可得到不同信噪比时每帧数据的最佳码率分配方法,表3列出了信噪比SNR为3.5时每帧数据的码率分配方法。
由表3得到信噪比为3.5时每帧数据的分包方案,同样可以得到SNR为其他值(3,3.25,3.75,4)时的分包方案(本文没有列出)。
根据上述分包方案,分别对标准视频序列Foreman、City、Mobile进行信道编码后的视频流进行解码,可得到使用本文所提非均衡差错保护UEP方案与只考虑时间层的UEP和只考虑质量的UEP方案进行比较的结果,如图4所示的平均PSNR性能曲线图[10]。
由图4可见,本文所提方案比仅考虑质量层的UEP和只考虑时间层的UEP方案的PSNR值有很大的改进。图4(a)表明,本文所提方案比仅考虑质量层的UEP的PSNR平均高2.8 dB,比只考虑时间层的UEP平均高4.3 dB。尤其是在信噪比较低的无线信道中,本文所提方案有效地改善了视频传输的质量。
本文提出了用LDPC信道编码对SVC进行非均衡差错保护的方案。H.264可伸缩的扩展标准产生的视频流经过信源编码,并根据可伸缩视频流经过信源编码后产生序列的时间、分辨率、质量基本层和加强层各部分重要性的不同,分别对各部分使用LDPC进行非均衡差错保护的信道编码,再经过加性高斯信道,最后对所得视频序列进行解码。通过仿真可以看出,此方案相比其他非均衡差错保护的信道编码,在性能上有很大的改进,尤其是在信噪比小的无线信道中,此方案能显示出明显的优越性。
参考文献
[1] CIVANLAR M R, LUTHRA A, WENGER S. Introduction to the special issue on streaming video. IEEE Trans[J]. IEEE Transaction on Circuits and System,2001,11(3):265-268.
[2] Joint Video Team of ITU-T VCEG and ISO/IEC MPEG. Scalable Video Coding-Working Draft 1.Joint Video Team, Document JVT-N020[S]. 2005.
[3] Text of ISO/IEC 14496-10:2005/FDAM 3 Scalable Video Coding. Joint Video Team (JVT) of ISO-IEC MPEG & ITU-T VCEG[S], Lausanne. 2007.
[4] ISO/IEC ITU-T Rec. H.264: Advanced Video Coding for Generic Audio visual Service. Joint Video Team (JVT) of ISO-IEC MPEG & ITU-T VCEG[S]. 2003.
[5] Text of ISO/IEC 14496-4:2001/PDAM 19 Reference Software for SVC. Joint Video Team (JVT) of ISO-IEC MPEG & ITU-T VCEG[S]. 2007.
[6] SCHWARZ H, MARPE D, WIEGAND T. Overview of the scalable video coding extension of the H.264/AVC standard [J]. IEEE Transaction Circuits and System, 2007,17(9):1103-1120.
[7] NAGHDINEZHAD A, HASHEMI M R, FATEMI O. A novel adaptive unequal error protection method for scalable video over wireless networks 2007[C]. ISCE, 2007.
[8] LIN S, CONSTELLO D J, Jr. 差错控制编码[M]. 晏坚,何元智,潘亚汉,等译. 北京:机械工业出版社,2007:561-625.
[9] FANG Tao, CHAU Lap Pui. GOP-based channel rate allocation using genetic algorithm for scalable video streaming over error-prone networks[J]. IEEE Transaction on Image Processing. 2006, 15(6):1323-1330.
[10] REICHEL J, SCHWARZ H, WIEN M. Joint scalable video model JSVM-9.16[S]. JVT-AC023, Joint Video Team, Busan, KR, 2008.
[11] HA H, YIM C. Layer-weighted unequal error protection for scalable video coding extension of H.264/AVC [J]. IEEE Transaction on Consumer Electronics, 2008,54(2):736-744.