引　言

多媒体技术实用化的关键技术之一,就是解决视频、音频数字化以后数据量大,与数字存储媒体、通信网容量小的矛盾,其解决途径就是压缩。

为了支持低比特率视频传输业务,MPEG(Moving Picture Expert s Group) 推出了MPEG 4 标准。于1999 年正式成为国际标准的MPEG 4 是一个适合于低传输率的视频、音频解决方案,更注重于多媒体系统的交互性和灵活性。MPEG 4 视频压缩标准提供了一种高度灵活、基于“内容”的编码方法,解码端可以“按需解码”,还可以添加对象和信息。这种灵活性使得MPEG 4 具有高效的编码效率、基于内容的可扩展性以及在易受干扰环境下的鲁棒性。MPEG 4 的这些特性使得它十分适合于存储容量有限的手持终端设备。但是MPEG 4 视频解码中涉及的反量化( Inverse Quantization , IQ) 、反离散余弦变换( Inver se Discrete Cosine Transform , IDCT) ,运动补偿(Motion Composition , MC) 等技术均是典型的计算密集型变换,对于本身处理能力有限,功耗受限的手持终端设备而言,视频解码的实时性是一个很大的挑战。

本系统在Nios II和FPGA 构成的SOPC平台上,使用NiosII 的用户自定义指令以硬件逻辑方式实现MPEG4解码中的IQ、IDCT、MC 等计算复杂、高度耗时的功能模块,极大地提高解码速度。从而在以GPL 协议发布的XviD Codec 基础上,实现Simple Profile 视觉框架下,L1 级、QCIF(177 ×144 分辨率) 、25 fps 的MPEG 4 实时解码,并通过DMA 方式在LCD 上加以显示。

系统功能描述

本系统从功能上可以分为视频文件存取、视频解码器、YUV2RGB 变换器和LCD 控制模块4 个部分。

视频文件存取
要进行视频文件的播放,首先需要对视频文件进行方便地存储和读取。系统播放的MP4 文件由XviD Codec在PC 上对4 ∶2 ∶0 的YUV 文件压缩得到。该MP4 文件采用177 ×144 分辨率的QCIF 格式,25 帧/ s。在下载模式,可以通过J TAG 接口将MP4 文件写入Flash 存储器中。在播放模式下,Nios II 处理器将MP4 文件从Flash存储器中读出,送入文件缓冲池中等待解码器对其进行读取并解码。

视频解码器
视频解码器是系统的核心。如图1 所示,视频解码器由熵解码器、反量化、反离散余弦变换、运动补偿模块和视频帧缓存5 个模块组成。

解码时,首先对输入码流进行熵解码,然后根据帧的头信息判断帧的类型。对于每个宏块,熵解码后首先经过IQ ,再经过IDCT 变换得到空间域的值。对于参考帧( RFrame) ,由于不需要进行运动补偿,变换后的结果直接输出,同时还要将它存储在视频帧缓存中,留给后面的预测帧( PFrame) 做运动补偿。对于预测帧,先通过熵解码得到运动向量,根据运动向量搜索到相应的参考帧后,再将IDCT 变换后的预测差值与之相加,合成最后的预测帧图像。解码后的预测帧同样是一路输出,一路存放于视频帧缓存当中。

视频解码如果采用纯软件方式实现,运算量太大,难以满足实时性要求。利用NiosII 的自定义指令,将IQ、IDCT 和MC 这3 个主要的计算密集型解码单元用硬件逻辑方式实现,以硬件逻辑的复杂性换取解码的实时性。

YUV2RGB 变换器
解码器解码得到的YUV 格式图像不适合直接用于LCD 显示。要在LCD 上显示解码得到的图象必须将YUV格式的图像转换为RGB 格式,两者的转换关系如下:
R =1. 164 ( Y - 16) +1. 569 (V - 128)
G=1. 164( Y - 16) +0. 813(V - 128) +0. 391(U - 128)
B =1. 164 ( Y - 16) +2. 018 (U - 128)

YUV 到RGB 格式的转换是一个很占用CPU 资源的过程。本系统以查表的方式,采用硬件逻辑实现该转换。

LCD 控制模块
标准VGA LCD 显示模块(640 ×480 , @60 Hz) 是一种逐行扫描设备。这种扫描是顺序的,下一个扫描点能够预知,从而可以将需要送出的像素信息排成一行,看作一个数据流( St reaming) 。借助于NiosII 的Avalon 流模式外设的设计方法,可以实现一个Avalon 流模式的LCD 控制器。利用DMA 控制器在流模式的LCD 控制器和系统SDRAM 之间建立一条DMA 传送通道,由硬件完成像素信息的读取和送出。NiosII 只需要操作SDRAM 中的相应区域就可完成显示图像的更新。

系统设计结构

系统硬件结构
系统硬件结构如图2 所示。

为了达到25 fps 的实时解码速度, IDCT、IQ、MC 和YUVRGB 转换这4 部分计算密集型的功能单元全部以用户自定义指令的方式实现。反量化
系数的二维数组QF[ v][ u]被反量化,产生重构的DCT系数。该过程的实质是以量化步长为倍数的乘法运算。

内部编码块DC 系数的反量化过程不同于其他的AC系数。DC 反量化系数由一个常数因子intra_dc 与QF[ 0 ][0]相乘而得到。intra_dc 与编码精度有关,表1 显示的即为两者对应关系。

AC 系数的反量化要用到两个加权矩阵,分别用于内部子块和非内部子块。用户也可以使用自定义的量化矩阵。

如果用QDCT 表示输入已量化的AC 系数,用DCT 表示反量化后的AC 系数,那么AC 系数的IQ 变换公式如下:

式中,quantiser_scale 为0～112 之间的两组数值,分别对应不同的比特流控制状态。但是在本系统采用的XviDCodec 版本中,比特流控制功能并没有得到实现,所以这里quantiser_scale 的取值固定。

反量化得到的结果通过饱和化,使其限制在[ - 2048 ,+ 2047 ]之间。

IQ 在FPGA 上按照图3 的框图进行硬件实现。

反离散余弦变换
IDCT 是DCT 的逆过程,用于还原DCT 系数矩阵。

IDCT 过程可由下面的公式描述:

上式可视为一个2 个8 元向量的点积:

图4 　反离散余弦变换的硬件实现结构

将8 元的输入向量[ X0 , X1 , X2 , X3 , X4 , X5 , X6 ,X7 ]分成奇元素[ X1 , X3 , X5 , X7 ]和偶元素[ X0 , X2 , X4 ,X6 ] ,8 ×8 矩阵则用2 个4 ×4 矩阵来代替,奇元素和偶元素分别与这2 个矩阵v 和u 相乘,生成2 个4 ×4 向量p 和q,通过加减向量p 和q ,可得到输出向量x。

算法可以表示成下面的公式:

基于8 ×8 矩阵的IDCT 算法,在FPGA 上按照图4所示的结构加以硬件实现。

运动补偿
运动补偿是一种大量、单调的运算。为了能实现运动补偿,采用了多级、多个运算单元并行流水运算的方式,如图5 所示。

运动补偿模块的控制很复杂。实际设计时将它分成几个子模块:补偿控制、补偿地址产生、差分数据提供以及补偿运算。这几个子模块直接采用硬件逻辑设计,运行时无需NiosII 处理器干预。其中补偿控制是完成整个运动补偿的控制,提供输入控制信号、输出控制信号、缓存控制信号、预测数据和差分数据等;补偿地址产生用于生成预测数据在帧缓存中的地址及补偿结果的写地址;差分数据负责接收IDCT 的结果,通过缓存在适当时机提供补偿使
用;补偿运算则完成最终预测数据的计算。

YUV-RGB 转换
根据YUV 到RGB 色彩空间的转换关系,对每个乘积项都预先做出结果, 存放在ROM 当中。对每一个YUV 分量的输入,由硬件逻辑产生存取地址,并进行加法运算,从而得到对应的结果。其实现结构如图6 所示。

系统软件工作流程
本系统的软件工作流程如图7 所示。

结　语

该系统采用基于Altera FPGA 嵌入式软核的SOPC平台实现,具有较低的硬件成本, IP 核的大量使用,良好的系统扩展性的特点。