摘要 为增强Android多媒体系统的功能,在Android智能手机上添加WMA音频播放功能,使Android平台支持WMA格式,播放WMA格式文件。基于Android多媒体系统的Stagefright框架,通过创建WMA的文件解析单元和解码单元,使WMA音频文件中的编码数据被正确地解码成原始数据并输出。通过在Android平台测试机上反复播放WMA音频文件,播放声音清晰、音质良好。
关键词 Android;WMA;多媒体;Stagefright
WMA可用于多种格式的编码文件中。微软公司在WMA9中大幅改进了其引擎,实际上几乎可以在同文件同音质下比MP3体积约小1/3,因此适合用于网络串流媒体及行动装置。许多播放器软件也纷纷开发出支持WMA格式的插件程序来,但Android手机尚未支持该格式,故在Android手机中添加WMA音频解码格式具有一定意义。
1 Andr0Id平台及其多媒体框架结构
1.1 Android系统
Android是Goosle与OHA(Open Handset Alliance)推出的开源手机操作系统。Android基于Linux平台,由操作系统、中间件、用户界面和应用软件组成。Android平台自底向上由4个层次组成:Linux内核层、运行时库和其他库层、应用框架层、应用程序层。
(1)Linux Kernel。Android底层是一个基于Linux2.6内核来开发的独立操作系统,该层主要用于提供系统的底层服务,包括安全机制、内存管理、进程管理、网络堆栈和驱动等。
(2)Libraries和Android Runtime。这一层主要与进程运行相关,包含了一套C/C++函数库,主要包括Libc、Media、Framework、WebKit、SGL、OpenGLES、FreeType、SQLite等。核心库提供了Java编程核心库的大多数功能,这些功能通过Android应用框架展现给开发人员,另外每一个Android程序都有独立的Dalvik虚拟机为它提供运行环境。
(3)Application Framework。该层是Android平台专为应用程序开发而设计的。开发者通过使用核心应用程序调用Android框架提供的API,这个应用程序结构被设计成方便复用的组件,该层由一系列的服务和系统构成。
(4)Applications。Android本身附带一些核心的应用程序包,例如Email客户端、浏览器、日历、Google地图、SMS短消息程序等。
1.2 媒体播放器结构及多媒体实现的核心
Android多媒体系统纵向跨越了Android系统的所有4个层次:Java应用程序层、Java框架层、本地代码层、Linux驱动层。多媒体本地代码层是多媒体系统的重点。Libmedia库提供多媒体部分的本地框架,Libstagefright提供多媒体核心功能的实现。
Android媒体播放器的模块结构如图1所示。
上层的应用程序将媒体的URI作为输入设置到媒体播放器中,再经过应用框架、JNI和本地框架,一直到设置到StagefrightPlayer中。在这个过程中没有数据流的传递,只是传递了URI路径。经Stagefright-Player中的解析单元进行解析后,读取音频流,经过解码器的处理转换成原始数据。音频原始数据将被送到音频输出环节中。
Stagefright是Android多媒体本地实现的核心。Stagefright中包括的内容很多,单从播放的角度来看StagefrightPlayer输入的是文件或网络媒体流,输出的是音视频输出设备,基本功能包括了媒体流控制、文件解析、音视频文件解码等方面。所以,要实现Android多媒体对WMA音频格式媒体文件或流媒体的播放,就需要扩展Stagefright中的文件解析和音频解码等方面,添加WMA格式的文件解析单元和WMA音频文件解码单元。
2 多媒体系统增加WMA音频格式的设计
从多媒体系统具体实现的角度来看,WMA音频格式播放主要经过WMA格式文件解析、WMA编码流解码、PCM输出播放3个阶段。WMA音频播放器的结构如图2所示。
基于Android多媒体系统音频播放流程,在WMA音频格式开发过程中主要有4项工作:(1)WMA文件的识别;(2)WMA文件的解析;(3)编码数据的读取;(4)编码数据的解码和输出。
2.1 WMA格式音频播放功能流程设计
通过调用AwesomePlayer的setDataSource函数来设置数据源;AwesomePlayer通过调用MediaExtractor的Create函数来识别该文件的格式,MediaPlayer判断该文件为WMA格式后,会创建一个WMAExtractor,在创建WMAExtraetor的同时,WMAExtractor会解析文件头,获取文件中的相关信息。然后调用WMAExtractor的getTrack函数创建一个WMASource;AwesomePlaye嗵过OMXCOdec创建一个WMADecoder;Awesome Player接着创建一个AudioPlayer,并把WMADecoder做为数据源传给AudioPlayer,并调用AudioPlayer的start函数;AudioPlayer获取WMA Decoder中的相关参数:文件类型、采样率、声道数,并根据该数据开启AudioSink,并把AudioSinkCailhaek做为回调函数传给AudioSink。AudioPlayer先调用WMADecoder解第一帧数据,并把该数据传给AudioSink去播放,当播放完成后AudioSink会调用回调函数AudioSink Call-hack再取解码后的数据,AudioSinkCallbaek又会调用FillButfer函数获取解码后的原始数据,解码后数据如果被取完后,AudioPlayer又会调用WMADecoder解下一帧数据给AudioSink,来回反复,直到文件中数全部被播放,播放流程如图3所示。在拉动滚动条时,上层会传来SeekTime,经AudioPlayer传给WMADeeoder再传给WMAExtractor,WMAExtractor根据上层传来的SeekTime判断出要播放的原始数据的起始位置,然后从该位置读取一个数据包传给WMADecoder解码。
在整个WMA格式解码播放过程中,主要设计有两个模块:WMAExtractor和WMADecoder。WMAExtractor主要执行WMA格式文件解析和数据读取功能。WMADecoder主要执行解码功能;WMA格式音频播放功能实现。
(1)WMA文件的识别。
在判断播放文件格式前,AwesomePlayer会提前把所支持的格式通过DataSource中的RegisterDefaultSniffers函数注册进来。判断播放文件格式时,会逐一按次序把该文件和所支持的格式进行匹配,最匹配的格式就是该文件的格式,所以在Datasource中的RegisterDefauh Sniffers函数中应添加如下代码:
WMA文件开始有一个16 Byte的标识,表示是WMA:30 26 B2 75 8E 66 CF 11 A6 D9 00 AA 62 CE 6C。如果音频文件的前16个字符和这16 Byte相符,那么就可以判断该文件为WMA文件。WMAExtraetor中的SniffWMA函数就是通过读取文件前16 Byte来判断该文件是不是WMA文件。在SniffWMA函数中,如果判断前16 Byte和WMA的16个标识字节相等,就会把MEDIA_MIMETYPE_AUDIO_WMA给mimeType指针,标志着该音频文件类型为WMA格式。MEDIA_MIMETYPE_AUDIO_WMA是在MediaDefs.h文件中定义,在MediaDefs.cpp文件中赋值:
(2)WMA文件的解析。
WMAExtmetor从WMA文件的第31 Byte开始取16 Byte,然后依次和file_header、stream_header、data_header、comment_header、exten-ded_content_header对比,如果和file_header相等,则从下个Byte开始依次获取文件大小、创建时间、数据包个数、…数据包大小。然后再从下个Byte开始读取16 Byte再进行对比,如果和extended_content_header相等,则可以从下个Byte中依次获取名称、艺术家、版权、注释等非音频信息。然后再接着读取16 Byte进行比对,直到和data_eader相等。data_header后就是音频文件解码数据,data_header的结束位置就是第一个数据包在文件中的偏移量。WMAExtractor会创建一个MetaData,并把文件头中获取的sample_rate、Byte_rate、channels、dura-tion都存入MetaData中。在WMAExtractor的getMetaData函数中,把之前获取的非音频信息放入MetaData中,最后返回该MetaData。在WMAEx-tractor的getTrack函数中,创建一个WMASource,并把WMA数据和MetaData传给WMASource。
(3)编码数据的读取。
获取未解码数据是通过WmASource的read函数读取的。WMA数据是以数据包为单位的,同文件中的数据包大小相同。每个数据包中有多帧数据,每个数据包的起始位置减去第—个数据包的起始位置再除以包的大小等于一个整数,这个整数就是该数据包之前数据包的个数。每个数据包的第一个Byte一般都等于0x82。第二个Byte以后是该数据包的相关信息。根据包的相关数据就可以获取该包中的未解码数据。
WMASource的read读取未解码数据时,首先会判断从WMADecoder传来的options是否为空,如果不为空,并可以从options中获取一个播放时间seekTimeUs,就通过seekTimeUs、总播放时间和总数据包的个数算出要播放数据包的起始位置,然后从该起始位置获取一个数据包的数据,并从该数据包中获取有效数据的大小、起始位置、时间等数据,最后把该有效数据和时间放在WMADecoder传来的Buffer里。
WMASource的Read被调用时,如果传来的Options为空或是不能从Options中获取时间seekTimeUs,就会从WMA文件中读取一个数据包,根据其中的有效数据的大小、起始位置获取有效数据,并获取该数据包中的时间,然后把该有效数据和时间放在WMADecoder传来的buffer里。第一个数据包的起始位置就是解析头文件时获取的第一个数据包的偏移量,所以第一次调用WMASource的read时,就是从这个偏移量的下个位置读取第一个数据包的。在WMASource中有一个专门记录读取位置的指针。每次读取1个数据包后,该指针就会指向数据包末尾的下一个位置,当下一次WMASource的read读取未解码数据时,如果不是音乐定点播放,就会从该指针所指的位置开始读取数据包。
(4)编码数据的解码和输出。
AwesomePlayer通过OMXCodec中的Create函数创建WMADecoder,所以在OMXCodec中注册WMADecoder的相关信息:
在创建WMADecoder时,把之前创建的WMASource传给WMADecoder。在WMADecoder构造函数中,WMADecoder从WMASource中获取Metadata,并从Metadata获取sampleRate、numChannels、duration等。在WMADecoder的start函数中,通过调用avcodec_open函数,来分配解码所需的空间、创建并初始化解码所需的相关参数。在WMADecoder析构函数中会调用WMADecoder的Stop函数。在Stop函数中会释放所有相关空间。
WMA音频解码主要是在WMADecoder的read函数中完成的:首先,先会判断是否是音乐定点播放,如果不是,WMADecoder会调用WMAExtrac-tor的read函数读取一个未解码的数据包;然后,对该数据进行解码,将解码后的音频数据存放在MediaBuffer的Data()中,再设置MediaBu-ffer的mRangeOffset和mRangeLength,在读取数据包时会从包中获取该数据包中的时间戳,把该时间戳存放在MediaBuffer的Meta_ data()中的kKeyTime里;最后,WMAdecoder把该MediaBuffer传回给AudioPlayer。如果是音乐定点播放,首先,WMADecoder会从AudioPtayer传过来的ReadOption中获取播放时间(option->getSeekTo(&seekTimeUs,&mode)),在调用WMASource的read函数来读取未解码音频数据时会把该时间(seekTimeUs)传给WMASource。WMASource的read函数获取到该时间后,通过计算得出该时间要播放的音频数据包的起始位置,然后读取该数据包并传给WMADecoder对其进行解码,最后将该解码后的音频数据传给AudioPlayer。
3 实验结果
基于Android平台的多媒体系统进行设计的WMA音频播放,在Android多媒体框架的本地实现核心Stagefright框架里,添加WMA音频格式。实现Android对WMA音频格式的支持,使Android手机可以播放WMA音频格式的文件。经过实际测试,播放效果达到了预期的要求,声音清晰、音质好。图4为增加WMA音频播放模块后Android源码编译结果的截图。图5为播放WMA格式文件时对播放界面的截图。图6为拉动滚动条后正常运行的截图。
4 结束语
基于Android多媒体模块中的Stagefright框架,在智能手机上实现了对WMA音频格式的支持,使Android智能手机可以播放WMA音频格式的媒体文件或流媒体。该设计在现有基础上实现了对Android操作系统中多媒体系统功能的增强。目前Android平台手机仍然不支持RMVB、WAV等视频格式,所以Android多媒体系统的功能还需继续增强和扩展。