摘 要:描述了在实时嵌入式系统" title="嵌入式系统">嵌入式系统开发中遇到的与CACHE有关的问题。对引起这些问题的原因——CACHE和RAM的不一致性进行了讨论。最后,提出了解决问题的方法。

关键词:嵌入式实时系统 CACHE 不一致性

　　随着社会的发展、人们生活水平的提高,人们对嵌入式计算机应用的要求也越来越高。因此,对嵌入式系统的性能要求也越来越高。明显体现在嵌入式系统的CPU速度的不断提高上。但问题也随之而来,嵌入式CPU的主频不断地提高,一方面加强了CPU的处理能力" title="处理能力">处理能力,另一方面,在速度上造成了与慢速的系统存储器极不相配的情况,从而影响了整个系统的性能。

为了解决这个问题,引入了CACHE技术。CACHE是一种高速缓冲存储器,是为了解决CPU和主存之间速度不匹配而采用的一项重要技术。通过在主存和高速CPU之间设置一个小容量的高速存储器,在其中存放CPU常用的指令和数据,CPU对存储器的访问主要体现在对SRAM的存取,CPU可以不必加等待状态而保持高速操作。

　　采用CACHE技术,解决了CPU与主存之间速度不匹配的问题;但它又带来了一些其它问题,如本文将提到的一致性问题。

1 问题的发现与原因

　　在进行某嵌入式系统项目的开发过程中,有一个环节需要使用DMA方式进行数据传输。当程序运行后,发现传到目的地的数据块中经常会有一些错误的字节。如:数据本应为00 01 02 03 04 05 06 07 08 09 0A 0B ...(16进制),结果却是00 01 02 03 00 00 00 00 08 09 0A 0B ...。在某些环节也出现了类似的问题。例如,通过HDLC通道向外发送数据,发送的总是缓冲区初始化时的内容,实际要发送的数据总是发不出去,但使用调试工具看内存中的数据,却是正确的。

　　经过一段时间的调试,发现出现这种现象的环节都使用了DMA传输数据。在通过HDLC通道发送数据的例子中,HDLC通道内部也是用DMA方式从内存直接读数据并向外发送。经过分析,认为问题的原因是出在CACHE上,是由于CACHE数据与内存数据的不一致性造成的。

　　所谓CACHE数据与内存数据的不一致性,是指:在采用CACHE的系统中,同样一个数据可能既存在于CACHE中,也存在于主存中,数据一样则具有一致性,数据若不一样就叫做不一致性。具体表现在两个方面:

　　(1)更新时可能CACHE中的数据更新,而主存未更新,则造成数据丢失;

　　(2)在有DMA控制器的系统和多处理器系统中,有多个部件可以访问主存。这时,可能其中有些部件是直接访问主存,也可能每个DMA部件和处理器配置一个CACHE。这样,主存的一个区块可能对应于多个CACHE中的一个区块。于是会产生主存中的数据被某个总线部件更新过,而某个CACHE中的内容未更新,造成数据过时。

2 问题的分析

　　要解释这个问题,首先要了解CACHE的工作模式。CACHE的基本工作模式有两种:write-through模式和 copyback模式。在write-through模式下,所有的写操作都写入CACHE和RAM,保证了CACHE和RAM的一致。然而,每次对RAM都有写操作会使处理器的处理能力降低,并且占用总线带宽。在copyback模式下,写操作只写入CACHE,不写入RAM,从而提高了处理器性能和总线带宽。copyback模式下,CACHE中的内容只有在需要的时候才写到RAM中。当CACHE中无可用空间时,一般使用最近最少使用算法(LRU)来决定哪一个CACHE项被替换。copyback模式提供了很高的系统性能,但是需要更多的一致性作保证。为了便于理解,给出一个使用了CACHE的系统的逻辑框图,如图1所示。

　　该系统中两个地方会发生CACHE的不一致性:

　　(1)数据CACHE/RAM

　　数据CACHE与RAM之间的问题源于处理器和其他总线控制器对RAM的异步读写访问。DMA设备和其他总线控制器对RAM的访问是引起CACHE一致性问题的主要原因,这个问题可以通过在程序中加入一些代码来解决。

　　(2)共享CACHE LINE

　　当一个CACHE LINE被两个以上的线程共享时,也会产生一致性问题。当某个线程使一个CACHE LINE无效时,这个CACHE LINE中的一些项可能属于另外一个线程。这个问题也可以通过一定的方法来避免,只要在分配内存时大小是CACHE LINE大小的整数倍即可。

　　在哈佛体系结构、copyback模式和无软件干预的前提下,最佳的保持一致性的方法就是使用具有总线监听能力的硬件。将CACHE、RAM、DMA设备和其它所有的总线主控设备都连到一个物理总线上,以使CACHE可以对该总线上的总线交互过程进行监听,CACHE将对总线上的地址周期和控制(读/写)比特监听,数据周期则被延迟到需要时才进行。当CACHE中的一项被一个异步操作修改时,该CACHE项就会被标为无效。如果处理器对一个已经被标为无效的CACHE项进行访问时,CACHE就会从RAM中重新载入有效数据。在copyback模式下,处理器对CACHE进行写操作时,RAM相应地址中的内容就变成过时。如果另外一个设备想访问RAM中的这部分内容,CACHE就会抢占该访问周期,将有效的数据写入RAM。然后被抢占的访问周期重新开始并将读到RAM中的有效数据。但是,目前提供监听能力的板子并不多。

3 解决的方法

　　根据上面的" title="面的">面的分析和讨论,可见问题正是由数据CACHE / RAM的不一致性引起的。虽然关掉CACHE就可以解决一致性的问题,并且能够减小程序开发的复杂度。但是一个高性能的系统是需要CACHE的,关掉CACHE会大大降低系统的性能。因此,本文仅讨论在程序中加入代码来克服一致性问题的方法。

　　可以采用以下几种加入代码的方法来解决一致性的问题(本文使用WIND RIVER公司的嵌入式" title="的嵌入式">的嵌入式实时多任务操作系统VxWORKS,下面的函数都是VxWORKS提供的):

　　(1)对于时间上不是那么关键的程序段,可以先用下面的代码维护数据CACHE的一致性。

　　cacheInvalidate (DATA_CACHE, address, bytes);

/* 输入缓冲区*/

　　...

　　cacheFlush (DATA_CACHE, address, bytes);

/*输出缓冲区*/

　　(2)对于时间上比较关键的程序段,采用如下原则:在每次使用输出缓冲区前将其更新;在每次使用输入缓冲区前使其无效。

　　将缓冲区标示为“non-cacheable”可以防止一致性问题,这需要MMU支持。在分配缓冲区时,将其标示为“non-cacheable”即可。然而,动态缓冲区在释放时要标为“cacheable”,否则内存总会产生大量的缓冲区碎片。

　　下面给出一个高性能的驱动程序例子,它把更新/无效的概念进行了扩展。不是对整个CACHE系统,而是对每一个缓冲区都这样做。即通过分配对CACHE安全的缓冲区,在一个缓冲区的基础上操作,从而防止了不需要的更新/无效操作。在这个例子中使用了CACHE库中的函数cacheDMAMalloc( ),宏CACHE_DMA_INVALIDATE和CACHE_DMA_FLUSH实现一致性。在第4行调用函数cacheDMAMalloc( )后,如果指针返回为非空,则说明分配到了一块对于一致性问题来说是安全的缓冲区。

　　第7行驱动程序在缓冲区中写入要传给外部设备的数据,在第9行准备传给外设" title="外设">外设之前,驱动程序必须更新数据CACHE以保证要传的数据是在内存中,而不是在CACHE中。

　　当驱动程序准备读外设传给内存的数据,在第13行驱动程序处理这些数据之前,必须使数据CACHE中对应于输入缓冲区的那部分无效以消除这些包含过时内容的条目。之后,驱动程序才能安全地处理从内存中取来的输入数据。

　　1: STATUS drvExample (pBuf)

　　2: void *pBuf; /* 缓冲区指针 */

　　3: }

　　4: pBuf = cacheDMAMalloc (BUF_SIZE);

　　5: if (pBuf == NULL)

　　6: return (ERROR); /*内存分配失败*/

　　7: /*其它初始化代码和向发送缓冲区填数据*/

　　8: CACHE_DMA_FLUSH (pBuf, BUF_SIZE);

　　9: drvWrite (pBuf); /*向外设发送数据*/

　　10: …… /* 其它代码 */

　　11: drvWait (); /*等待外设来的数据*/

　　12: CACHE_DMA_INVALIDATE (pBuf, BUF_SIZE);

　　13: /* 处理外设来的数据 */

　　14: cacheDMAFree (pBuf); /*释放内存 */

　　15: return (OK);

　　16: }

参考文献

1 Motorola Inc. MPC860 PowerQUICC User＇s Manual, 1998

2 Wind River system Inc. VxWorks Programmer＇s Guide. 1999

3 Wind River system Inc. Tornado User＇s Guide 2.0, Edition 1. 1999

4 吕京建,肖海桥. 面向二十一世纪的嵌入式系统综述.中国单片机公共实验室.