摘要：随着信息技术和计算机技术的飞速发展，大量的语音、数据、图像、图形等信息需要计算平台进行实时感知和处理，用户对高性能、高带宽、抗恶劣环境计算平台也提出了越来越高的要求。本文提出一种基于VPX总线设计的高级计算平台，为高性能、高带宽、适应恶劣环境计算平台的实现提供了技术路线和方法。
关键词：VPX总线高级计算平台多CPU高速互联智能平台管理软件
第一作者介绍：陈志列（1963年），男，高级工程师，研究方向为特种计算机
AdvancedComputingPlatformBasedonVPXBus
Abstract:Alongwiththerapiddevelopmentoftheinformationtechnologyandthecomputertechnology,alargequantityofinformationsuchasvoice,data,imageandgraphics,etcrequiresreal-timeperceptionandprocessing;higherrequirementsareraisedforthehighperformance,highbandwidthandhushenvironmentresistantcomputingplatform.AnadvancedcomputingplatformbasedonVPXbusisdiscussedinthepaper,whichprovidesthetechnologyroutesandmethodstorealizethehigh-performance,highbandwidthandhushenvironmentresistantcomputingplatform.
Keywords:VPXbus;advancedcomputingplatform;versatileCPUhigh-speedinterconnection;intelligentplatformmanagementsoftware
引言
随着信息技术和计算机技术的飞速发展，未来社会将是一个高效的数字化社会，大量的语音、数据、图像、图形等信息需要计算平台进行实时感知和处理。而伴随着计算机在各个领域的深入，特别是在航空航天控制、海底勘探考察、地震火山的灾难检测、大规模导弹发射控制、雷达监测及电子对抗、以及地外星球科考等高端测控领域，用户对高性能、抗恶劣环境计算平台也提出了越来越高的要求，使得传统的并行总线正在逐渐退出历史舞台，出现了新一代的串行总线。但在恶劣环境适应性方面，商用总线技术在坚固性方面不能长期适应恶劣工作环境的需求，而在接口的模块化、动态重组等方面也难以满足应用需要，其可靠性不高且维修极不方便。并且近年来CPCI总线工控机和VME总线工控机处在一个共同竞争和发展的并存状况[1]，由于先入为主的缘故，VME总线在高性能的实时工业应用领域一直处于主导地位。但CPCI后来居上，其开放性的架构体系和通用的操作系统等优势，使CPCI总线自诞生起在PC机、工控机和军用装备等各个领域受到广泛关注并被普遍采用。遗憾的是，在这个以带宽为生命的海量数据时代，目前这两种总线均显得力不从心。迫于生存和竞争，VITA于2006年首次推出VPX总线技术标准（VITA46）和REDI加固增强的机械设计规范（VITA48），不仅在带宽上突破Gigabytes传输，而且非常好的解决了加固，高速互联，管理等各个方面的问题，可以广泛的应用在航空、航天、雷达、海底勘探、通信等领域。
VPX总线的发展历史
VPX（VersatileProtocolSwitch多协议交换）是由VITA（VMEbusInternationalTradeAssociation）组织制定的用以满足恶劣环境下高可靠性、高带宽要求的下一代高级计算平台标准。由原先的VME（VersaModuleEurocard）总线升级而来，并且兼容了XMC、FibreChannel、PCI-Express、RapidIO、Hypertransport等高速串行总线协议。诞生于近30年前的VME总线是一种通用的计算机总线，结合了Motorola公司Versa总线的电气规范和Eurocard机械封装标准，是一种开放式架构，支持并独立于多处理器计算机系统。1984年，VITA成立，致力于推动VME总线的市场和发展。1987年，VME总线被IEEE正式接纳为万用背板总线（VersatileBackPlaneBus）标准，标准号为ANSI/IEEE-1014，总线接口为两个96芯的针孔连接器，数据宽度为32位，带宽为40MB/s，市场名称为VME32。伴随电子技术的发展，VITA先后多次推出升级版本，如VME64、VME64x、VME320。其中，VME64数据宽度从原先的32位扩展为64位，把P1/J1和P2/J2连接器从三行96针改为5行160针，带宽为80MB/s，增加了总线锁定周期和第一插槽探测功能，并加入了对热插拔的支持；VME64x相对于VME64，在P1/J1和P2/J2之间加入了一个P0/J0连接器，传输协议从四沿传输变为双沿信号传输，数据速率可达到160MB/s；其后VME320在VME64x基础上进一步采用双沿源同步传输协议（2eSST），可将理论带宽提高到320MB/s，但用户对VME的带宽进展速度不满意，此外，设备性能的大幅提高也带来了发热量迅速增加和可靠性降低等派生问题。近几年，为了满足更大带宽和更强制冷能力的要求，VITA先后推出VXS（VITA41）、VPX（VITA46）和REDI（VITA48）等一系列新的模块标准。其中，VPX全部采用的MultiGigRT2连接器具有连接紧密、插入损耗小和误码率底等优点；通过结合REDI构成的VPX-REDI平台可以满足苛刻环境和大带宽的需求。
VPX定义了新型的高速连接器标准，每个模块最多支持728个信号引脚，所有连接器均支持高速差分信号，能够支持PCI-Express，10GEthernet，SerialRapidIO等协议；定义了风冷，传导，水冷等5种加固散热结构；定义了中央交换，分布式交换的背板结构；定义了模拟信号和光信号的模块背板互联标准；定义了电源标准；定义了基于IPMI的智能管理，非常好的解决了加固，高速互联，管理等各个方面的问题。
基于VPX总线的高级计算平台需要解决的关键问题
基于VPX总线的高级计算平台，需要研究多协议高速互连、高性能CPU硬件平台、高可靠性保护、智能管理、冗余设计、传导散热结构等关键技术。要解决如下关键技术问题：1）VPX高级计算平台的环境适应性问题，平台需满足对航空航天控制、导弹/火箭发射、海底勘探、灾难监测等抗冲击能力强、温度变化剧烈下的环境应用要求，因此需要解决VPX高级计算平台的连接可靠性、环境适应性的难题；2）VPX高级计算平台的多核CPU的AMP、SMP处理问题，平台的处理板均采用多核处理器，而产品在应用中需要采用对称多处理模式、非对称多处理模式或者两者结合的方式，这就要求对多核处理做深入研究，实现SMP和AMP方式，以满足实际应用的需求；3）多CPU高速互联总线协同处理问题，平台需要支持PCI-E/SerialRapidIO/Ethernet互联，需要能支持多块处理板通过互联总线实现多CPU处理，实现同步或异步的协同处理机制，在VPX智能平台系统板上还需实现SerialRapidIO协议栈，解决SerialRapidIO互联，多CPU启动机制，多CPU配置等技术难题；4）高度灵活的XMC/PMC扩展问题，平台的处理板需要支持XMC/PMC扩展，支持各种存储板、DSP板、交换板等，因XMC走线多为差分信号，对信号质量提出了很高的要求，同时为了加强环境适应性，处理板均有三层铝合金保护壳，布局布线均有诸多限制；5）智能平台管理控制问题，平台每块单板包括一个单独的处理模块（VMC），用来实现IPMI功能对整个机箱进行管理，此模块独立于主处理模块，实现温度自动监控，模块上下电等功能，需要软硬件协调配合才能实现实时的风扇监控、温度监控、电压监控等功能；6）多层次数据总线设计问题，平台支持四个层次的通道：采用全网拓扑结构的PCI-Express/Serial-RapidIO/10GEthernet的数据通道，采用双星拓扑结构的千兆以太控制通道，基于I2C的IPMI冗余总线以及通用总线，它们之间的交互以及协同处理需要统一考虑。
基于VPX总线的高级计算平台的架构[2]
本论文设计的基于VPX总线的高级计算平台参照VPX系列协议VITA46、VITA48规范、VITA65标准来实现，其架构如图1所示包括4类通道：通用通道，IPMI通道，数据通道和控制通道。
通用通道实现总线拓扑，其中包括了电源通道提供不同伏值的电源、复位通道、模块地址配置等。IPMI通道实现冗余总线拓扑，实现两条总线型的IPMI通道。发送方在两个通道同时发送相同的数据，而接收方VMC接收进程实时监听通道的状态，其正常工作时使用其中的一个通道，当出现延迟或者链路断开时，VMC接收方自动切换到另一通道。数据通道提供在1-5槽实现全网状拓扑设计，用于实现大数据量的高速传输，其每个槽位作为一个节点，与其他四个槽位分别实现4X全双工通信。控制通道通过第六槽交换槽实现双星冗余拓扑，交互板作为中央交换单元，每个处理槽位有两个千兆以太网通道同中央交换单元互联，中央交换单元将每个通道连接到一个交换矩阵，实现双星拓扑结构。
图1VPX高级计算平台架构图
VPX背板用来互联各个处理模块及后IO模块，交换模块，周边模块，存储模块，提供四种通路以及SATA等用户可自定义的通道。背板还互联电源模块和其它模块，除此之外，背板为IPMI管理还提供了一个存储单元，用于存储CHMC的SDR，SEL等信息。本论文设计的平台背板为6U、6槽的VPX背板，其中5个Payload（负载）槽位，1个网络控制交换槽。5个Payload槽的数据通道（J1）进行分布式互连，每个槽位有4路×4的差分信号（PCI-Express或者Serial-RapidIO），可分为A、B、C、D四个通道，分别与其它4个槽位的A、B、C、D四个通道进行互连，其连接方案如图2所示。
图2背板数据通道互连框图
基于VPX总线的高级计算平台的具体设计[3]
本论文具体设计中主要介绍了基于FreescaleQorIQP40808核CPU并支持SerialRapidIO/PCI-Express交换的VPX高级计算平台处理板，基于MPC8377和Broadcom方案的VPX高级计算平台交换板，VPX智能平台管理软件等。
基于FreescaleQorIQP4080[4]的8核CPU的处理板
VPX高级计算平台处理板是VPX系统的核心，它通过VPX背板和其他处理板或周边板配合完成业务需求。比如它可以通过PCI-E互联扩展网络，存储，显示等周边功能，也可以通过RapidIO互联扩展DSP，FPGA等用于处理数字信号，图像语音处理。除此之外，VPX处理板提供了两个PMC/XMC扩展槽，可以用于扩展1553B等军用总线。采用PowerPC最新的QorQ平台，8核CPUP4080，同时支持PCI-Express和SerialRapidIO板内交换，如图3所示。
图3基于FreescaleQorIQP4080的8核CPU的处理板
采用PowerPC最新的QorIQ平台，8核CPUP4080，支持对称多处理和非对称多处理，并能实现一块CPU支持多种操作系统，图4为该处理板的多核方案：
图4多核CPU方案
在本论文VPX平台上我们将同时支持Linux的SMP系统，VxWorks的SMP和AMP系统。实现一颗CPU多操作系统的配置，或某些单独的核实现RAWCODE。
针对多CPU高速互联总线协同处理问题：我们采用的解决方案是通过在处理板上增加PCI-Express和Serial-RapidIO交换，以PCI-Express交换提供周边扩展，以Serial-RapidIO交换实现多CPU协同工作。提供启动Flash，每个Flash中划分8个区域，每个区域提供一个Bootloader和操作系统，并实现两块flash冗余，用以支持AMP的多核处理。系统启动后，由第一槽（系统槽）首先启动，其启动代码对Serial-RapidIO进行配置，配置转发端口和路由策略，配置成功后启动其他CPU的Bootloader，启动其他CPU。
针对多核CPU的AMP、SMP处理问题：基于P4080的VPXSBC支持SMP和AMP模式。系统提供大容量的NORFlash并进行分区。高端地址用于存放启动代码，低端地址用于存放用户数据。启动代码区被分为16个部分，为P4080中的每一个内核提供2个可选的启动区域。为避免因Flash数据被破坏而无法启动，系统提供了一个ROM存放启动代码，用于系统恢复。
基于MPC8377和Broadcom方案的交换板
VPX高级计算平台的交换板主要是提供控制通道的以太网数据交换，我们在实现时采用单交换矩阵，共划分为两个VLAN，每个VLAN内包括处理板，周边板的一路千兆以太网接口。提供二三层交换路由协议STP，RSTP，MSTP，RIP，OSPF，IGMP等，提供二三层协议处理和路由交换管理；对用户提供CLI，WEB，SNMP的管理接口；提供IPMI的机架管理功能CHMC，对VPX平台内的所有VMC的SDR，SEL，FRU，Sensor进行管理，同时提供对热插拔的支持；支持OpenVPXSLT6-SWH-4F24T-10.4.4，使用MPC8377CPU和Broadcom交换芯片，支持单矩阵交换。
图5VPX高级计算平台交换板框图
VPX高级计算平台的交换板实现框图如图5所示。数据层面采用Broadcom千兆交换芯片，提供L2表，路由表，组播表，ACL，VLAN等功能进行数据转发，管理层面采用freescaleMPC8377处理器，运行各种协议，实现管理接口。
VPX高级计算平台管理软件
图6为VPX系统管理软件的架构[5]图，根据功能从上往下依次可以划分为：系统管理层、平台管理层和系统驱动层。其中系统管理是上层管理软件，向用户提供一个系统管理接口；平台管理则是VPX系统管理软件设计的核心部分，位于VPX系统管理软件架构的中间层，负责整个平台管理，向上与SystemManager通信，向下与VMC控制器进行通信；系统驱动层包括操作系统移植和驱动程序。
图中中间框起来的部分为平台管理的核心部分，由一个MessageHandler和若干平台管理功能模块组成。根据所管理范围的不同，我们将这些管理模块分成ChassisManagement和BoardManagement两部分，其中ChassisManagement包括SEL、PEF、FRUDiscover&Control、CoolingManagement以及PowerSupplyManagement；BoardManagement包括SDRManagement、FRUInfornationManagement、FRUStateManagement、SensorManagement（FRUHealthMonitor、ThresholdSensorPolling以及Self&PayloadTest）。平台管理软件在初始化的时候获取SYS_CON*信号状态（或者直接根据槽位号），如果为低则启动ChassisManagement功能，否则仅启动BoardManagement功能。
为了调试和管理的方便，本系统还设计了一个内嵌的CLI接口，该CLI接口通过CHMC的调试串口同用户交互，可以用于本地实现一些简单的查询和操作命令，如SEL查询及清理、SDR和FRU信息的查询、Sensor列表及状态的查询、FRUControl操作等。
图6VPX系统管理软件的架构图
针对智能平台管理控制，每块单板包括一个单独的处理模块，用来实现IPMI功能对整个机箱进行管理，此模块独立于主处理模块，实现温度自动监控，模块上下电等功能，需要软硬件协调配合实现。采用脉宽调制方法由IPMI控制风扇工作状态，每个风扇各自配有故障告警信号和风速控制信号来进行风扇监控。在交换控制板、背板和节点板上设置温度传感器，交换控制板通过IPMI接口对各发热点进行检测来进行温度监控。交换控制板和节点板上电压种类较多，一旦电压波动超出系统要求范围，需要交换控制板CPU进行报警，由IPMI接口控制触发电压保护电路来进行电压监控保护。
总结
本设计平台性能高、带宽高、稳定性好，抗干扰能力强，维护方便，适用于恶劣工作环境。本设计平台产品已在不同环境下进行了长时间测试，运行稳定可靠，各项技术指标良好。伴随着信息与工业化不断融合，计算机在各个领域的不断深入，基于VPX总线的高级计算平台必将在未来数字化社会里被广泛应用。
[参考文献]
1、张天林，张思敏，《CPCI-E与VPX总线标准的比较分析》，工业控制计算机，2009.7
（共3页）
2、《AmericanNationalStandardforVPXBaselineStandard》，ANSI/VITA46.0-2007，2007.10（18-48）
3、《AmericanNationalStandardforEnvironments,DesignandConstruction,Safety,andQualityforPlug-InUnitsStandard》，ANSI/VITA47-2005（2007），2007.9（共21页）
4、《P4080QorIQ™IntegratedMulticoreCommunicationProcessorFamilyReferenceManual》，Freescale，2010.4(1-48)
5、《IntelligentPlatformManagementInterfaceSpecificationv1.5》2002.2（40-68）