PCI-E总线高速数据采集卡的设计与实现

基于 PCI Express 总线高速数据采集卡的设计与实现 马萍 1,2,3 唐卫华 2李绪志 2 (1-中国科学院研究生院, 北京 100080 ; 2-中国科学院光电研究院, 北京 100080; 3-中国科学院空间科学与应用研究中心, 北京 100080) 摘 要：本文介绍一种基于 PCI Express 总线的高速数据采集卡的设计方案及功能实现。给出 系统的基本结构及单元组成，重点阐述系统硬件设计的关键技术和本地总线的控制逻辑，详 细探讨了基于 DriverWorks 的设备驱动程序的开发以及上层应用软件的设计。该系统通过实 践验证，可用于卫星下行高速数据的接收并可适用于其他高速数据采集与处理系统。 关键词：PCI Express 总线 PCIE PEX8311 DMA 板卡驱动 中图分类号：TP336 文献标识码：A Design and Implementation of a High-speed Data Acquisition Card Based PCI Express Bus Ma, Ping1, 2, 3 Tang,Weihua2 Li,Xuzhi2 (1-Graduate University of Chinese Academy of Sciences, Beijing 100080,China; 2-Academy of Opto-Electronics, CAS, Beijing 100080,China; 3-Center for Space Science and Applied Research, CAS, Beijing 100080,China) Abstract：A design project and function realization of a kind of high-speed data acquisition card based on PCI Express bus is introduced in this paper. It presents the structure and circuit cells of the system, emphasizes the key technique of system hardware design and the control logic of local bus, discusses in detail the development of device driver based on DriverWorks and the design of super application software. Verified by practice, this system can be used to receive the high-speed data down from satellite. And can also be applied to other high-speed data acquisition and processing system. Key words：PCI Express Bus, PCIE, PEX8311, DMA, Card Driver 0 引言 随着空间科学和空间电子学技术的飞速发展，空间科学实验的种类和数量以及科学实验 所产生的数据量不断增加。为了使地面接收处理系统能够实时处理和显示科学图像数据，必 须要设计出新的地面数据接收处理系统，实现大量高速数据的正确接收采集、处理以及存储。 为了满足地面系统的要求，并为以后的计算机系统升级提供更广阔的空间，本系统拟采用第 三代 I/O 互连技术 PCI Express（简称 PCI-E）作为本数据采集卡的进机总线形式。本文通过 对 PCI-E 总线专用接口芯片 PLX 公司的 PEX8311 性能分析，特别是对突发读、写和 DMA 读操作的时序研究，设计出本地总线的可编程控制逻辑，并详细讨论了整个 PCI-E 高速数据 采集卡的硬件设计方案，以及 WDM 驱动程序和上层应用程序的设计方法。 1 PCI Express 总线简介 PCI Express1.0 自 2002 年 7 月由 PCI-SIG 正式公布起，得到了原有 PCI、AGP 总线及 AMD、 VIA 等系统内部总线开发者的拥戴。它提供了一种适合于 10Gbit/s 速度的串行接口， 克服了传统并行 PCI 总线的一些性能限制。可配置为 X1、X2、X4、X8、X12、X16 或 X32 的数据传输通道模式。X1 的单向通道传输带宽约为 2.5Gbit/s，X32 可达到 16GB/s 的总带宽。 2007 年 1 月发布的 PCI Express2.0 标准实现了 X1 单向数据传输速率 5Gbits/s。 在过去的十几年间 PCI 总线是非常成功的，它的平行总线机制在现在看来依然具有很高的 先进性，但是它的带宽却早已显示出种种的疲态。PCI-E 的提出就是为了要提高总线的带宽 和工作频率，并解决许多实际应用中的问题。在整体性能方面，PCI-E 总线只需要从芯片组 中引出很少的管脚，这使得主板布线难度大大降低，从而全面降低了系统单位带宽的成本， 但它却具有比现在 PCI 高的多的带宽和传输速度；在通信模式方面，PCI-E 采用串行点对点 方式，采用 LVDS 串行链路接口和时钟数据恢复同步技术，并利用 8b/10b 编码机制将时钟 信号嵌入数据信号，保证数据传输的可靠性；同时它还具有像 USB、火线一样“走出机箱”、 跨平台兼容等优点，从而得到众多工程师的青睐。本系统就是基于 PCI-E 总线的这些独特优 点，设计出一款更经济实用的高速数据采集卡，确保卫星下行数据的实时准确接收。 2 系统硬件整体设计方案 卫星高速下行数据经地面接收站解调后，通过光纤以数字基带信号形式传递到本地端， 本系统所设计的接收卡就是负责接收解调器输出的高速基带数据流。硬件系统主要包括 PCI-E 总线控制器、高速数据缓存、差分数据接口和 CPLD 本地逻辑控制四部分。系统结构 如图 1 所示。 图 1 PCI Express 数据采集卡整体结构框图 I、Q两路分向的LVDS信号及本地恢复时钟CLK经SMA接头进入板卡，首先通过差分信 号接收器转换为LVTTL电平，然后将串并转换后的8位并行数据在CPLD的控制逻辑下送入 FIFO缓存。当FIFO存储器中的数据半满时，由CPLD向PEX8311总线控制器发出本地中断信 号LINTi，并由后者启动DMA传输，将数据经PCI-E总线上传至PC机内存，待上层应用处理 软件进行存储硬盘、快视及归档。本设计需要完成的工作主要有两部分，一是根据PEX8311 的工作原理，通过驱动程序配置相应的内部寄存器。二是根据PEX8311提供的LOCAL端总 线工作时序，在CPLD中实现相应的控制逻辑，进而保证系统的协调工作。 3 系统硬件实现 3.1 PCI-E 总线接口芯片 PEX8311 的性能简介 PEX8311 是 PLX Technology 公司推出的一款专用于将 DSP、FPGA 等处理器总线接口 升级为 PCI-E 的桥接器件。利用 PEX8311 灵活的局部总线可以方便连接多种存储器、缓存 器及 FPGA、DSP等逻辑芯片，使复杂的 PCI-E接口设计简单化。PEX8311兼容 PCI Express1.0 标准，其本地总线和寄存器与 PCI9056 兼容，内部集成了单通道、全双工 2.5Gbps 的 PCI-E 端口，并提供完整的本地总线到 PCI-E 的接口，包括地址转换、包生成与解码、信号中断支 持及并串转换[1]等。 PEX8311 提供三类物理总线接口：LOCAL、PCI-E 及两种串行 EEPROM(SPI、Microwire) 接口。其中，LOCAL 端具有 32 位数据总线宽度和 66MHz 时钟频率。PEX8311 支持三种 LOCAL 总线接口模式：C 模式、J 模式和 M 模式，可方便与多种微处理器连接。实际中常 用的还是时序逻辑相对简单的 C 模式，即非复用的地址/数据总线模式，适用于 Interli960、 DSPs、通用 ASICs 及 FPGA 等[1]。PEX8311 的 LOCAL 和 PCI-E 之间具有三种数据传输模 式：直接主模式、直接从模式和 DMA 模式。在 DMA 方式中，PEX8311 提供了两个独立的 DMA 通道，支持聚散模式和块模式。本系统中采用 DMA 总线突发模式的块传输。 3.2 基于 PEX8311 的高速数据接口 差分数据接口 系统采用 DS90LV032A 作为差分信号接收器将三路 LVDS 信号分别转换为 LVTTL 电 平并送入 CPLD。DS90LV032A 是 National Semiconductor 公司推出的一款 3V LVDS 四路 CMOS 差分信号接收器，其最大转换速率大于 400Mbps，而且该芯片具有相对应的 LVDS 驱动器 DS90LV031A，易于搭建整个收发系统。 高速数据缓存 由于 PEX8311 内部仅提供 6 个最大深度 64Dwords 的 FIFO，对于高速实时的 DMA 传 输可能会造成数据的溢出丢失，所以需要外部扩展大容量的 FIFO 缓存。综合考虑系统的通 用性和简单性，采用 IDT 公司的 IDT72V36100 作为本系统的高速数据缓存。该芯片提供 65536*36Bits 的存储空间，并具有灵活的输入、输出数据线宽度和 133MHz 的工作频率，同 时提供 EF(空标志)、FF(满标志)、HF(半满标志)等信号，可方便为 CPLD 提供时序控制。在 本系统中，设置 FIFO 的总线配置信号 BM、IW、OW 全为高，IP 为低，使其输入输出数据 宽度分别为 8bits 和 32bits。设置 FWFT/SI 信号为低，选择其工作在 IDT 标准模式，控制 FIFO 中的数据在 REN 低有效时才能读出。 本地总线可编程逻辑控制 系统采用 Xilinx 的 XC9500XL-5 系列 CPLD 作为本地总线的逻辑控制器，负责协调好 与 FIFO 和 PEX8311 之间的时序关系。系统启动时，首先由驱动程序向 PEX8311 发送复位 信号，通过 LRESET 复位本地端的 CPLD 和 FIFO，清空 FIFO 内部数据，并将 HF 和 FF 标 志置为无效，然后等待数据的输入，从而控制了接收数据的有用性和连续性。 数据和时钟进入 CPLD 后，首先将 I、Q 两路信号在 4 个 CLK 周期下合并为 8 位并行 数据，并在每一个写时钟 WCLK 的上升沿写入 FIFO。当 FIFO 中的数据达到半满状态时， HF 标志位有效，通过 CPLD 向 PEX8311 发出 DMA 中断请求。PC 机响应中断后，设置 DMA 传输模式，传输字节数及地址信号等。PEX8311 通过 LHOLD 申请控制本地总线，待收到 CPLD 发出的 LHOLDA 响应信号后获得本地总线的控制权，并立即启动 4 字节突发模式的 Block DMA 周期。CPLD 在收到有效的 LW/R 读信号和 ADS 地址选通信号后，发出 Ready 本地准备好应答信号，同时使能 FIFO 的读允许 REN 和输出允许 OE。在传输最后一个数据 时，PEX8311 发出 BLAST 信号，CPLD 置 FIFO 读使能和输出使能无效，并取消 Ready 从 而结束 DMA 周期。实际接收测试过程中由数字示波器采集到的波形如图 2 所示。 图 2 PEX8311 四字节突发 Block DMA 传输周期 3.3 系统 PCB 设计 由于 PCI-E 总线速率较高，所以对板卡的 PCB 设计有严格的布线要求。系统中 PEX8311 需要 3.3VI/O、2.5V Local 内核、1.5V PCI-E 内核以及 1.5V PLL4 种电源供电，所以考虑电 源层分割的困难，板卡采用两个电源层，同时需要做好电源的完整性分析，从而有效降低系 统的辐射干扰。对于 PCI-E edge，要求差分时钟对线宽大于 5mils，间距小于 11.25mils，与 其他差分对间距大于 20mils；对于收发数据的差分对，要求走线长度相差不能超过 5mils， 而且线宽要保持一致。为了有效抑制系统的电磁干扰，提高系统的电磁兼容性，系统中所有 芯片的电源引脚,尤其是金手指的 PCIE12V 和 PCIE3.3V 附近都需要放置去耦合电容。 3.4 高速系统信号完整性分析设计 信号的完整性是指信号通过电路传输后，接收端波形与信号发送端发送的波形在容许的 误差范围内保持一致，并且空间邻近的传输信号间的相互影响也在容许的范围之内。因此， 信号的完整性分析保证了电路板高速信号的可靠传输。由于实际信号总是存在电压波动，尤 其对于高速信号而言，信号的过冲、振铃、反射以及信号的延迟和串扰现象更为显著。在本 设计中，利用 PADS 公司的 HyperLynx 及芯片厂家的 IBIS 模型对板卡上的高速时钟及主要信 号进行完整性分析。通过实际的仿真分析，需要在信号线上串联终端负载阻抗以减小过高的 上冲和下冲，同时调整 LCALBUS 的时钟走线，避免时钟的延迟对数据造成错误采样。 4 系统软件设计 本系统软件设计包括驱动程序和接收应用程序两部分，其中驱动程序利用 NuMega 公司 提供的 Driverstudio 开发完成，充分利用 DriverWorks 大大简化了 WDM 驱动程序的开发， 缩短系统的开发周期，同时 DriverStudio 内置的 SoftICE 为内核驱动程序的调试提供了强有 力的工具。由于在本设计中采用 DMA 突发模式，所以驱动程序需要利用 KDmaAdapter， KCommonDmaBuffer 和 KDmaTransfer 类来分别创建 DMA 适配器，申请 DMA 公共缓冲区 和控制 DMA 传输[3]。 应用程序启动后，首先通过设备接口获取驱动程序的文件句柄，然后向设备发出复位命 令，并发起读操作。驱动程序在收到读命令后，将读 IRP 压入队列并启动 StartIO。然后设 置 PEX8311 的中断及 DMA 通道 0 的配置寄存器，并等待 FIFO 的半满中断。当中断产生后， 调用 ISR 中断服务例程判断中断源是否来自本设备，若是则立即转入 DpcForIsr()发起 DMA 传输。当 DMA 传输结束时，在 OnDmaReady 回调例程中调用 PnpNextIrp，结束此次 IRP， 并通知应用程序读取缓存区中的数据。 5 结束语 PCI Express 作为新一代总线形式登上了历史的舞台，它以独特的结构与性能优势吸引了 众多系统板卡设计师。为了顺应计算机主板结构的发展趋势，本文依托于 PCI-E 总线控制器 PEX8311 设计出一款实用的高速数据采集卡。目前，本系统已通过实际测试，数据源使用 了自行研制的卫星图像数据模拟信号源，格式符合 CCSDS 高级在轨系统数据标准。根 据对采集 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 的数据文件处理、显示表明，设计达到预期的指标要求，可实时正确接收 320Mbps 的高速数据流，符合卫星高速下行数据的接收要求。 本项目具有一定的社会效益，PCI Express 总线技术的开发，进一步推动了地面卫星接收、 处理技术的更新发展。由于本系统的设计技术具有很大的通用性和灵活性，所以使其可以广 泛应用于其他高速数据采集、信号处理等方面。 参考文献： [1] PEX8311 Data Book V0.95, March 2007 [2] 韩雪峰, 黄焱, 杨涛, 基于 PCI 总线的高速数据采集接口的设计与实现[J].微计算机信息, 2005, 8-1: 71-73. [3] 武安河, Windows 2000/XP WDM 设备驱动程序开发(第二版)[M], 北京:电子工业出版社, 2006 作者简介： 马萍(1983-)，女，山东，中国科学院研究生院硕士研究生, 研究方向为信号处理、数据通信； 李绪志，男，北京，研究员，博士生导师，研究方向为地面系统工程技术。 唐卫华，男，北京，高级工程师, 主要从事信号处理，空间电子学等研发； Biography: Ma Ping(1983-), female, Shandong,Graduate Student of Graduate University of Chinese Academy of Sciences, Research aspect:signal processing、data communication; Xuzhi Li, maile, Beijing, professor, doctor supervisor, Research aspect: engineering of ground system. Weihua Tang, male, Beijing, Senior Engineer, major in signal processing, space elecronics development; 本系统设计的创新点： 为了顺应计算机主板结构的发展趋势，本设计放弃了以往惯用的 PCI 总线，而尝试采用 新一代 I/O 互联技术 PCI Express 总线作为高速数据接收卡的进机总线形式。通过实际性能 测试，本系统符合卫星高速下行数据的接收要求，同时验证了 PCI-E 总线较 PCI 具有更高的 性能优势，为今后的计算机系统升级提供了更广阔的空间。 我单位图书馆——中国科学院国家科学图书馆已订阅本杂志。 文献标识码：A 中图分类号：TP336