光纤反射内存网关键技术

1）高实时性低开销网络通讯协议的设计与实现

一、光纤网简介 

在半实物仿真系统等实时系统中，要求系统各部分之间的数据传输具有很高的实时性，而传统的网络技术，如以太网、FDDI等在实时应用中存在以下缺点：（1）数据传输速率不高；（2）数据传输实时性差，传输延迟较大且延迟具有不可预测性；（3）网络通信需要借助多种网络协议来完成，通讯效率较低。
 

实时光纤反射内存网（Reflective memory network简称实时光纤网）是一种基于高速光纤网络共享存储技术的实时网络。
与传统的联网技术相比，它除了具有严格的传输确定性和可预测性外，还具有数据传输速度高、通信协议简单、宿主机负载轻、软硬件平台适应性强等特点。
 

实时光纤反射内存网（简称实时光纤网）由插在计算机内的光纤接口板通过光纤线连接在一起，形成一个环网（如图1），每个节点的光纤接口板的板载存储器都有其他节点的共享数据拷贝，在逻辑上全网的所有节点共享同一块存储器，数据一点写入，多点同时更新，通过这种方式实现了数据的高速传输与共享。
 

二、实时网络需求 

为提升计算能力，人们自然地想到研发性能更强的计算机，如天河系列等超级计算机应运而生，但超级计算机研制周期长、成本大、应用领域受限。
为此，提出了集群系统概念，计算机集群系统是通过网络将PC机或工作站连接起来组成高性能计算系统。
集群系统将一个任务并行在多台计算机上执行，组成一个实时系统。
 

在实时系统中，系统最终结果的正确性不仅依赖于每一步计算得到的逻辑结果，而且依赖于得到结果的时刻，任务的完成时间是实时系统的决定性特征。
根据实时性能的要求程度，实时系统可认为两类，即软实时和硬实时系统。
对于软实时系统，要求事件相应是实时的，但并不是严格强制的。
但是，对于硬实时系统来讲，每个任务都有一个处理截止事件，任务必须在规定的时间内完成，否则会影响全局任务的完成，给系统带来不希望的破坏或者造成不可恢复的灾难性后果。
目前许多实时系统都采用硬实时系统，因为具有更强的实时性能。
实时系统的应用需要实时互联，构建实时网络，完成数据在网络节点间的实时传输。
 

实时网络必须具备高速、可靠、可预测三个特点，最重要的是通信的可预测性，可预测性是指实时网络中各个节点之间数据传输的时间是确定的。
随着实时网络应用领域的不断扩展，目前已不仅仅局限于计算机集群系统的互联，而是广泛地应用在各种具有实时需求的互联系统中，如半实物仿真、高速数据获取等。
 

实时网络发展过程中，出现过两种设计思路：基于单一总线的多CPU共享全局内存和基于网络的分布式内存： 

相比基于单一总线的多CPU共享全局内存系统，在基于网络的分布式内存体系中每个节点只访问自己的本地内存，不存在内存占有冲突，由于这种方式能够避免大量的总线仲裁控制时间而成为实时网络的主要设计方式。
 

实时网络要保证高速、可靠、可预测这三大指标，但千兆以太网、光纤通道（Fiber Channel，FC）协议等，在可预测性上很差，首先是因为通过设备驱动和软件网络协议的工作模式增加了额外的不确定开销，其次是同样存在共享冲突和碰撞的问题（如千兆以太网GBE中采用CSMA/CD载波监听多路访问/冲突检测机制、FC协议采用令牌环仲裁等）进一步增加了传输时间的不确定性。
光纤反射内存网很好的解决了上述问题。
 

反射内存网是基于网络的分布式内存硬实时网络的一种设计思想，特点：1）反射内存网硬件实现分布式RAM之间数据的传输、共享，整个过程具有很低的实现延迟；2）反射内存网依靠硬件实现、不需要复杂的网络协议控制，能够在相同的传输带宽下达到更高的有效速率；3）反射内存网对数据的各种处理是通过硬件电路实现，在固定的时钟频率下周期工作，没有不确定的时间开销，确保数据处理的可预测性。
 

三、光纤反射内存网与以太网比较 

1）实时性 

反射内存（RFM）是基于环状/星状的，高速复制的共享内存网络。
它支持不同总线结构的多计算机系统，并且可以使用不同操作系统来共享高速的、稳定速率的实时数据 

基于反射内存构建的实时网络是一种强实时高带宽局域网技术，在互连的计算机间提供高效的数据传输。
反射内存网在所有互连的节点中虚拟出一段全局共享的网络内存，在分布系统中实现内存至内存的通信，因此应用程序没有软件开销。
每台结点机上插一块反射内存卡，卡上带有双端口内存。
每个节点机的各层应用软件可以直接读写反射内存卡上内存。
当数据 

目前主流公开的网络协议，如以太网所使用的TCP/IP协议虽然功能完备、运行稳定，但其传输机制和服务方式都比较复杂冗余，实时性较差，不适合于多实时性有较高要求的领域。

光纤反射内存网通讯协议要在保证高实时性和稳定性前提下，降低协议的复杂度。
在保证网络基本服务和传输稳定性的前提下，尽量提高系统的传输性能、实时性及相应速度。
同时要有完整的错误处理机制，在错误发生的情况下保证错误不蔓延，有良好的自愈能力。

2）边收边转的数据转发模式实现低延时数据转发

在协议控制器设计上采用RFMMA(ReflectiveMemory Multiple Access)基于反射内存的多模式存取技术，支持数据、IO、命令、中断等多种数据传输模式。

在协议实现上，即协议控制器的设计上，要采取低延时的数据转发策略，将转发延迟控制在1us以内，这个对协议控制器实现提出了很高的挑战。
主要采用此一下方法：1）采用边收边转发的数据传输模式，不采用存储转发模式，减小数据在单个节点上的转发延迟，提高系统实时性。
2）在协议设计时，优化设计，压缩信息头的长度，并将重要信息都放在信息头前面，以方便转发时进行快速判断。
3）设计了完备的数据帧回收机制，通过节点ID、传输计数器等方式保证了废数据帧的可靠回收。
同时，采用CRC校验码校验数据的正确性。

一般的网络接口设备在转发数据是都采用存储转发的方式，转发延迟过大，导致整个系统的延时加大，实时性降低。
采用即时收/转（边收边转发）模式，在接收数据的同时完成处理和转发，代替常用的存储转发模式，只需4个时钟周期便可完成判断&转发，典型数据帧是（长度256Byte）转发延迟比存储转发缩短了30倍以上。
实测延时小于0.6us。

3）光纤HUB的换网动态重构及数据监测技术

利用高速开关阵列及FPGA集成的高速收发器，构建一个开关阵列，通过开关阵列的切换，形成内外双环的数据传输通路，是光纤网络数据在逻辑上形成一个环形传输方式，并通过FPGA收发器实时采集数据实现网络状态的监控及故障节点的自诊断自隔离。

4）高速电路设计及仿真验证技术

光纤反射内存网络波特率2.5Gbps，电信号的这个数据通讯速率下传输，属于高速电路设计。
为保证数据可靠传输、保证系统的电磁兼容性、信号完整性，对电路板PCB设计提出了较高的要求。
为保证设计质量，采用了Cadence公司的SigXplorer软件进行电路仿真，对仿真结果进行多轮迭代来改进设计。