智能电网网络报文压缩比平均达15比1的无损压缩算法

智能电网网络报文压缩比平均达15比1的无损压缩算法 NACU N-mode Adaptive Compression Unit N模式自适应压缩器 NACU具有以下优势: 1. 实现高压缩比的无损数据压缩，超过zip、rar等各种压缩格式 2. 具有远远超过通用CPU的压缩速度 3. 低功耗，特别适用于嵌入式场合 4. 接口灵活，可适用于各种嵌入式系统 NACU用于变电站网络报文无损压缩，压缩效率远远超过zip和rar 1. IEC-61850采样值报文压缩比为8:1到90:1之间，统计平均为15:1 2. GOOSE报文压缩比可达到200:1，统计平均为150:1 3. IEC-60044报文压缩比可达20:1，统计平均为10:1 4. 一个200MHz的双核心NACU系统用于报文压缩，处理能力平均60MB/s 数据能无损压缩到多大，取决于数据自身的信息熵。通常的压缩算法通过消除数据的重复或者去除数据之间的相关来压缩数据。要达到较好的压缩效果，就需要使用复杂的算法，这对计算能力要求很高。高的压缩比与计算能力通常是一对矛盾。要想获得高的压缩速度，则压缩比低，效果不理想，对系统性能的提升意义不大。而要获得高的压缩比，则往往使用复杂的算法，压缩速度将变得非常慢，不得不使用高性能的CPU，造成系统功耗上升。嵌入式系统中功耗常常受限，压缩性能好的算法，很难适用。 NACU是现代信息理论与先进工程技术结合的产物，实现了超过传统压缩算法的压缩比，具有较高的压缩速度，并且具有相当低的功耗。NACU具有以下特性: 1. 高压缩比。NACU使用了高阶预测模型和区间编码，对于工业现场采集的数据，压缩比 通常比zip，rar等高出2倍以上。 2. 高性能。NACU通过使用FPGA来优化算法，充分发挥FPGA的超强计算能力，提供了 远远超过普通CPU的性能。经测试，在1个3GHz酷睿2代CPU核心上用充分优化的 软件实现NACU算法，可达到5MB/s的数据处理能力。而在FPGA上，1个100MHz 的NACU核心，即可达到5MB/s的处理能力。当前的工程技术可在1片大型FPGA中 例化多达100个300MHz的NACU核心，数据处理能力可达到1500MB/s。 3. 低功耗。1个100MHz的NACU核心功耗约为0.01瓦。1个压缩速度为20MB/s的NACU 系统整体功耗约为2W。 4. 高度灵活，可根据项目需求配置1~100个运行于FPGA的NACU核心，可配置不同的 接口，包括但不限于以太网，SPI，PCI，PCIE等等。 NACU在电力系统中的应用举例 1. 测试仪表 某些测试仪表除了需要发送各种数据外，还需测量并被测设备反馈的大量数据，通常是各种交流电压、电流信号以及各种开关量信号。这些交流信号除了包含周期分量外，还 有各种各样的畸变和噪声。使用传统的无损压缩算法，这些数据很难被压缩。NACU不直接对数据编码，而是使用了高阶的自适应预测模型，根据最多256个历史数据来预测下一个数据，将预测的偏差再进行高效的自适应算术编码，以得到高的压缩比。NACU通常可以将AD采集的原始数据无损压缩5倍左右;如果原始数据噪声分量很小，则可以压缩20倍左右。高效的压缩可以显著的减少存储容量和通信带宽的需求，使得测试仪表具有更高的性能。 2(网络数据记录 某些场合，需要监视运行中装置的各种状态，如变电站中的网络报文。这些报文有的非常重要，不得不长期记录下来以备将来分析之用。网络流量大，对记录设备的存储能力提出了较高要求。通常这些报文包含了较多的冗余信息，理论上可以有效的压缩，但实际应用中却很难。有两方面原因制约着压缩技术的应用:一是传统的压缩算法效果不理想，通常只能压缩3倍;二是计算量大，普通嵌入式CPU难以胜任，使用高性能CPU则带来功耗问题。变电站中的网络报文，数据量最大而且最难压缩的报文是IEC-61850采样值报文。经过统计分析，采样值报文真正有效的信息只有1/3，其它2/3的信息是冗余的，因此通常的压缩软件只能压缩3倍左右。使用压缩比最高的winrar软件对这类报文进行压缩，也只能把这类报文整体压缩5倍左右。这1/3的数据，具有周期分量，且带有采样时的随机噪声和合并器计算时引入的量化噪声。传统的压缩算法难以处理这样的数据，而NACU对这些这1/3的数据可以压缩5倍左右。总体而言，NACU可以对IEC-61850采样值报文压缩15倍。 效益分析: 1. 大容量网络记录装置 如果变电站的记录装置流量为50MB/s，则每天需要记录约5.4TB的数据。如果要记录1个月的数据，则需要162TB的容量，相当于54个3TB的硬盘。如果使用NACU，按平均压缩15倍计算，保存这些数据，只需要10.8TB的存储容量，使用4个3TB的硬盘即可，节省了50个硬盘。不仅如此，数据经压缩后，对硬盘的写盘次数降低到了1/15，可大幅降低硬盘的故障率，减少维护次数。 2. 便携式记录装置 便携式记录装置，常使用内置电池供电。为降低功耗，常使用存储卡来存储数据。功耗和存储容量是一对矛盾。如果记录装置的流量为1MB/s，一个工作日(8小时)需要记录的数据为28.8GB;如果流量为12MB/s，一个工作日数据量为345.6GB。使用低功耗的NACU压缩15倍，只需要付出约0.3W的功耗即可将数据量降到23GB，使用一个32GB的SD卡即可满足实际需求。 说明: 1. 数据的压缩比只跟信息的熵有关，没有一种压缩比适用于所有的数据。 2. 压缩性能的对比是根据多种样本测试统计出的结果。NACU目前的测试样本近700MB， 压缩比在10~40之间，整体取平均值，压缩比为15。 3. NACU用于报文处理时，先进行变换去除了冗余，使得真正需要压缩的数据只有1/3左 右，数据处理速度可提升3倍多。 4. NACU压缩数据时，不需要知道数据的真实意义。 变电站几种典型报文压缩性能参考 类型 NACU Winrar 说明 压缩比 压缩比 IEC-60044-8(12模拟量) 11.6 2.5 格式，满配 IEC-60044-8(22模拟量) 8.2 2.1 扩展帧格式，满配 IEC-60044-8(9模拟量) 20.0 6.3 扩展帧格式，配有9个模拟量 IEC-61850-9-2(15模拟量) 8.3 3.9 15个模拟量，故障运行 IEC-61850-9-2(15模拟量) 16.4 6.3 15个模拟量，正常运行 IEC-61850-9-2(4模拟量) 90.0 12.9 继电保护测试仪发出的故障报文 IEC-61850-9-2(7模拟量) 26.4 11.2 继电保护测试仪发出的故障报文 IEC-61850-9-2(12模拟量) 46.7 6.1 继电保护测试仪发出的故障报文 IEC-GOOSE 200.3 9.9 GOOSE报文冗余信息多 MMS报文 3.7 5.6 IEEE-1588 3.5 3.7 大量数据统计结果表明: IEC-60044-8报文的压缩比为10 IEC-61850-9-2报文的压缩比为15 IEC-GOOSE报文的压缩比为150 MMS报文和IEEE-1588报文样本很少，即使不压缩，也没多大影响