NetStream技术白皮书
关键词：XLog，Sampler
摘 要：NetStream是一种网络设备向管理系统输出流量信息的技术，在最大限度的减小对性能影响的前提下提供详细的数据流统计信息，被广泛用于网络监控、网络规划、网络安全等多个领域。
缩略语清单：
缩略语 | 英文全名 | 中文解释 |
NDE | Network Data Exporter | 网络流数据输出设备 |
NDC | Network Data Collector | 网络流数据收集设备 |
FIB | Forwarding Information Base | 转发信息表 |
AS | Autonomous System | 自治系统 |
NP | Network Processor | 网络处理器 |
目 录
Internet的高速发展为用户提供了更高的带宽，且网络支持的业务和应用日渐增多，为了对网络进行更细致的管理和计费，用户对流量统计分析提出了更高的要求。H3C公司的NetStream技术是一种基于网络流信息的统计技术，它可以对网络中的业务流量情况进行统计和分析，提供详细的通信流量信息。NetStream输出的数据有许多用途，包括网络管理和规划、企业记账和分部门的计费、ISP编制帐单、数据储备以及其他用于商业目的的数据采集等。
NetStream支持IP报文和MPLS报文的统计，以网络流的形式进行分类和统计，并将统计结果以UDP报文的方式发送到网络上的数据采集器，供进一步的统计和分析。
网络设备上一般只提供了一些简单的端口的统计功能，对于网络管理人员来说整个网络设备就是一个黑盒子，无法准确了解网络上真实的流量情况。NetStream技术定义了一种路由器向管理系统输出流量数据的方法，通过采集和分析流量数据，并将流量数据与管理控制台中的其他网络和应用性能指标建立关系，对网络的运行状态进行分析和管理。NetStream技术的网络流量数据报文中包含许多有价值的流量统计数据，这些流信息充分揭示了有关网络使用的“4W”问题：
l Who：谁（IP）使用了网络？
l What：网络流量的类型是什么？
l When：在什么时间使用网络，使用了多长时间？
l Where：网络流量流向何处？
SR8800 NetStream技术提供报文统计功能，它可以根据IPv4报文的目的IP地址、源IP地址、目的端口号、源端口号、IP协议类型、ToS（Type of Service，服务类型）、入接口和出接口来区分流，并针对不同的流进行独立的数据统计。
图1 NetStream数据采集和分析过程示意图
如图1 所示，NetStream进行数据采集和分析的过程如下：
1） 配置了NetStream功能的设备把采集到的关于流的详细信息定期发送给NSC（NetStream Collector，网络流数据收集器）；
2） 信息由NSC初步处理后发送给NDA（NetStream Data Analyzer，网络流数据分析器）；
3） NDA对数据进行分析，以用于计费、网络规划等应用。NDA可以通过XLog软件对输出的数据进行分析。
NetStream的流定义为在一段时间内由源到目的之间的若干数据报文，NetStream业务支持IP报文（UDP、TCP、ICMP报文）和MPLS报文的统计。统计信息包括数据流的包数、字节数、首包到达时间和末包到达时间等。
l 对于IPv4或IPv6报文，提取报文头中以下七元组{目的IP地址、源IP地址、目的端口号、源端口号、IP协议类型、服务类型（ToS）、入接口索引}定义一条流，对流进行统计，相同的七元组标识为同一条流。
l 对于MPLS报文，按配置指定的标签栈的位置取标签（最多可在6层标签栈中取3个标签）作为流的关键字定义一条流， 如果MPLS内层负载为IPv4的报文，还可取内层的{目的IP地址、源IP地址、目的端口号、源端口号、IP协议类型、服务类型（ToS）、入接口索引}作为关键字定义一条流。
NetStream支持聚合统计功能。老化的流在输出前先按照一定的规则进行分类，生成聚合的信息后再发送出去。
IPv4支持12种聚合方式，IPv6支持6中聚合方式。
表1 IPv4聚合方式
聚合方式 | 分类依据 |
自治系统聚合 | 源AS号、目的AS号、输入接口索引、输出接口索引 |
协议-端口聚合 | 协议号、源端口、目的端口 |
源前缀聚合 | 源AS号、源掩码长度、源前缀、输入接口索引 |
目的前缀聚合 | 目的AS号、目的掩码长度、目的前缀、输出接口索引 |
源和目的前缀聚合 | 源AS号、目的AS号、源掩码长度、目的掩码长度、源前缀、目的前缀、输入接口索引、输出接口索引 |
前缀端口聚合 | 源前缀、目的前缀、源掩码长度、目的掩码长度、ToS、协议号、源端口、目的端口、输入接口索引、输出接口索引 |
服务类型-自治系统聚合 | ToS、源AS号、目的AS号、输入接口索引、输出接口索引 |
服务类型-源前缀聚合 | ToS、源AS号、源前缀、源掩码长度、输入接口索引 |
服务类型-目的前缀聚合 | ToS、目的AS号、目的掩码长度、目的前缀、输出接口索引 |
服务类型-前缀聚合 | ToS、源AS号、源前缀、源掩码长度、目的AS号、目的掩码长度、目的前缀、输入接口索引和输出接口索引 |
服务类型-协议-端口聚合 | ToS、协议类型、源端口、目的端口、输入接口索引、输出接口索引 |
服务类型-BGP下一跳聚合 | ToS、BGP下一跳地址、输出接口索引 |
表2 IPv6聚合方式
聚合方式 | 分类依据 |
自治系统聚合 | 源AS号、目的AS号、输入接口索引、输出接口索引 |
协议-端口聚合 | 协议号、源端口、目的端口 |
源前缀聚合 | 源AS号、源掩码长度、源前缀、输入接口索引 |
目的前缀聚合 | 目的AS号、目的掩码长度、目的前缀、输出接口索引 |
源和目的前缀聚合 | 源AS号、目的AS号、源掩码长度、目的掩码长度、源前缀、目的前缀、输入接口索引、输出接口索引 |
BGP下一跳聚合 | BGP下一跳地址、输出接口索引 |
NetStream统计支持对统计流进行采样。采样功能能够大大增强NetStream的监控功能，弥补单块IM-NAM板带宽不足的缺陷，可以轻易实现监控整个系统。支持固定采样和随机采样两种抽样方式。
l 固定采样模式：在给定的区间内，固定的选择第一个报文，镜像到IM-NAM单板上进行流量统计；
l 随机采样模式：在给定的报文区间内，随机的选择一个报文，镜像到IM-NAM单板上进行流量统计。
RFC 3917 Requirements for IP Flow Information Export (IPFIX)
RFC 3954 Cisco Systems NetFlow Services Export Version 9
l 活跃老化
一条流的第一个网络报文到达时间与当前时间的差值超过设置的Active time时，将该流的统计信息输出并刷新该流的统计，即活跃老化。Active time用户可以手工配置，也可以使用默认值。
l 不活跃老化
一条流的最后一个网络报文到达时间与当前时间的差值超过设置的Inactive time时删除流。Inactive time用户可以手工配置，也可以使用默认值。
l TCP Fin/Rst老化
对于TCP连接，当接收到标志为FIN或RST的TCP报文，表示一次会话结束，因此删除已经建立的流表，并将统计信息输出。
l 统计流字节溢出老化
如果流统计的字节数超出阈值4G，就会将该流的统计信息输出。
l 命令行强制老化
用户执行命令可以将所有的流老化。
统计信息以UDP数据报文形式发往XLog，NetStream支持输出V5、V8和V9格式的统计信息报文，NetStream支持的输出信息版本的差异如下表所示：
表3 统计信息
版本 | 格式说明 | 优点比较 | 缺点比较 |
V5 | 报文格式固定，不易扩展；根据七元组产生的原始数据流 | 输出的字段比较丰富，可以把聚合前的流记录的所有字段都输出给NDC；内容丰富；设备负荷较小 支持普通的IPv4数据流统计 | 格式固定且不可扩展；数据量大 |
V8 | 报文格式固定，不易扩展 | 数据量相对较小；承载内容略为简单，适合特定分析；可以输出多种方式的数据 支持聚合输出格式 | 格式固定且不可扩展 |
V9 | 报文格式基于模板，易扩展 | 最灵活的输出格式，可以用来灵活输出各种组合格式的数据 V9输出的流的统计信息覆盖了V5和V8，而且V9支持对BGP下一跳、MPLS、IPv6、VPN统计输出 | 扩展性好 |
l 高可靠性
SR8800提供专用的业务处理板（IM-NAM）实现网络流量分析功能，支持单板相互备份，如果其中的一块单板拔出，流量可镜像到备份的单板上进行统计；
对于大流量的接口，可通过流分类策略将流量分担到多块单板上，减轻单板的处理压力；
统计信息可输出到最多4个Xlog服务器，避免统计报文丢失。
l 高性能
SR8800使用高性能的网络处理器芯片实现流量统计功能，大大提高了报文统计的吞吐量。
l 多业务支持
支持多种接口类型，包括Ethernet，POS，WAN等物理接口；VLAN虚接口，路由子接口，聚合接口等逻辑接口。
支持多种报文类型，包括IP、MPLS、GRE等报文类型。
l 实时感知路由变化
SR8800 NetStream技术能实时的感知路由的变化，如下一跳变化、ARP变化、BGP NextHop变化等，在流量的统计过程中，如果发现这些信息与原来统计的不一致，则触发流表项老化，使后续的流量按新的路由重新统计。
l 支持硬件聚合
SR8800 NetStream支持按配置的聚合类型在NP芯片中进行聚合处理，很大程度上节约了软件处理所需的CPU资源及内存资源，大大提升了统计性能，并降低统计数据量。
图2 配置IPv4 NetStream统计输出组网图
如上图所示，SR8800作为Internet出口路由器，可以监测SR8800公网侧接口的流量信息。
《H3C SR8800 NetStream配置手册》
《H3C SR8800 NetStream命令手册》
Copyright © 2008 杭州华三通信技术有限公司 版权所有，保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
本文档中的信息可能变动，恕不另行通知。
