网络感知

　　数据中心需要能够对硬件设备的状态、资源进行实时、有效的感知和监控，以便随时调整控制策略，实现系统优化。对于虚拟数据中心而言，则需要增加对于用户区分、应用区分的网络资源、网络设备的可视化状态管理，从而进行路由、流表等的优化配置。

　　现有的网络资源可视化监控技术多种多样，其效果也各不相同，然而如何将不同监控方式灵活加以运用和整合，以使得在自身开销较小并且不影响网络性能的前提下获得实时、准确、全面的监控信息，仍然是一个亟待解决的问题。下面列举已经成为标准和业界常用的监控技术，并分析其特点。

　　SNMP：Simple Network Management Protocol（SNMP），简单网络管理协议是IETF的一个标准协议，通过MIB（管理信息库）信息交互，可以进行实时的网络设备状态监控，如监控设备运行时间、接口信息、接口吞吐量等，并能够通过交互对于网络设备进行基本的配置和管理。

　　sFlow：sFlow是目前大多数交换机支持的一种基于包采样的监控技术。通过在交换机上进行1：N的报文采样，sFlow可以概率性的得到网络流量的分布和统计信息，同时可以将采样报文头部进行收集和分析。因此，sFlow的监控信息中可以提取网络中租户ID、应用类型等信息，对于单纯的流统计信息具有补充作用。然而，单纯的sFlow监控将不可避免的带来采样缺失和统计失真。

　　DPI：即通过网络端口镜像技术，将某个端口的流量全部复制成镜像流量，发往指定设备并进行全面分析。此监控方式能够完整的得到该端口的所有流量详细信息。然而这种技术开销也是极为明显，对于交换机处理能力和网络带宽均造成了极大的压力，同时产生的监控信息过多，需要专门的处理设备进行存储和分析。因此，改方案通常适合某重要网络的出入端口，而无法作为普遍的网络监控部署。

　　Openflow：OpenFlow协议中提出了基于流技术（Flow Counter）的统计信息，即网络设备对于流表中的每条流实时进行流量统计，并定时与控制器交互以更新流量信息。但是，这种监控的信息具有片面性，首先是只针对流表中存在的流才能进行统计；其次，其流匹配信息中并不能够识别用户信息和应用类型；最后，其定时交互的方式可能导致对于突发状况的延迟响应。

　　综上，单纯依靠某种监控技术无法获得全面的网络资源、状态监控信息，我们提出整合OpenFlow、sFlow和SNMP多种测量监控技术的SDN网络感知体系架构，通过整合sFlow采样报文和Openflow流表统计信息，能够完整得出不同租户、不同应用的网络流量在当前网络中的状态。同时结合SNMP中对应的网络设备信息，能够及时诊断网络故障和隐患的存在，并实时针对应用业务进行路由调整，避免热点链路和拥塞链路的出现，同时对于重要应用或重要用户的流量给予必要的保护。

　　由于统计信息库采集到的测量和监控数据量是相当庞大的，尤其是SDN重要的应用场景云计算数据中心，数据更是海量的。因此需要合适的数据存储方法，以便于数据的写入和读取。监控数据有其独有的特性，主要包括：大数据量、高可扩展性、高并发访问和弱事务性。由于监控对象的庞大规模，使得需要多线程并发写入监控数据，因此对数据存储的写入有高并发的需求；同时由于监控数据最终需要分析呈现给不同的用户或应用，随着云计算数据中心租户数量的增加，监控需求的增加，对监控数据读取的并发的需求也大大提高。但是不像事务关键型应用，对事务的要求很高，监控数据是没有状态的数据，而且偶尔的数据丢失对监控系统来说基本上没有影响。

　　针对这些特性或需求，传统的关系型数据库如MySQL在海量数据面前表现不佳，因此我们提出采用非关系型数据库MongoDB来存储监控数据。MongoDB是一种基于开源分布式非关系数据库，面向文档，无模式结构，数据在内存中通过后台线程写入磁盘，可以进行实时插入，支持MapReduce，已经广泛应用于互联网行业。我们前期搭建的MongoDB分析集群可以处理每秒10000条监控记录的写入和分析，每天的记录可以高达400GB。我们自主开发了基于sFlow和MongoDB的全数据中心监控软件，可以实现对物理交换机、虚拟交换机、物理服务器和虚拟机的整体监控，对不同租户、不同应用的信息分发，通过REST API提供给上层应用使用。模拟实验表明这套方案可以满足240000个监控点每20秒一次的数据采集和分析任务。目前该软件已经用于学校网络信息中心的云计算平台监控。