1. 新线路开通
　　为了解决青岛节点流量拥堵情况，在2012年6月7日，开通一条北京至青岛2.5G线路。按照一般的连接习惯，新开线路与北京至济南的线路都接在北京1设备上，同时设置线路的OSPF，使得北京和青岛之间的线路都为负载均衡，参见图2左图中线路旁边标注的数字。

　　从图3可以看出，新开通的北京至青岛2.5G线路达到了400M，同时济南至青岛的流量降低了400M。

图3 青岛节点流量变化情况

　　但是这个流量分担得比我们期望的要少很多。由于OSPF在选路过程中是负载均衡的，从北京方面看，去青岛方向有4条（3条经过济南到青岛，1条北京直接到青岛），所以新开通的北京至青岛2.5G只分担了1/4北京到青岛流量，而济南至青岛2.5G却分担了3/4的北京到青岛流量。照此推算，当青岛流量需求达到3.2G的时候，济南至青岛线路流量将达到2.4G。

　　2. 第一次优化

　　鉴于以上情况，我们需要摒弃传统的接入方法，探索新的接入方式。首先，我们发现北京节点有两个主干设备：北京1为主用，连接了大部分节点；北京2连接了少部分节点，如清华和石家庄等节点。

　　我们尝试将北京至青岛2.5G的北京端从北京1切换到北京2的路由器上，并设置OSPF成本，参见图2右图。这样北京互联、清华、石家庄等节点到青岛的流量就会从北京至青岛2.5G走。图3的流量显示，这次调整使得北京至青岛线路的流量增加了接近200M。不过此时正值青岛节点一个接入用户扩容，济南至青岛线路流量不仅没有降低，还增加了一些。

　　3. 第二次优化

　　第一次优化效果不明显的根本原因在于北京至济南3条2.5G和北京至青岛2.5G线路的流量分配问题。于是我们从两方面考虑，第一种方案是将北京至济南3条2.5G做一个Bundle-POS，捆绑成一条线路；另一种方案是将北京至青岛2.5G通过子接口变为3个接口。可是经过试验，济南的2.5G POS板卡不支持接口绑定，而北京1设备的POS接口也不支持划分子接口。这些客观的实际情况增加了我们流量优化工作的难度。

　　虽然第一优化效果不明显，但是却给后面的优化打下了基础。因为我们可以充分利用北京2设备，等到6月23日北京至武汉2.5G×2线路开通时，将其也接在北京2设备上，使得武汉到达青岛的流量跑在北京至青岛线路上。从图3可见，第二次优化使得济南至青岛流量明显降低，降到1G，同时北京至青岛的流量增加到1.2G。

　　经过以上调整，青岛上联两个方向线路的流量得到合理分配，改善了青岛地区用户的访问质量，提高了青岛节点的接入能力。

　　北京至武汉2.5G线路的使用

　　北京至武汉的主干线路是10G×2线路，随着用户访问需求的增加，这两条线路的带宽利用率连续几个月超过90%。但是我们短期没有10G传输线路的资源，只有两条2.5G线路的资源可供开通。如何利用好这两条2.5G线路是一个难点。这2条2.5G线路与已有的10G线路在OSPF协议内不能做负载均衡，因为OSPF不支持非等价负载均衡。我们考虑过在OSPF协议之上启用一个新的路由协议来控制流量，但这样增加了全网协议的复杂度，先将该方案作为候选。

　　1. 结合青岛新开线路优化流量

　　北京至武汉10G线路接在北京1路由器上，我们考虑把这两条2.5G线路接到北京2 路由器上，这样可以分担一部分北京互联的流量（包括北京互联部分去武汉和南京的流量），参见图4所示。

　　我们需要设置线路的OSPF成本来控制流量。首先我们将这两条2.5G的OSPF成本值设为7，这样可以全部承担北京互联去往武汉、广州、南京、上海的全部流量，测试发现两条2.5G承载不了这些流量。然后我们将北京至武汉2.5G的OSPF成本值改为8，这样可以分担北京互联去往武汉、南京和上海的1/3流量。测试发现这些流量将近2个G。进而，我们设想把北京1上的节点线路迁移一些到北京2上，这样既可以降低北京1设备的CPU负载，同时也将北京至武汉的部分流量转移到2.5G线路上。青岛节点就是直接受益者，如前所述。

　　测试发现，挪动前济南至青岛2.5G 的进出方向流量分别是450M和2G，而挪动之后的进出方向流量是300M和1.2G；北京至青岛2.5G的进出方向流量分别是450M和500M，而挪动之后的进出方向流量是600M和1.3G。北京至武汉2.5G×2的出流量也从2G涨到2.4G左右，北京至武汉10G×2线路流量也得到了缓解。由原来的18.4G降到15.4G左右。见表1所示。

　　2. 优化北京至广州流量

　　为了进一步利用北京至武汉2.5G×2线路资源，缓解北京至广州10G×2的流量压力，我们将北京至广州10G×2的OSPF成本值由17改为18，这样北京至广州的流量就可以和北京-武汉-广州负载均衡，而且北京互联到广州的1/3流量也可以分到北京至武汉2.5G×2上。这样修改后，北京至武汉2.5G×2线路的进、出方向流量由涨到进一步增加。相关线路流量变化参见表2。

　　3. 优化杭州节点流量

　　改动了北京至广州线路的OSPF成本后，也影响到了杭州节点。杭州到北京的流量原本是“杭州-上海-南京（武汉）-北京”和“杭州-广州-北京”两个路径上负载均衡。为了恢复平衡，我们将广州（gz2）至杭州（hzh1）的OSPF成本值改为39。

　　而杭州至武汉的流量原来为杭州-上海-南京-武汉，现在变为杭州-广州-武汉。这样的变化既减轻了上海至南京10G×2线路压力，也增加了武汉至广州10G和广州至杭州2.5G线路的利用率。增加线路并经过调整之后，各个线路流量对比情况如图5所示。

图5 杭州流量优化前后流量变化情况

　　经过调整，我们充分利用新开的北京至武汉2.5G×2线路和北京至青岛2.5G线路，降低了北京至武汉10G×2、北京至广州10G×2、北京至南京2.5G×5线路的带宽利用率，同时提高了武汉至广州10G线路的带宽利用率。青岛和杭州的双方向上联流量都得到了均衡。

　　这个方法还便于扩展，如果北京至武汉10G×2线路的流量还比较拥堵的话，我们可以再将北京1上的一些节点线路挪到北京2上，来缓解北京1线路的压力。
　　                  （作者单位为CERNET国家网络中心）