网络设备、信息系统在运行过程中，往往会在本地存储上写入大量日志。这些日志中蕴含着反映系统运行状态的信息，有些信息可能关系到系统安全与稳定，乃至用户数据的隐私与保密，非常重要。

　　对于一定规模以上的数据中心，有太多设备系统的日志需要长期保存，也会有多个用户以不同方式利用这些日志数据。为了适应这种多日志源、多用户、用途的应用场景，有必要建立一种集中式的日志存储、管理、分析系统，相对于分散的日志系统，它有几个优势：第一，可以避免本地磁盘损坏造成的日志丢失。第二，可以延长日志滚动保存周期。第三，可以保障数据的安全可靠。第四，可以以可控的方式为不同用户提供数据服务。第五，可以提供统一的日志分析工具。

　　大规模日志源可能要求日志系统具有良好的分布式部署和计算的特点。多用户的场景则要求系统能有一定的用户权限管理功能，以及为不同操作系统平台的用户提供方便的读写服务。多用途的利用方式则要求系统对每一层次的数据，从原始的日志数据，到解析过的中间数据，到统计分析过的数据，乃至最后的报警数据，都具有一定的规范，都可通过固定的输出，如标准输出、管道、或网络服务，而开放出去。

　　本文接下来将分析日志的一般特点，以及大规模、多用户和多用途的场景对集中式日志系统的设计所提出的要求，提出集中式日志系统的一种层级框架设计，并详细说明各部分的技术要点。

　　集中式日志系统的层级框架

　　基于上述对日志的一般特点，以及大规模、多用户、多用途的场景的特点的分析，我们将设计一种集中式日志系统，为各类分散的网络设备、信息系统提供日志存储、查询、分析、统计以及告警的系统，它相当于数据中心的日志仓库。按照对数据处理加工的深入程度，集中式日志系统的架构可分为四个层次，如图1 所示。最底层可称作原始数据层，对日志的原始数据进行分类、压缩、存储、备份，对第三方系统开放只读接口，例如通过本地文件系统，或者 NFS 、SAMBA 等网络协议。第二层可称作解析层，对日志的原始数据根据日志的格式规范作语法以及初级语义解析，对单词作索引，视情况将解析结果插入数据库。第三层可称作计算层，是在解析的基础上，作统计计算，以得到所关心的信息，如系统安全、用户行为等。第四层可称作事件层，根据计算结果，判断是否发生某类事件，例如故障预兆或非法入侵。整个系统可提供网络接口与用户界面，以贯穿四个层次，提供各层的输入输出、查询及管理功能。以下详述各层。

图1 框架层级

　　原始数据层

　　原始数据层如图2 所示。含一台主机（ 或多台组成冗余与负载均衡结构），上面运行日志记录守护程序（syslogdaemon），开放网络监听端口以接受远端日志。其他设备系统将日志通过 syslog 协议（或者藉由插件先转换为系统日志格式）发送到日志主机。日志主机根据日志来源主机、日志级别、产生时间等进行分类归档。日志主机的磁盘采用 RAID 阵列，同时定时将日志数据以增量的方式备份到特别的备份主机。日志主机将日志目录通过 NFS 或者 SAMBA 等网络文件系统的方式，对外提供日志读取服务。以此方式，集中式日志系统可以在原始数据层，构成基本而完整的日志存储、归档、备份、查询的系统。由于日志数据的高度敏感性，必须利用操作系统以及网络文件系统的的目录用户权限对数据的访问进行严格控制。

图2 原始数据层