IT运维自动化越来越普遍地在企业和高校中被采纳，安全运维也应该成为其中一个重要的组成部分，它的自动化程度对于提高信息安全保障能力具有重要的意义。

　　对于软件补丁管理、安全策略配置，自动化运维技术已经发挥了积极的作用。新一代的防火墙等设备强调智能的理念，也在一定程度上做到了基于行为的检测和设备的联动。尽管如此，安全运维所涉及的面非常广，我们必须对整个网络中的设备、应用和服务有个全面的监控和分析，才能发现愈发复杂的攻击和渗透。面向未来的安全防御能力应该是数据驱动的，要让安全数据分析更加智能和自动化，我们还需要做很多努力。

　　采集安全“大数据”

　　对于“大数据”有很多不同的定义，目前普遍被接纳的说法是具有高容量（Volumn）、产生速度（Velocity）和多样性（Variety），需要特殊的技术和分析方法才能转化为有价值的信息资产。安全向来与数据相关，只是现在随着相关技术的成熟，我们有了更好的手段来进行安全数据的分析。

　　解决安全“大数据”问题，首先需要进行数据的采集。传统的安全数据分析，通常仅会处理防火墙、入侵检测设备和反病毒软件的告警，认证系统、VPN和服务器系统日志以及漏洞扫描报告。这些数据仅能反映已经被安全设备记录的入侵行为，或执行基本的用户登录和操作审计。当前多数厂商在售的日志审计系统，也仅具备单机的处理能力，无力应对大数据条件下的日志分析。

　　攻击者的手段越来越丰富，很多复杂的攻击超出了现有安全设备的检测能力，甚至利用了未曾公开的漏洞。我们需要将网络中发生的所有行为都记录下来，才能不漏过最狡猾的攻击者。在安全大数据分析中，最常用的数据源包括：1.对外服务的访问记录，如Web日志，通常在最前端的负载均衡采集；2.数据库查询日志，身份认证系统日志；3.所有的服务器操作系统、软件和应用日志；4.DHCP、Wi-Fi、VPN、NAT记录；5.所有内网机器的网络行为，如HTTP、DNS日志（请求和解析结果）；6.网络流（NetFlow），包括网络出口以及内网之间的通信；7.Email通讯记录及可疑的内容和附件；8.有条件的还会采集桌面操作系统、移动设备的信息；对于大型的企业、高校，采集Web日志、网络流等，每天产生的数据就可达TB级，因而不得不借助大数据工具进行存储和分析，最常用的方案就是开源的Hadoop平台。

　　解决日志向Hadoop平台输送的问题，可使用Apache Flume。它能够直接和多种数据源对接，如本地文件、Syslog、类NetCat的TCP流、命令输出等，并且支持包括HDFS、Kafka在内的多种输出（Sink）。在Flume中可以自定义数据流向，并实时对数据进行过滤和修改（Interceptor）。

　　除了利用Flume进行实时数据采集外，也可将批量的日志文件导入HDFS，或者用Sqoop工具将已经在传统SQL数据库中的数据迁移到Hadoop平台。