OSSIM平台网络日志关联分析实战

本文主要对ossim实现日志关联技术进行深入分析。

一、网络安全管理中面临的挑战

目前很多组织都已经拥有了防火墙、入侵检测、防病毒系统、网管软件，但是网络管理者在安全追根溯源及安全管理面临如下挑战：

1 .安全设备和网络应用产生的安全事件数量巨大，误报严重。一台ids系统一天产生的安全事件数量近成千上万。通常99%的安全事件都是误报。真正有威胁的安全事件淹没于海量信息中难于识别。

2. 安全事件之间存在的横向和纵向方面(如不同空间来源、时间序列等)的关系未能得到综合分析，因此漏报严重，不能实现实时预测。一个攻击活动之后常常接着另一个攻击活动，前一个攻击活动为后者提供基本条件;一个攻击活动在多个安全设备上产生了安全事件;多个不同来源的安全事件其实是一次协作攻击，这些都缺乏有效的综合分析。

3.安全管理者缺乏对整个网络安全态势的全局实时感知能力，安全设备各自为政，设备所产生庞大的日志冗余，独立而分散，真假难辩，显然无法直接作为安全事件响应的依据。

下面举例一个拥有500台电脑的中型企业，网络安全产品每天产生的事件数量，如表1所示。

表1 典型企业日志产量分析

我们通过现有的日志采集技术收集这些日志难度并不大，然而安全人员很难在短时间内识别出海量安全事件之间内部端倪，分析日志相关性更是无从下手。此时我们需要一种技术能够帮助我们实现从海量日志数据处理分析后能自动得到网络异常报警，这样才能提高安全团队发现网络威胁的效率。

二、网络关联分析技术

面对上述问题，可以关联分析平台来解决问题，这种平台可以为我们集中展示网络安全各方面的概况，同时还提供有实时监视和事件关联、风险分析、报告、通知功能，可在企业范围内全面管理、审计安全事务，大大提高了网络安全风险识别能力。关联分析平台依托关联分析核心技术集中在：日志收集、日志格式化(也叫做归一化)、日志关联分析3个方面。

1.日志收集：一个sim产品是否有优势，就要看日志收集，能否支持更多的类型，能否容易扩展，自动识别支持未知设备日志。例如需要支持的协议有syslog、snmp trap、windows log、database、file、xml、soap等。

2.日志格式化：日志收集之后，需要格式化统一标准，这些统一格式会在原有日志基础上附加风险值、可靠性、优先级等标签，为后面的关联分析做准备，如果格式化不够标准，关联分析无法实现。以下是归一化格式：

下面以ssh原始日志和标准化日志的前后对比：

可以看出ssh暴力破解事件比原始日志多了许多元素，但这些增加项可以为今后日志关联分析做好了准备。

三、日志关联分析

在日志格式化基础之上通过一定算法(上下文关联、攻击场景关联等)从多个数据源获取事件进行关联分析，实现不同日志的风险值，并结合资产的漏洞信息以及进出流量综合计算出网络资产受威胁程度，最后发出报警，以便提醒管理员。这就大大降低了管理员分析海量日志的难度。

为了达到安全事件关联分析的目的，就要有好的事件处理机制，比如前面讲的日志收集的归一化处理，还得有好的关联方法，而且不止一种关联方法，将多种实时关联方法结合到一起效果更佳。大量标准化处理的事件被送入关联引擎处理后，它们会经历事件分类处理、聚合、交叉关联、启发式关联等多种关联方法，系统会根据数据库中的安全事件进行统计分类。

下面我们再看个关联分析场景：

(1)比如在vpn服务器日志显示张三3:00点钟，从外网登录到内部网，3:05分登录ftp服务器，并在ftp服务器上下载了某一文件。在门禁系统的日志显示张三在不久前刚刚进入办公区域，这三个日志可以关联出一个安全事件。

(2)某公司核心数据库前端部署了防火墙系统，某日安全系统监测发现张三登录了mysql数据库服务器，但是在防火墙日志中并没有发现张三的访问日志，则说明张三很有可能绕过防火墙直接去登录数据库服务器。

3).网络中openvas扫到某linux主机存在apache 2.2.x scoreboard(本地安全限制绕过)漏洞，与此同时，nids检测到了一个对该主机漏洞的尝试攻击事件，如果此时该linux服务器打上了相应补丁，则关联分析结果就是低风险值，不会报警，如果没有打补丁此时审计系统就会报警。

对于每套系统管理都有它的安全防护措施，只不过都是安全孤岛而已，但是万事万物之间必然有它的联系，将这些日志联系到一起分析，就是我们上面介绍的关联分析技术。

四.ossim关联引擎

1.关联引擎概述

ossim平台下实现关联分析技术核心是关联引擎，在ossim传感器将大量标准化处理的事件被送入关联引擎处理后，它们会经历事件分类处理、聚合、交叉关联、启发式关联等多种关联方法，系统会根据数据库中的安全事件进行统计分类，找出经常导致安全事件的发源地和经常被攻击的端口，在这些阶段都会产生事件告警，其安全事件关联过程模块如下图所示。

在管理引擎中的事件聚合模块可以为后续关联提供高质量的安全事件，提高关联引擎效率，而分类处理可将已知可信度高，受关注高的安全事件直接提升为报警。而且统计分类通过对报警数据库、日志数据库、知识库综合进行分析统计，产生受控网段内最常被攻击的主机和应用，统计相同数据源和相同目标端口的安全事件的数量，这样就可以客观反映网络异常情况。

在ossim系统中关联分析功能同样是由关联引擎来实现，关联引擎策略文件定义位于/etc/ossim/server/，分析的数据由探针来收集，sensor(传感器)每天要从网络上收集到成千上万的事件，如果对这些海量的事件信息不加任何处理就直接生成事件，这种做法是没有意义的。而在报告之前通过关联分析可以将这些成千上万的事件进行浓缩(类聚)，并确认成数十个甚至数个事件，显示在web前端的siem中。简单理解就是ossim的网络安全事件关联分析能将不同功能的开源网络安全检测工具产生的报警信息进行去伪存真，从而挖掘出真正的网络攻击事件。

2.主要关键词

ossim系统中的风险评估主要围绕着攻击威胁(threat)、漏洞(vulnerability)、响应(response,即安全措施)、资产(asset)等来监控。风险评估模型嵌入在 ossim 关联引擎系统中，关联引擎结合知识库中的资产库、漏洞库、威胁库将风险的资产、漏洞、威胁三要素综合考虑。

3.资产风险计算

risk=r(asset,vulnerability,threat)

将资产价值(asset)、优先级(priority)、可靠性(reliability)三个参数组合在一起进行风险的计算是简洁有效的，在ossim系统中使用以下公式：

risk=asset*priority*reliability/25 (风险模型计算公式1)

其中asset(资产， 取值范围0~5)

priority(优先级， 取值范围0~5)

reliability(可信度，取值范围0~10)

由公式(1)计算每个alert事件的risk值，其中

ø asset 的取值范围为 0～5，asset默认值为2;在ossim系统中将资产的关注程度分为5级，取值由低到高分别为1、2、3、4、5。从表面上理解，数字的大小决定了风险计算公式中risk值的大小，但也有它深层次的含义，比如普通工作站资产等级为1，当它遭受dos攻击时，我们只需要简单端口网络连接，如果是数据库服务器，它的资产等级为5，数据库服务需要实时在线，所以同样遭受dos攻击我们就不能象工作站那样处理，而应自动启用备用ip地址并将攻击引向网络蜜罐系统。

ø 优先级priority 的取值范围为 0～5，默认值为 1，该参数描述一次成功攻击所造成的危害程度，数值越大，则危害程度越高;

ø 可信度或者叫可靠性reliability 的取值范围为 0～10，默认值为 1，可靠性参数描述一次攻击可能成功的概率，最高值是10，代表100%可能，所以其值越高，代表越不可靠，大家也可以将此理解为被攻击的可能性。

大家在操作ossim时，打开web ui中的siem控制台，观察每条event时就能发现风险值由资产值优先级和可信度来控制。而网络中每个资产都是有价值的，这个价值的量化就通过资产值来实现，默认每个资产为2(范围1~5)，在风险计算公式可以分析出，风险计算不将资产值作为影响风险结果的主要因素，例如某些数据库服务器资产值很高，则计算出的风险值也会很大，而那些资产值小的工作站，在遭受严重攻击的节点风险值小，这样很难被关注，从而失去原本的真实性，所以就让资产值的范围在1~5之间，影响风险值也就小。

场景举例：

一个主机在一个vlan连接到5个不同ip地址的445端口，这有可能是正常网络通讯，如果连接了15台机器的445端口这就比较可疑，如果有150个这样的连接并且持续很长时间，那就很可能受到蠕虫攻击，需人工要进一步核实。

4.risk & priority & reliability的关系实例

根据公式计算，谁都会，上述公式1中各个参数之间有什么内在联系?

在我们收集到的事件中，重复事件占比多，其中主要是risk=0的风险，例如以cisco asa的一个icmp事件为例，其prio=1，rel=1，aset=2，根据上面的风险模型计算公式计算出来约等于0。

分析上图发现在关联规则中reliability(可信度)系统为它已经设定好了一个初始值，试想如果是个常量，那在动态的网络攻击中将会产生大量误报，那么在引入交叉关联机制之后，就将网络安全报警和具体网络应用服务、开放端口、开放端口的漏洞信息进行空间上的关联，以便确定攻击是否可达到，这样可信度值(reliability)就必定为变量，对于那些含有不可能存在端口安全事件直接丢弃(系统的kdb中有一张即时更行的列表)下图展示了reliability参数在ossim关联规则变化过程。

5.事件聚合

我们知道冗余报警会严重干扰管理员对故障的判断，此时需要这些信息进行聚合，通过从海量报警中，将一些相似的报警进行聚合处理，把冗余部分去掉，减少了报警条数，大大减轻了关联模块做关联分析的任务量。

合并冗余的报警信息主要是从3方面来考虑：

(1)合并基于主机的监控 ossec 产生的冗余报警事件。

(2)合并基于网络的监控 snort/suricata 产生的冗余报警事件。

(3)合并主机监控 ossec 和网络监控 snort 对相同攻击产生的报警信息。

snort报警信息的属性比较全面，特征明显，对snort产生出来的报警事件合并的过程可以采用基于属性相似度的方法。而对于ossec的报警事件的合并，ossim采用基于事件id和报警类别信息相结合的方法。目前ossec有900多条检测规则，均以xml格式存储。经过统计分析以后可以按报警的行为来分类共分为80个报警大类，常见的包括：syslog、firewall、ids、web、squid、windows等。以ossec报警的事件id为入口，从而进行一级级的类与子类之间的匹配以达到匹配与合并的目的。

根据信息来源分析我们看到聚合的对象是基于网络的 snort /suricata和基于主机的ossec安全产品产生的报警数据，由于 snort 的报警数据(包括ip 地址，攻击内容和端口等之类的要素)中含有协议属性，可对其用基于规则的方式进行聚合，在聚类过程中可以保证报警信息得到正确的归类。

snort支持多种协议，报警事件聚类后再合并能节省大量时间。而同样由于其属性明显的特征，所以对冗余信息的合并基于其属性的相似度的方式进行，这样合并误差小。而对于 ossec 产生的报警信息，其报警事件的 id 为入口，逐步的按报警类别进行聚合，合并出来的误差低，以 id 为入口按根类别进行合并的方式，节省了遍历报警信息进行聚类与合并的时间。

ossim中使用了主机监控软件 ossec 来实现对主机的审计记录，系统日志和应用程序的采集分析。它支持文件的完整性监控、注册表监控、端口的监控、rootkit 检测和部分进程监控。同时使用snort 对网络上的数据包进行采集，完成实时流量分析和对网络上的 ip 包进行测试等功能，也可进行协议分析，内容查找和匹配，能用来探测多种攻击和嗅探(如缓冲区溢出和 shellcode攻击等)。

对于两条事件而言，如果它们的相似程度较高，那么就认为它们是同一个攻击而进行合并，否则就认为是互不相关的攻击行为。

我们可以从计算两条报警信息之间的相似度入手，首先要考虑的是这两条报警的共有属性。这些属性包括攻击源、目标(主机 ip 和端口)、攻击类型、mac 地址、时间信息和事件 id 等。据此我们可以对报警事件的属性进行抽象形式化建模，把它们的属性定义为一个事件属性集。我们对冗余的报警事件所采用的合并方法的出发点就是对相同的攻击行为的报警信息之间存在着很高的相似度，对不同的攻击行为的报警相似度较低。我们对各个产品的冗余报警信息合并的同时也要考虑到这两个安全产品产生出来的对同一个攻击的报警信息，尽可能的把所有重复报警信息得到有效的压缩。

如果snort发现基于一个目标ip的攻击，则说明该目标ip主机有漏洞，则其可靠性系数为10(即100%攻击成功)。下图中rel的值为10，即代表当前时间可靠性系数为10，所以风险值为4。这个值也可以在数据源中修改。

从上可知，可靠性和优先级的数值决定了风险大小，手动修改数据源rel/prio的方法如下图所示。注意这样修改后对全局有效 ，并不是对单条事件。通过传感器将各个监控节点数据关联联系起来，形成一个数据链，再由关联分析引擎和规则一起协调工作就能对黑客攻击行为进行分析，追根溯源，并发出alarm。下面分析一下它的产生原理。

alarm events由关联指令(correlation directives)配合rules所产生，在alarm中展示的警告信息是通过关联规则从大量的事件中匹配而得出，在ossim 5以后的系统采用了一种图形化展示ossim系统alarm报警的模式，这便于管理员重大量安全事件中筛选重要的部分。alarm事件产生过程如图所示。

具体alarm生成步骤如下：

(1)日志收集到ossim;

(2)将日志统一进行归一化处理后生成事件;

(3)将这些事件导入关联引擎;

(4)根据关联规则匹配出新的事件。

通过上图显示的画面，即使是一个安全小白也能轻松检测到针对ssh服务的暴力破解行为。

在这张图中仅以system compromise→worm infection →internal host scanning 告警为例，在系统危害中出现了内部主机的扫描行为，这类行为疑似为网络蠕虫的扫描，我们知道扫描主机漏洞往往是蠕虫传播的前提，蠕虫常常会通过icmp ping包、tcp syn、fin、rst以及ack包探测，而且具有着随机性，从图中看出，系统定义出这类事件的风险值，扫描的持续时间，源地址、目的地址，源端口、目标端口以及关联等级，对于这种异常行为很容易被ossim发现。

五、关联规则指令

关联分析的核心通过一个或一组关联指令来完成，下面用ssh暴力破解的例子加以说明，ssh暴力破解(brute force)大约自unix诞生之后，就衍生出来的一种攻击行为，据统计发现大约有50%以上的用户名是root。一个低可靠性(low reliability)的ssh 服务器，在经过100登录尝试之后成功登录，而高可靠性(high reliability)的ssh服务器，则经过10000次登录才成功，那么关联引擎可通过在一定时间内，登录的次数，以及这些时间的不同源地址和相同目标ip地址，以及这些ip地址来自于那些国家，它们信誉度如何等信息来综合判定攻击以及作出响应。

检测ssh暴力攻击的关联指令规则源码用xml描述如下：

<directive id="50113" name="av-free-feed bruteforce attack, ssh service authentication attack against dst_ip" priority="4">
<rule type="detector" name="ssh service authentication attempt failed detected" reliability="1" occurrence="1" from="any" to="any" port_from="any" port_to="any" plugin_id="4003" plugin_sid="1">
<rules>
<rule type="detector" name="ssh service authentication attempt failed detected" reliability="2"occurrence="5"from="1:src_ip" to="1:dst_ip" port_from="any" time_out="30"port_to="any" plugin_id="4003" plugin_sid="1">
<rules>
<rule type="detector" name="ssh service authentication attempt failed detected"reliability="4"occurrence="10"from="1:src_ip" to="1:dst_ip" port_from="any" time_out="60"port_to="any" plugin_id=