异常检测

什么是异常(outlier)?Hawkins(1980)给出了异常的本质性的定义：异常是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。聚类算法对异常的定义：异常是聚类嵌于其中的背景噪声。异常检测算法对异常的定义：异常是既不属于聚类也不属于背景噪声的点。

异常检测(Anomaly detection) 的假设是入侵者活动异常于正常主体的活动。根据这一理念建立主体正常活动的“活动简档”，将当前主体的活动状况与“活动简档”相比较，当违反其统计规律时，认为该活动可能是“入侵”行为。异常检测的难题在于如何建立“活动简档”以及如何设计统计算法，从而不把正常的操作作为“入侵”或忽略真正的“入侵”行为。

异常检测具有广泛的应用，如电信和信用卡欺骗、贷款审批、药物研究、医疗分析、消费者行为分析、气象预报、金融领域客户分类、网络入侵检测等。

1、异常检测是指通过攻击行为的特征库,采用特征匹配的方法确定攻击事件.误用检测的优点是检测的误报率低,检测快,但误用检测通常不能发现攻击特征库中没有事先指定的攻击行为,所以无法检测层出不穷的新攻击。

2、异常检测是指根据非正常行为(系统或用户)和使用计算机非正常资源来检测入侵行为.其关键在于建立用户及系统正常行为轮廓(Profile),检测实际活动以判断是否背离正常轮廓。

3、异常检测是指将用户正常的习惯行为特征存储在数据库中,然后将用户当前的行为特征与特征数据库中的特征进行比较,如果两者的偏差足够大,则说明发生了异常。

4、异常检测是指利用定量的方式来描述可接受的行为特征,以区分和正常行为相违背的、非正常的行为特征来检测入侵。

5、基于行为的入侵检测方法,通过将过去观察到的正常行为与受到攻击时的行为相比较,根据使用者的异常行为或资源的异常使用状况来判断是否发生入侵活动,所以也被称为异常检测。

6、统计分析亦称为异常检测,即按统计规律进行入侵检测.统计分析先对审计数据进行分析,若发现其行为违背了系统预计,则被认为是滥用行为。

7、统计分析亦称为异常检测.通过将正常的网络的流量.网络延时以及不同应用的网络特性(如时段性)统计分析后作为参照值,若收集到的信息在参照值范围之外,则认为有入侵行为。

8、异常检测（Anomaly-based detection）方法首先定义一组系统处于“正常”情况时的数据，如CPU利用率、内存利用率、文件校验和等然后进行分析确定是否出现异常。

异常数据挖掘是一个非常有趣的研究课题，国内外关于这方面的已提出的算法文献非常多，这些方法大致分为四类：基于统计(statistical-based)的方法、基于距离(distance-based)的方法、基于偏差(deviation-based)的方法、基于密度(density-based)的方法。 

(一) 基于统计的方法

假设给定的数据集服从一个随机分布(如正态分布等)，用不一致性测试(discordancy test)识别异常。存在问题是，在许多情况下，用户并不知道这个数据分布;而且现实数据也往往不符合任何一种理想状态的数学分布;即使在低维(一维或二维)时的数据分布已知，在高维情况下，估计数据点的分布是极其困难的。 

(二) 基于距离的方法

Knorr和Ng(VLDB’1998)提出一种基于距离的异常检测方法，基于距离的异常定义：数据集S中一个对象O称为DB(p,D)-outlier，如果它满足下列性质：数据集S中至少p*100%的对象与O的距离大于距离D。简单的说，基于距离的异常点就是那些没有“足够多”的邻居的对象。采取不同的参数p和D， DB(p,D)-outlier可以表示所有的基于统计的异常。

基于距离的异常检测的算法又分为三个基本类型：基于索引(index-based)的算法、嵌套循环(nested-loop)算法、基于单元(cell-based)的方法。

1、基于索引的算法 寻找所有的DB(p,D)-outlier可以通过对最近邻查询或以O为中心的范围查询的回答来实现。基于多维索引结构R-Tree或kd-Tree算法复杂度是O(kN2 )，其中k为维数，N为数据点数。缺点：需要建立多维索引结构，时间复杂度大。

2、嵌套循环算法NL 将内存缓冲区空间划分成相等的两部分，数据集分成几个大小和每部分缓冲区相等的逻辑块，通过认真选择调入每一部分缓冲区的次序，使I/O次数最小算法复杂度是O(kN2)其中k为维数，N为数据点数。 特点：不需要建立多维索引结构，时间复杂度较大。

3、基于单元的方法 数据空间被划分为边长为D/(2k1/2)的单元;每个单元有两个包围层第一层为1倍的单元厚，第二层为int(2k1/2 -1)+1倍的单元厚确定异常，

若cell_+_1_layer_count>M，单元中的对象都不是异常;

若cell_+_2_layer_count<=M，单元中的所有对象都是异常;

否则，单元中的一些对象可能为异常，逐个对象进行处理。算法复杂度是O(ck+N)。

由于索引建立的开销很大，简单索引算法没有竞争性当k<=4时，基于单元的算法在N越大时优越性越明显当k>=5之后，嵌套循环算法开始显现出优势。

4、基于距离的算法的改进

Knorr和Ng(VLDB’1998)基于距离的异常检测方法的缺陷输入参数p与D很难确定，并且对于不同参数，结果有很大不稳定性。这就需要用户反复输入p与D进行测试，以确定一个满意解;不能给定异常的程度;算法的复杂度较高。Rastogi和Ramaswamy(SIGMOD’2000)提出了一个新的基于距离异常定义： Dnk 异常。

Dnk 异常：用Dk(p)表示点p和它的第k个最近邻的距离，给定d维空间中包含N个点的数据集，参数n和k(自然数)，如果满足Dk(p’)>Dk(p)的点p’不超过n-1个，那么称p为Dnk 异常。如果对数据点根据它们的Dk(p)距离进行排序，那么前n个点就被看作异常。循环嵌套算法(Nested-loop Algorithm)，对每个点p，计算它的第k个最近邻的距离Dk(p)，把具有极大Dk值前n个点作为异常。上面的算法每次处理一个点p，那么需要扫描一遍数据库，总共需要扫描N遍(N为数据点数)。 基于索引的算法，用如R*-树的空间索引结构存储。基于划分的算法(partition-based Algorithm) ，如果某个点的Dk(p)较小的话，那么不可能是Dnk 异常，可以先对数据集进行划分，然后估计每个划分的Dk(p)的上、下界，如果能判定某个划分不可能包含异常的话，那么就可以直接把它删除掉;然后再从剩下的划分(侯选划分)来计算异常。现有的许多聚类算法可以用来划分数据集，如BIRCH。

(三) 基于偏差的方法 Argrawal和Ragaran(KDD’1995)提出一种“序列异常”(sequential exception)的概念。算法介绍给定n个对象的集合S，建立一个子集序列{S1,S2,…,Sm},这里2≤m≤n,满足Sj-1。 

(四) 基于密度的方法 距离异常的缺陷，基于密度的方法的有关概念对象p的k-距离(k-distance) 对任意的自然数k，定义p的k-距离(k-distance(p))，为p和某个对象o之间的距离，这里的o满足：

至少存在k个对象o’∈D{p}，使得d(p, o’) d(p, o)，并且至多存在k-1个对象o’ ∈D{p}，使得d(p, o’) < d(p, o)。 基于密度的方法的有关概念，

1、对象p的k-距离邻域(Nk-distance)， 给定p的k-距离k-distance(p)，p的k-距离邻域包含所有与p的距离不超过k-distance(p)的对象。

2、对象p相对于对象o的可达距离，给定自然数k，对象p相对于对象o的可达距离为：reach – dist k (p , o )=max{ k – distance(o), d(p , o)}

3、对象p的局部可达密度，对象p的局部可达密度为对象p与它的MinPts-邻域的平均可达距离的倒数。

4、对象p的局部异常因子(Local Outlier Factor)， 局部异常的性质对象p的局部异常因子表示p的异常程度，局部异常因子愈大，就认为它更可能异常;反之则可能性小。簇内靠近核心点的对象的LOF接近于1，那么不应该被认为是局部异常。而处于簇的边缘或是簇的外面的对象的LOF相对较大。

局部异常因子计算：第一步先产生所有点的MinPts-邻域(同时得到MinPts-距离)，并计算到其中每个点的距离; 对低维数据，可以利用网格(Grid)来作k-NN查询，整个计算时间为 O(n );对中维或中高维数据，必须采用索引结构如X-树等，使得作k-NN查询的时间为O(logn) ，整个计算时间为 O(n logn);对特高维数据，索引结构不再有效，时间复杂度提高到O(n2)。第二步计算每个点的局部异常因子。

基于统计的异常检测应用主要局限于科研计算，这主要是因为必须事先知道数据的分布特征这就限制了它的应用范围。 序列异常检测算法提出的序列异常的概念并没有得到普遍的认同。这是因为序列异常在概念上仍然有一定缺陷，遗漏了不少的异常数据。基于距离的算法跟基于统计的算法相比，不需要用户拥有任何领域知识。与“序列异常”相比，在概念上更加直观。更重要的是，距离异常更接近Hawkins的异常本质定义。基于密度的异常观点比基于距离的异常观点更贴近Hawkins的异常定义，因此能够检测出基于距离异常算法所不能识别的一类异常数据———局部异常。局部异常观点摈弃了以前所有的异常定义中非此即彼的绝对异常观念，更加符合现实生活中的应用。

上述的异常检测算法是以静态数据集为研究对象，需要对数据集进行多次扫描，才能得到输出结果。在现实生活中，对动态的数据集，即流数据的在线处理的需求更为迫切，因此，只需进行一次扫描便得到结果的数据流异常检测算法，成为当前的研究热点。