什么是异常检测？有哪些常见的异常检测算法？代码举例讲解

发表于 作者 IT之美

异常检测是一种无监督学习方法,用于检测数据集中的异常观察结果或实例。它的主要步骤是:

  1. 构建正常数据的模型。使用正常数据训练模型,学习数据的pattern。
  2. 计算新数据与正常模型的偏差。使用检验集对模型进行测试,计算每个数据与模型的差异。
  3. 设定阈值,判定异常。按照差异的大小,设定阈值以判定新数据是否存在异常。

常见的异常检测算法有:

  • 基于距离的方法:计算新数据与正常数据之间的距离,距离较远则判定为异常。如KNN模型。
  • 基于密度的方法:判断新数据所在区域的密度,密度较低则判定为异常。如局部异常因子法。
  • 基于聚类的方法:正常数据聚类后,计算新数据与各簇的距离,距离较远的簇则判定为异常。
  • 基于SVM的方法:训练SVM模型,预测新数据的类别,若属于正常类别则正常,否则异常。

代码示例:

KNN模型:

python
from sklearn.neighbors import LocalOutlierFactor

clf = LocalOutlierFactor(n_neighbors=20) 
y_pred = clf.fit_predict(X_train)  
y_pred = clf.predict(X_test)

局部异常因子法:

python 
from sklearn.svm import OneClassSVM

clf = OneClassSVM(nu=0.1, kernel="rbf", gamma=0.1)  
clf.fit(X_train)
y_pred = clf.predict(X_test)

聚类模型:

python
from sklearn.cluster import KMeans

k = KMeans(n_clusters = 2)
k.fit(X_train)

X_train_label = k.labels_  
X_test_label = k.predict(X_test)

outlier_score = np.min(np.bincount(X_train_label)) / np.bincount(X_test_label)  
threshold = 0.05  
anomaly = outlier_score < threshold

异常检测是数据挖掘中的重要任务之一,理解常见的异常检测算法,可以帮助我们建立健壮的异常监控系统。