機器學習(二十一) 異常檢測算法之IsolationForest
- 2019 年 10 月 5 日
- 筆記
1 IsolationForest 簡介
IsolationForest指孤立森林，是一種高效的異常檢測算法。在所有樣本數據中，異常數據具有數量少並且與大多數數據不同的特點，利用這一特性分割樣本，那些異常數據也容易被隔離處理。
IsolationForest算法的大致流程如下：
選取訓練樣本數據
隨機選取數據的某一維度
隨機選取該維度的某一個值（最大值和最小值之間） 通過這個值畫一條直線，將數據分割
重複上面的2-3步驟直到結束（收斂條件）
代碼實現
import numpy as np import matplotlib.pyplot as plt from sklearn.ensemble import IsolationForest rng=np.random.RandomState(42) # 生成訓練數據 X=0.3*rng.randn(100,2) # 100條二維數據 X_train=np.r_[X+2,X-2] # 200條數據（X+2,X-2）拼接而成 X = 0.3 * rng.randn(20, 2) X_test = np.r_[X + 2, X - 2] # 基於分佈生成一些觀測正常的數據 X_outliers=rng.uniform(low=-4,high=4,size=(20,2)) # 訓練隔離森林模型 clf=IsolationForest(behaviour='new',max_samples=100,random_state=rng,contamination='auto') clf.fit(X_train) y_pred_train=clf.predict(X_train) y_pred_test=clf.predict(X_test) y_pred_outliers = clf.predict(X_outliers) # 畫圖 xx, yy = np.meshgrid(np.linspace(-5, 5, 50), np.linspace(-5, 5, 50)) # 生成網絡數據 https://www.cnblogs.com/lemonbit/p/7593898.html Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) plt.title("IsolationForest") plt.contourf(xx, yy, Z, cmap=plt.cm.Blues_r) # 等高線 b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c='white', s=20, edgecolor='k') b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c='green', s=20, edgecolor='k') c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c='red', s=20, edgecolor='k') plt.axis('tight') plt.xlim((-5, 5)) plt.ylim((-5, 5)) plt.legend([b1, b2, c], ["training observations", "new regular observations", "new abnormal observations"], loc="upper left") plt.show()
