R語言數據分析與挖掘(第一章):數據預處理(2)——缺失值常用的處理方法
- 2019 年 10 月 7 日
- 筆記
上一篇文章(缺失值處理)介紹了缺失值處理的判斷方法，這一講接著介紹缺失值常用的幾種處理方法：刪除法，替換法和插補法。不同的方法對應不同類型的缺失值。
1.刪除法
如果缺失值的比例很小，且不影響整體的數據結構，即缺失值類型是完全隨機缺失時，可以考慮將缺失值刪除，該方法操作非常簡單，使用函數na.omit()就可以將含有缺失值的行刪除。其函數的基本書寫格式為:
na .omit (object,....)
其中object即為需要處理的數據對象。下面我們對algae數據集進行處理:
> algae=na.omit(algae) > sum(is.na(algae)) [1] 0
上一篇文章中，我們介紹到該數據集有33個缺失值，刪除後，現在為0了。
除了na.omit()函數外，還可以利用complete.cases函數來刪除含有缺失值的行。
> # 因為上一句程式碼已經刪除過，這裡重新載入原始數據 > data(algae) > algae<-algae[complete.cases(algae),] > sum(!complete.cases(algae)) [1] 0
2.替換法
直接刪除含有缺失值的行記錄的代價和風險較大，故我們可以考慮將缺失值部分替換掉，如用均值去替換，即均值替換法，該方法根據變數的不同類型選擇不同的替換，對數值型變數採用均值替換，對非數值型變數採用眾數替換。
下面我們將對algae數據集採用均值替換處理缺失值:
> data(algae) > mean(complete.cases(algae)) [1] 0.92 > algae[is.na(algae)]<-mean(complete.cases(algae)) > sum(!complete.cases(algae)) [1] 0
但是均值替換法還是存在一些問題，因為該方法適用於處理完全隨機缺失數據，且會改變整體數據的統計性質，比如方差變小，存在偏差等，因此在在實踐中並不常用。
3.插補法
實戰中常用的方法是插補法，隨機插補的思想類似，利用非缺失數據的均值或者隨機數來填補缺失值，下面我們詳細介紹多重插補。
多重插補的主要思想是:利用蒙特卡洛模擬法(MCMC)將原始數據集插補成幾個完整數據集，在每個新數據集中利用線性回歸(lm)或廣義線性回歸(glm)等方法進行插補建模，再將這些完整的模型整合到一起，評價插補模型的優劣並返回完數據集。
該方法主要利用mice包中的函數mice進行，其函數的基本書寫格式為,
mice(data,m=5,method=vector("character",length =ncol (data)),seed = NA, defaultMethod = c("pmm","logreg","polyreg","polr"),....)
參數介紹:
data一個包含完整數據和缺失數據的矩陣或數據框，其中各缺失數據用符號NA表示;
m:指定的多正插補數，默認值為5;
method:一個字元串，或者長度與數據集列數相同的字元串向量，用於指定數據集中的每一列採用的插補方法，單一字元串指定所有列用相同方法插補，字元串向量指定不同列採用不同方法插補，默認插補法取決需要插補的目標列，並由defaulmethod指定參數;
seed:一個整數，用於函數set.seed()的參數，指定產生固定的隨機數的個數，默認值為NA;
defaultMethod:一個向量，用於指定每個數據集採用的插補建模方法，可供選者的方法有多種，「pmm」表示用預測的均值匹配，「logreg」表示用邏批回歸擬合，「polyreg」表示多項式擬合，「polr」表示採用比例優勢模型擬合等。
需要注意的是:選擇不同的插補建模方法對數據有不同的要求，回歸法適用於數值型數據集，「pmm」對數據格式沒有特殊要求。在實戰過程中我們還會用到函數pool()、函數compute()等。下面我們將用到一些回歸知識， 有疑感的話先放著，後面分析數據時我們會深入了解。
> imp<-mice(algae[,4:11],seed=1234) iter imp variable 1 1 1 2 1 3 1 4 1 5 2 1 2 2 2 3 2 4 2 5 3 1 3 2 3 3 3 4 3 5 4 1 4 2 4 3 4 4 4 5 5 1 5 2 5 3 5 4 5 5 > fit <- with(imp,lm(mxPH~.,data = algae[,4:11])) > pool=pool(fit) > options(digits=3) # 設定輸出結果保留3位小數。 > summary(pool) estimate std.error statistic df p.value (Intercept) 7.90e+00 2.49e-01 31.735 190 0.00e+00 mnO2 -1.43e-02 2.39e-02 -0.598 190 5.51e-01 Cl 2.20e-03 1.32e-03 1.669 190 9.68e-02 NO3 -2.15e-02 2.18e-02 -0.986 190 3.25e-01 NH4 -1.75e-05 4.08e-05 -0.429 190 6.69e-01 oPO4 1.36e-03 1.50e-03 0.908 190 3.65e-01 PO4 -5.96e-04 1.14e-03 -0.522 190 6.02e-01 Chla 1.31e-02 2.82e-03 4.654 190 6.10e-06
上述程式碼表示:
首先創建一個imp對象，該對象是包含4個插補對象的列表，使用的數據為algae數據集中含有缺失值的第4到11列數據，默認插補查補數據集為5個;然後創建fit對象，用於設定統計分析方法，這裡指定線性回歸，則fit是一個包含4個統計分析結果的列表對象;再創建pool 對象，該對象將前面的四個統計分析結果匯總;最後用summary函數顯示pool的統計資訊，指定輸出結果保留3位小數。
插補完後，對插補數據和原始數據進行對比，利用mice包中的函數stripplot()對變數分布圖進行可視化。
algae_complete=complete(imp,action=1) sum(is.na(algae_complete)) par(mfrow=c(3,3)) stripplot(imp,pch=c(1,8),col=c("grey","1")) par(mfrow=c(1,1)
缺失值處理是一個不容易的工程，我們在數據挖掘中可選擇對缺失數據不敏感的方法，比如決策樹，這樣就省略了缺失值處理的步驟。如果對於數據敏感的方法，還是要處理的哦！！
