什麼是機器學習的特徵工程？【數據集特徵抽取（字典，文本TF-Idf）、特徵預處理（標準化，歸一化）、特徵降維（低方差，相關係數，PCA）】
2.特徵工程
2.1 數據集
2.1.1 可用數據集
Kaggle網址：//www.kaggle.com/datasets
UCI數據集網址： //archive.ics.uci.edu/ml/
scikit-learn網址：//scikit-learn.org/stable/datasets/index.html#datasets
2.1.2 安裝scikit-learn工具
pip3 install Scikit-learn==0.19.1
安裝好之後可以通過以下命令查看是否安裝成功
import sklearn
註：安裝scikit-learn需要Numpy, Scipy等庫
- 分類、聚類、回歸
- 特徵工程
- 模型選擇、調優
2.1.3 sklearn數據集
1 scikit-learn數據集API介紹
- sklearn.datasets
- 載入獲取流行數據集
- datasets.load_*()
- 獲取小規模數據集，數據包含在datasets里
- datasets.fetch_*(data_home=None)
- 獲取大規模數據集，需要從網路上下載，函數的第一個參數是data_home，表示數據集下載的目錄,默認是 ~/scikit_learn_data/
2 sklearn小數據集
-
sklearn.datasets.load_iris()
載入並返回鳶尾花數據集
-
sklearn.datasets.load_boston()
載入並返回波士頓房價數據集
3 sklearn大數據集
- sklearn.datasets.fetch_20newsgroups(data_home=None,subset=『train』)
- subset：’train’或者’test’，’all’，可選，選擇要載入的數據集。
- 訓練集的「訓練」，測試集的「測試」，兩者的「全部」。
4 sklearn數據集返回值介紹
-
load和fetch
返回的數據類型datasets.base.Bunch(字典格式)
- data：特徵數據數組，是 [n_samples * n_features] 的二維 numpy.ndarray 數組
- target：標籤數組，是 n_samples 的一維 numpy.ndarray 數組
- DESCR：數據描述
- feature_names：特徵名,新聞數據，手寫數字、回歸數據集沒有
- target_names：標籤名
2.1.4 數據集劃分
機器學習一般的數據集會劃分為兩個部分：
- 訓練數據：用於訓練，構建模型
- 測試數據：在模型檢驗時使用，用於評估模型是否有效
劃分比例：
- 訓練集：70% 80% 75%
- 測試集：30% 20% 25%
數據集劃分api
- sklearn.model_selection.train_test_split(arrays, *options)
- x 數據集的特徵值
- y 數據集的標籤值
- test_size 測試集的大小，一般為float
- random_state 隨機數種子,不同的種子會造成不同的隨機取樣結果。相同的種子取樣結果相同。
- return 測試集特徵訓練集特徵值值，訓練標籤，測試標籤(默認隨機取)
使用這個方法的時候要注意返回值的接收順序：
x_train, x_test, y_train, y_test 分別表示 ：訓練集的特徵值、測試集的特徵值；訓練集的目標值、測試集的目標值。
def datasets_demo():
"""
sklearn數據集使用（劃分）
:return:
"""
# 獲取數據集
iris = load_iris()
print("鳶尾花數據集：\n", iris)
print("查看數據集描述：\n", iris["DESCR"])
print("查看特徵值的名字：\n", iris.feature_names)
print("查看特徵值：\n", iris.data, iris.data.shape)
# 訓練集的特徵值x_train 測試集的特徵值x_test 訓練集的目標值y_train 測試集的目標值y_test（x是特徵，y是目標）
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.5, random_state=22)
print("訓練集的特徵值：\n", x_train, x_train.shape)
return None
2.2 特徵工程之特徵抽取
2.2.1 什麼是特徵抽取
1 將任意數據（如文本或影像）轉換為可用於機器學習的數字特徵
註：特徵值化是為了電腦更好的去理解數據
- 字典特徵提取(特徵離散化)
- 文本特徵提取
- 影像特徵提取（深度學習將介紹）
2 特徵提取API
sklearn.feature_extraction
2.2.2 字典特徵提取
作用：對字典數據進行特徵值化
- sklearn.feature_extraction.DictVectorizer(sparse=True,…)
- DictVectorizer.fit_transform(X) X:字典或者包含字典的迭代器返回值：返回sparse矩陣
- DictVectorizer.inverse_transform(X) X:array數組或者sparse矩陣 返回值:轉換之前數據格式
- DictVectorizer.get_feature_names() 返回類別名稱
1 應用
我們對以下數據進行特徵提取
[{'city': '北京','temperature':100}
{'city': '上海','temperature':60}
{'city': '深圳','temperature':30}]
2 流程分析
- 實例化類DictVectorizer
- 調用fit_transform方法輸入數據並轉換（注意返回格式）
def dict_demo():
"""
字典特徵抽取
:return:
"""
data = [{'city': '北京','temperature':100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature':30}]
# 1、實例化一個轉換器類(One-Hot編碼)
"""
sparse=True 稀疏矩陣：用位置編號+數據表示（不包括數據0）
(0, 1) 1.0
(0, 3) 100.0
(1, 0) 1.0
(1, 3) 60.0
(2, 2) 1.0
(2, 3) 30.0
sparse=False
"""
transfer = DictVectorizer(sparse=True)
# 2、調用fit_transform()
data_new = transfer.fit_transform(data)
print("字典特徵抽取：\n",data_new)
# print("data_new:\n", data_new.toarray(), type(data_new))
print("特徵名字：\n", transfer.get_feature_names())
return None
-
我的理解是：用0,1的方式來表示非數值化數據的位置，如果在那個位置有這個數據，那麼置為1，如果沒有置為0。
-
這裡有一個小知識點就是稀疏矩陣，如果sparse=True，那麼輸出結果將變成【非0位置，非0值】這樣來表示，如果數據的特徵值很多，那麼就會出現很多個0，這樣表示會更省記憶體。如果使用sparse=False，那麼就是我們最常見的矩陣形式。
sparse=True
(0, 1) 1.0
(0, 3) 100.0
(1, 0) 1.0
(1, 3) 60.0
(2, 2) 1.0
(2, 3) 30.0
sparse=False
[[ 0. 1. 0. 100.]
[ 1. 0. 0. 60.]
[ 0. 0. 1. 30.]]
特徵名字：
['city=上海', 'city=北京', 'city=深圳', 'temperature']
3 小結
當數據中存在類別資訊（比如這個例子中不同的地點）的時候，我們會選擇用字典特徵提取。
2.3.3 文本特徵提取
作用：對文本數據進行特徵值化
-
sklearn.feature_extraction.text.CountVectorizer(stop_words=[])
- 返回詞頻矩陣
-
CountVectorizer.fit_transform(X) X:文本或者包含文本字元串的可迭代對象 返回值：返回sparse矩陣
-
CountVectorizer.inverse_transform(X) X:array數組或者sparse矩陣 返回值:轉換之前數據格
-
CountVectorizer.get_feature_names() 返回值:單詞列表
-
sklearn.feature_extraction.text.TfidfVectorizer
1 英文
def count_demo():
"""
文本特徵抽取：CountVecotrizer
:return:
"""
data = ["life is short,i like like python", "life is too long,i dislike python"]
# 1、實例化一個轉換器類（把出現過的單詞都放進來返回，返回數組，表示這些出現過的單詞在特徵句子中出現的次數）
transfer = CountVectorizer(stop_words=["is", "too"])
# 2、調用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new.toarray())
print("特徵名字：\n", transfer.get_feature_names())
return None
輸出結果：
data_new:
[[0 1 2 0 1 1]
[1 1 0 1 1 0]]
特徵名字：
['dislike', 'life', 'like', 'long', 'python', 'short']
2 中文（結巴分詞）
pip3 install jieba
def cut_word(text):
"""
進行中文分詞："我愛北京天安門" --> "我 愛 北京 天安門"
:param text:
:return:
"""
return " ".join(list(jieba.cut(text)))
def count_chinese_demo2():
"""
中文文本特徵抽取，自動分詞
:return:
"""
# 將中文文本進行分詞
data = ["一種還是一種今天很殘酷，明天更殘酷，後天很美好，但絕對大部分是死在明天晚上，所以每個人不要放棄今天。",
"我們看到的從很遠星系來的光是在幾百萬年之前發出的，這樣當我們看到宇宙時，我們是在看它的過去。",
"如果只用一種方式了解某樣事物，你就不會真正了解它。了解事物真正含義的秘密取決於如何將其與我們所了解的事物相聯繫。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
# print(data_new)
# 1、實例化一個轉換器類
transfer = CountVectorizer(stop_words=["一種", "所以"])
# 2、調用fit_transform
data_final = transfer.fit_transform(data_new)
print("data_new:\n", data_final.toarray())
print("特徵名字：\n", transfer.get_feature_names())
return None
輸出結果：
data_new:
[[0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1 0]
[0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 0 1]
[1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0 0]]
特徵名字：
['不會', '不要', '之前', '了解', '事物', '今天', '光是在', '幾百萬年', '發出', '取決於', '只用', '後天', '含義', '大部分', '如何', '如果', '宇宙', '我們', '放棄', '方式', '明天', '星系', '晚上', '某樣', '殘酷', '每個', '看到', '真正', '秘密', '絕對', '美好', '聯繫', '過去', '還是', '這樣']
註：這裡面的數值表示分析出來的特徵名字在不同的樣本中出現的次數，比如第一行 [0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1 0] 第六個數字2表示在第一行文字中，「今天」 這個詞出現了兩次。
2.3.4 Tf-Idf 文本特徵提取
- TF-IDF的主要思想是：如果某個詞或短語在一篇文章中出現的概率高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。
- TF-IDF作用：用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度。
1 公式
- 詞頻（term frequency，tf）指的是某一個給定的詞語在該文件中出現的頻率
- 逆向文檔頻率（inverse document frequency，idf）是一個詞語普遍重要性的度量。某一特定詞語的idf，可以由總文件數目除以包含該詞語之文件的數目，再將得到的商取以10為底的對數得到
註：假如一篇文件的總詞語數是100個，而詞語"非常"出現了5次，那麼"非常"一詞在該文件中的詞頻就是5/100=0.05。而計算文件頻率（IDF）的方法是以文件集的文件總數，除以出現"非常"一詞的文件數。所以，如果"非常"一詞在1,000份文件出現過，而文件總數是10,000,000份的話，其逆向文件頻率就是lg（10,000,000 / 1,0000）=3。最後"非常"對於這篇文檔的tf-idf的分數為0.05 * 3=0.15
2 案例
這裡面可以把總文件數理解為總樣本數，比如這個案例總樣本數是3
ef tfidf_demo():
"""
用TF-IDF的方法進行文本特徵抽取
詞頻（term frequency，tf）指的是某一個給定的詞語在該文件中出現的頻率
逆向文檔頻率（inverse document frequency，idf）是一個詞語普遍重要性的度量。
某一特定詞語的idf，可以由總文件數目除以包含該詞語之文件的數目，再將得到的商取以10為底的對數得到
:return:
"""
# 將中文文本進行分詞
data = ["一種還是一種今天很殘酷，明天更殘酷，後天很美好，但絕對大部分是死在明天晚上，所以每個人不要放棄今天。",
"我們看到的從很遠星系來的光是在幾百萬年之前發出的，這樣當我們看到宇宙時，我們是在看它的過去。",
"如果只用一種方式了解某樣事物，你就不會真正了解它。了解事物真正含義的秘密取決於如何將其與我們所了解的事物相聯繫。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
# print(data_new)
# 1、實例化一個轉換器類
transfer = TfidfVectorizer(stop_words=["一種", "所以"])
# 2、調用fit_transform
data_final = transfer.fit_transform(data_new)
print("data_new:\n", data_final.toarray())
print("特徵名字：\n", transfer.get_feature_names())
return None
輸出結果：
data_new:
[[0. 0.21821789 0. 0. 0. 0.43643578
0. 0. 0. 0. 0. 0.21821789
0. 0.21821789 0. 0. 0. 0.
0.21821789 0. 0.43643578 0. 0.21821789 0.
0.43643578 0.21821789 0. 0. 0. 0.21821789
0.21821789 0. 0. 0.21821789 0. ]
[0. 0. 0.2410822 0. 0. 0.
0.2410822 0.2410822 0.2410822 0. 0. 0.
0. 0. 0. 0. 0.2410822 0.55004769
0. 0. 0. 0.2410822 0. 0.
0. 0. 0.48216441 0. 0. 0.
0. 0. 0.2410822 0. 0.2410822 ]
[0.15895379 0. 0. 0.63581516 0.47686137 0.
0. 0. 0. 0.15895379 0.15895379 0.
0.15895379 0. 0.15895379 0.15895379 0. 0.12088845
0. 0.15895379 0. 0. 0. 0.15895379
0. 0. 0. 0.31790758 0.15895379 0.
0. 0.15895379 0. 0. 0. ]]
特徵名字：
['不會', '不要', '之前', '了解', '事物', '今天', '光是在', '幾百萬年', '發出', '取決於', '只用', '後天', '含義', '大部分', '如何', '如果', '宇宙', '我們', '放棄', '方式', '明天', '星系', '晚上', '某樣', '殘酷', '每個', '看到', '真正', '秘密', '絕對', '美好', '聯繫', '過去', '還是', '這樣']
2.3 特徵工程之特徵預處理
2.3.1 什麼是特徵預處理
# scikit-learn的解釋
provides several common utility functions and transformer classes to change raw feature vectors into a representation that is more suitable for the downstream estimators.
通過一些轉換函數將特徵數據轉換成更加適合演算法模型的特徵數據過程
1 包含內容
- 數值型數據的無量綱化：
- 歸一化
- 標準化
2 特徵預處理API
sklearn.preprocessing
為什麼我們要進行歸一化/標準化？
- 特徵的單位或者大小相差較大，或者某特徵的方差相比其他的特徵要大出幾個數量級，容易影響（支配）目標結果，使得一些演算法無法學習到其它的特徵
我們需要用到一些方法進行無量綱化，使不同規格的數據轉換到同一規格
2.3.2 歸一化
1 定義
通過對原始數據進行變換把數據映射到(默認為[0,1])之間
2 公式
作用於每一列，max為一列的最大值，min為一列的最小值,那麼X』』為最終結果，mx，mi分別為指定區間值默認mx為1,mi為0
3 API
- sklearn.preprocessing.MinMaxScaler (feature_range=(0,1)… )
- MinMaxScalar.fit_transform(X)
- X:numpy array格式的數據[n_samples,n_features]
- 返回值：轉換後的形狀相同的array
- MinMaxScalar.fit_transform(X)
1、實例化MinMaxScalar
2、通過fit_transform轉換
def minmax_demo():
"""
歸一化
:return:
"""
# 1、獲取數據
data = pd.read_csv("dating.txt")
data = data.iloc[:, :3]
print("data:\n", data)
# 2、實例化一個轉換器類
transfer = MinMaxScaler(feature_range=[2, 3])
# 3、調用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new)
return None
輸出結果：
data:
milage Liters Consumtime
0 40920 8.326976 0.953952
1 14488 7.153469 1.673904
2 26052 1.441871 0.805124
3 75136 13.147394 0.428964
4 38344 1.669788 0.134296
.. ... ... ...
995 11145 3.410627 0.631838
996 68846 9.974715 0.669787
997 26575 10.650102 0.866627
998 48111 9.134528 0.728045
999 43757 7.882601 1.332446
[1000 rows x 3 columns]
data_new:
[[2.44832535 2.39805139 2.56233353]
[2.15873259 2.34195467 2.98724416]
[2.28542943 2.06892523 2.47449629]
...
[2.29115949 2.50910294 2.51079493]
[2.52711097 2.43665451 2.4290048 ]
[2.47940793 2.3768091 2.78571804]]
4 小結
注意最大值最小值是變化的，另外最大值與最小值非常容易受異常點影響，所以這種方法魯棒性較差，只適合傳統精確小數據場景。
2.3.3 標準化
1 定義
通過對原始數據進行變換把數據變換到均值為0,標準差為1範圍內
2 公式
- 對於歸一化來說：如果出現異常點，影響了最大值和最小值，那麼結果顯然會發生改變
- 對於標準化來說：如果出現異常點，由於具有一定數據量，少量的異常點對於平均值的影響並不大，從而方差改變較小。
3 案例
#標準化
def stand_demo():
"""
標準化
:return:
"""
# 1、獲取數據
data = pd.read_csv("dating.txt")
data = data.iloc[:, :3]
print("data:\n", data)
# 2、實例化一個轉換器類
transfer = StandardScaler()
# 3、調用fit_transform
data_new = transfer.fit_transform(data)
print("標準化結果 data_new:\n", data_new)
print("每一列特徵的平均值：\n", transfer.mean_)
print("每一列特徵的方差：\n", transfer.var_)
return None
輸出結果：
data:
milage Liters Consumtime
0 40920 8.326976 0.953952
1 14488 7.153469 1.673904
2 26052 1.441871 0.805124
3 75136 13.147394 0.428964
4 38344 1.669788 0.134296
.. ... ... ...
995 11145 3.410627 0.631838
996 68846 9.974715 0.669787
997 26575 10.650102 0.866627
998 48111 9.134528 0.728045
999 43757 7.882601 1.332446
[1000 rows x 3 columns]
標準化結果 data_new:
[[ 0.33193158 0.41660188 0.24523407]
[-0.87247784 0.13992897 1.69385734]
[-0.34554872 -1.20667094 -0.05422437]
...
[-0.32171752 0.96431572 0.06952649]
[ 0.65959911 0.60699509 -0.20931587]
[ 0.46120328 0.31183342 1.00680598]]
每一列特徵的平均值：
[3.36354210e+04 6.55996083e+00 8.32072997e-01]
每一列特徵的方差：
[4.81628039e+08 1.79902874e+01 2.46999554e-01]
2.4 特徵降維
2.4.1 降維
降維是指在某些限定條件下，降低隨機變數(特徵)個數，得到一組「不相關」主變數的過程
- 降低隨機變數的個數
- 相關特徵(correlated feature)
- 相對濕度與降雨量之間的相關等
因為在進行訓練的時候，我們都是使用特徵進行學習。如果特徵本身存在問題或者特徵之間相關性較強，對於演算法學習預測會影響較大
2.4.2 降維的方式
- 特徵選擇（數據中包含冗餘或無關變數（或稱特徵、屬性、指標等），旨在從原有特徵中找出主要特徵。）
- 主成分分析（可以理解一種特徵提取的方式）
1 低方差特徵過濾
刪除低方差的一些特徵，前面講過方差的意義。再結合方差的大小來考慮這個方式的角度。
-
特徵方差小：某個特徵大多樣本的值比較相近（比如說有一個樣本是鳥有沒有爪子，那麼這行數據正常情況下方差的0，以為鳥都有爪子，數據幾乎沒什麼波動，這對我們研究幾乎沒有價值）
-
特徵方差大：某個特徵很多樣本的值都有差別
-
sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
- 刪除所有低方差特徵
- Variance.fit_transform(X)
- X:numpy array格式的數據[n_samples,n_features]
- 返回值：訓練集差異低於threshold的特徵將被刪除。默認值是保留所有非零方差特徵，即刪除所有樣本中具有相同值的特徵。
def variance_demo():
"""
刪除低方差特徵——特徵選擇
:return: None
"""
data = pd.read_csv("factor_returns.csv")
print(data)
# 1、實例化一個轉換器類
transfer = VarianceThreshold(threshold=1)
# 2、調用fit_transform
data = transfer.fit_transform(data.iloc[:, 1:10])
print("刪除低方差特徵的結果：\n", data)
print("形狀：\n", data.shape)
return None
輸出結果：剛開始是有12列數據，低方差過濾（<1）之後剩餘8列
index pe_ratio pb_ratio market_cap \
0 000001.XSHE 5.9572 1.1818 8.525255e+10
1 000002.XSHE 7.0289 1.5880 8.411336e+10
... ... ... ... ...
2316 601958.XSHG 52.5408 2.4646 3.287910e+10
2317 601989.XSHG 14.2203 1.4103 5.911086e+10
return_on_asset_net_profit du_return_on_equity ev \
0 0.8008 14.9403 1.211445e+12
1 1.6463 7.8656 3.002521e+11
... ... ... ...
2316 2.7444 2.9202 3.883803e+10
2317 2.0383 8.6179 2.020661e+11
earnings_per_share revenue total_expense date return
0 2.0100 2.070140e+10 1.088254e+10 2012-01-31 0.027657
1 0.3260 2.930837e+10 2.378348e+10 2012-01-31 0.082352
2 -0.0060 1.167983e+07 1.203008e+07 2012-01-31 0.099789
... ... ... ... ... ...
2315 0.2200 1.789082e+10 1.749295e+10 2012-11-30 0.137134
2316 0.1210 6.465392e+09 6.009007e+09 2012-11-30 0.149167
2317 0.2470 4.509872e+10 4.132842e+10 2012-11-30 0.183629
[2318 rows x 12 columns]
刪除低方差特徵的結果：
[[ 5.95720000e+00 1.18180000e+00 8.52525509e+10 ..., 1.21144486e+12
2.07014010e+10 1.08825400e+10]
[ 7.02890000e+00 1.58800000e+00 8.41133582e+10 ..., 3.00252062e+11
2.93083692e+10 2.37834769e+10]
[ -2.62746100e+02 7.00030000e+00 5.17045520e+08 ..., 7.70517753e+08
1.16798290e+07 1.20300800e+07]
...,
[ 3.95523000e+01 4.00520000e+00 1.70243430e+10 ..., 2.42081699e+10
1.78908166e+10 1.74929478e+10]
[ 5.25408000e+01 2.46460000e+00 3.28790988e+10 ..., 3.88380258e+10
6.46539204e+09 6.00900728e+09]
[ 1.42203000e+01 1.41030000e+00 5.91108572e+10 ..., 2.02066110e+11
4.50987171e+10 4.13284212e+10]]
形狀：
(2318, 8)
2 相關係數
- 皮爾遜相關係數(Pearson Correlation Coefficient)
- 反映變數之間相關關係密切程度的統計指標
相關係數的值介於–1與+1之間，即–1≤ r ≤+1。其性質如下：
- 當r>0時，表示兩變數正相關，r<0時，兩變數為負相關
- 當|r|=1時，表示兩變數為完全相關，當r=0時，表示兩變數間無相關關係
- 當0<|r|<1時，表示兩變數存在一定程度的相關。且|r|越接近1，兩變數間線性關係越密切；|r|越接近於0，表示兩變數的線性相關越弱
- 一般可按三級劃分：|r|<0.4為低度相關；0.4≤|r|<0.7為顯著性相關；0.7≤|r|<1為高度線性相關
API
- from scipy.stats import pearsonr
-
x : (N,) array_like
-
y : (N,) array_like Returns: (Pearson』s correlation coefficient, p-value)
1）輸入：x為特徵，y為目標變數.
2）輸出：r： 相關係數 [-1，1]之間，p-value: p值。
註： p值越小，表示相關係數越顯著，一般p值在500個樣本以上時有較高的可靠性。計算出變數A和變數B的皮爾遜相關係數為0，不代表A和B之間沒有相關性，只能說明A和B之間不存在線性相關關係。
-
相關係數為(0,1]的正數，表明x和y之間呈線性正相關；相關係數為0，表明二者不存在 線性相關 關係，但不排除存在其他非線性相關關係；相關係數為[-1,0)的負數，表明x和y之間存在線性負相關關係。
p值是拒絕零假設的需要的最小顯著性水平，p值較小越容易拒絕原假設。我是這樣理解的，p值就是零假設成立的時候，出現抽取出來的這個樣本統計值的概率是多少，但是對於連續性總體，某一個點的的概率為0，所以加上了一段出現更離譜的概率也就是不利於零假設的概率。總之，簡單理解就是p值就是零假設成立時，出現該樣本統計值的概率，概率越小，說明零假設越不合理，越拒絕。
作者：我是這裡的
鏈接：//www.zhihu.com/question/405665370/answer/1325982899
來源：知乎
著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。
#低方差特徵過濾
def variance_demo():
"""
過濾(某一列)低方差特徵
:return:
"""
# 1、獲取數據
data = pd.read_csv("factor_returns.csv")
data = data.iloc[:, 1:-2]
print("data:\n", data)
# 2、實例化一個轉換器類 小於等於threshold的會被去掉
transfer = VarianceThreshold(threshold=10)
# 3、調用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new, data_new.shape)
# 計算某兩個變數之間的相關係數
"""
相關係數的值介於–1與+1之間，即–1≤ r ≤+1。其性質如下：
當r>0時，表示兩變數正相關，r<0時，兩變數為負相關
當|r|=1時，表示兩變數為完全相關，當r=0時，表示兩變數間無相關關係
當0<|r|<1時，表示兩變數存在一定程度的相關。且|r|越接近1，兩變數間線性關係越密切；|r|越接近於0，表示兩變數的線性相關越弱
一般可按三級劃分：|r|<0.4為低度相關；0.4≤|r|<0.7為顯著性相關；0.7≤|r|<1為高度線性相關
"""
r1 = pearsonr(data["pe_ratio"], data["pb_ratio"])
print("pe_ratio 和 pb_ratio 的相關係數：\n", r1)
r2 = pearsonr(data['revenue'], data['total_expense'])
print("revenue與total_expense之間的相關性：\n", r2)
return None
輸出結果：
pe_ratio 和 pb_ratio 的相關係數：
(-0.004389322779936271, 0.8327205496564927)
revenue與total_expense之間的相關性：
(0.9958450413136115, 0.0)
3 PCA主成分分析
- 定義：高維數據轉化為低維數據的過程，在此過程中可能會捨棄原有數據、創造新的變數
- 作用：是數據維數壓縮，儘可能降低原數據的維數（複雜度），損失少量資訊。
- 應用：回歸分析或者聚類分析當中
API：
- sklearn.decomposition.PCA(n_components=None)
- 將數據分解為較低維數空間
- n_components:
- 小數：表示保留百分之多少的資訊
- 整數：減少到多少特徵
- PCA.fit_transform(X) X:numpy array格式的數據[n_samples,n_features]
- 返回值：轉換後指定維度的array
def pca_demo():
"""
PCA降維
:return:
"""
data = [[2,8,4,5], [6,3,0,8], [5,4,9,1]]
# 1、實例化一個轉換器類
transfer = PCA(n_components=0.95)
# 2、調用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new)
return None
輸出結果：
data_new:
[[ 1.28620952e-15 3.82970843e+00]
[ 5.74456265e+00 -1.91485422e+00]
[-5.74456265e+00 -1.91485422e+00]]
幾個問題：
1、數據集的結構是什麼?
答案: 特徵值+ 目標值
2、機器學習演算法分成哪些類別? 如何分類
答案: 根據是否有目標值分為 監督學習和非監督學習監督學習
根據目標值的數據類型:目標值為離散值就是分類問題
目標值為連續值就是回歸問題
3、什麼是標準化? 和歸一化相比有什麼優點?
答案: 標準化是通過對原始數據進行變換把數據變換到均值為0,方差為1範圍內
優點: 少量異常點, 不影響平均值和方差, 對轉換影響小
