如何使用XGBoost模型進行時間序列預測

2020 年 8 月 17 日
AI

字幕組雙語原文：如何使用XGBoost模型進行時間序列預測

英語原文：How to Use XGBoost for Time Series Forecasting

翻譯：雷鋒字幕組（Shangru）

XGBoost是在分類和回歸問題上的一種梯度提升方法的有效實現。

在廣泛的預測模型任務中，它快且有效，性能好，如果不是最好的話。它在諸如Kaggle等數據科學競賽的獲勝者中最受歡迎。

XGBoost也可以被用於時間序列預測，儘管它需要將時間序列數據集先轉換成監督學習問題。它需要用到一種被稱為前進式驗證的特殊方法來評估模型，因為使用k折驗證來評估模型容易導致偏向樂觀的結果。

本教程中，你將探索如何為時間序列預測開發一個XGBoost模型。

完成本教程後，你將了解：

XGBoost是對分類和回歸問題的梯度提升集成演算法的實現
時間序列數據集可以通過滑窗表示轉換成監督學習。
如何使用XGBoost模型對時間序列預測進行擬合，評估以及預測

讓我們開始吧

教程總覽

本教程分為三部分。它們是：

XGBoost集成
時間序列數據準備
時間預測中的XGBoost

XGBoost集成

XGBoost是 Extreme Gradient Boosting的縮寫。它是隨機梯度提升機器學習演算法的有效實現。

隨機梯度提升演算法，也叫做梯度提升機或者提升樹，是一種強大的機器學習技術。他在廣泛的有挑戰性的機器學習問題上有著好的，甚至是最好的表現。

提升樹以及在很多標準分類指標上表現出來最先進的結果

—— XGBoost: A Scalable Tree Boosting System, 2016.

它是一種決策樹集成演算法，其中新的樹會去修正模型中已有的樹的誤差。樹會被一直添加進去直到模型表現沒有更多提升。

XGBoost為隨機梯度提升演算法，以及為訪問整套模型超參數來控制模型訓練過程提供了一種高效實現。

XGBoost成功的背後最重要的一點是全場景的規模化。該系統運行速度超出現流行的單機方案十倍之上。它在分散式或者記憶體有限的設定下，規模可達數十億例。

—— XGBoost: A Scalable Tree Boosting System, 2016.

XGBoost是為表格型數據的分類和回歸問題設計的，儘管它也可以用於時間序列預測。

關於更多的梯度提升和XGBoost實現，參考下面教程：

A Gentle Introduction to the Gradient Boosting Algorithm for Machine Learning

首先，必須安裝XGBoost庫。

你可以通過pip安裝，如下

sudo pip install xgboost

一旦安裝完成，你可以通過下面程式碼確認下是否成功安裝以及你是否使用了新的版本。

# xgboost

import xgboost

print(“xgboost”, xgboost.__version__)

運行這些程式碼，你可以看到下面或者更高的版本號。

xgboost 1.0.1

儘管XGBoost庫有著自己的Python API，我們通過scikit-learn API中的XGBRegressor封裝類來使用XGBoost模型。

模型的實例可以像其他scikit-learn類一樣實例化和使用來進行模型評估。例如：

…

# 模型定義

model = XGBRegressor()

時間序列數據準備

時間序列數據可以使用監督學習來表述。

當給定一個時間序列數據集的數字序列，我們可以重新組織數據使之看起來像一個監督學習問題。為了達到這種效果，我們把前幾步的數據作為輸入變數，下一步的作為輸出。

我用一個例子來支援這一點。想像一些我們有如下的時間序列：

time, measure

1, 100

2, 110

3, 108

4, 115

5, 120

我們可以通過前一個時間的值來預測下一個時間的值，從而將該時間序列數據集重組為一個監督學習問題。

如上重組時間序列數據集後，數據看起來像下面這樣：

X, y

?, 100

100, 110

110, 108

108, 115

115, 120

120, ?

注意到時間列被丟棄了，有些行的數據對模型訓練是無用的，比如第一行和最後一行。

這種表述被稱為滑窗，因為輸入窗口和預計輸出是隨著時間向前滑動，從而創建了監督學習模型的新「樣本」。

關於更多關於用滑窗方法準備時間序列預測數據，可以看以下教程：

Time Series Forecasting as Supervised Learning

在給定輸入輸出序列長度時的時間序列問題中，我們使用Pandas中的shift()函數來自動創建窗口。

這是一個很有用的工具，它使得我們在使用機器學習演算法時可以使用不同的窗口探索時間序列問題，來找出哪種可能下模型表現更好。

下面這個函數將時間序列作為一個單列或多列的Numpay數組時間序列，並將其轉換成一個特定輸入輸出數量的監督學習問題。

# 將時間序列數據集轉換成監督學習數據集

def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):

n_vars = 1 if type(data) is list else data.shape[1]

df = DataFrame(data)

cols = list()

# 輸入序列 (t-n, … t-1)

for i in range(n_in, 0, -1):

cols.append(df.shift(i))

# 預測序列 (t, t+1, … t+n)

for i in range(0, n_out):

cols.append(df.shift(-i))

# 合併到一起

agg = concat(cols, axis=1)

#丟棄含有NaN的行

if dropnan:

agg.dropna(inplace=True)

return agg.values

我們使用該函數來準備XGBoost的時間序列數據集。

更多關於這個函數的一步步的開發，可以看一下教程

How to Convert a Time Series to a Supervised Learning Problem in Python

一旦數據集準備好了，如何使用它們去擬合和評估模型就要務必仔細。

比如，使用未來的數據擬合模型來預測過去的數據就是無效的。模型應該是在過去的數據上訓練，預測未來。

這意味著在模型評估時，一些隨機化數據集的方法，比如k折交叉驗證，就不能使用了。取而代之地，我們使用一種被稱為前進式驗證的技術。

在前進式驗證中，數據集首先通過選擇分割點，分為訓練集和測試集。比如，除了過去12個月的所有數據被用來訓練，而過去12個月的數據用作測試。

如果我們感興趣的是單步預測，比如，一個月，我們可以通過在訓練集上訓練，在測試集的第一步進行預測。然後我們將測試集中真實的觀察值加入訓練集，重新擬合模型，然後在測試集的第二步上使用該模型預測。

對整個測試集重複該過程，就可以得到整個數據集上的單步預測。基於該預測計算的誤差可以用來評估模型的能力。

以下函數可處理前進式驗證。

它的參數是整個監督學習版的時間序列數據集和用作測試集的行數。

然後它開始處理測試集，調用 xgboost_forecast()函數來進行單步預測。它會返回計算所得的誤差度量和一些可供分析的細節。

# 單變數數據的前進式驗證

def walk_forward_validation(data, n_test):

predictions = list()

# 分割數據集

train, test = train_test_split(data, n_test)

# 用訓練集中的數據填充歷史

history = [x for x in train]

# 遍歷測試集中的每個時間步

for i in range(len(test)):

# 將測試行分為輸入和輸出列

testX, testy = test[i, :-1], test[i, -1]

# 在歷史數據上擬合模型並做預測

yhat = xgboost_forecast(history, testX)

# 在預測列表中儲存預測

predictions.append(yhat)

# 為下一個循環在歷史中添加真實觀察

history.append(test[i])

# 進度總結

print(‘>expected=%.1f, predicted=%.1f’ % (testy, yhat))

# 估計預測誤差

error = mean_absolute_error(test[:, 1], predictions)

return error, test[:, 1], predictions

調用 train_test_split（）將數據集分割成訓練集和測試集

我們定義以下函數

# 將一個單變數數據集分割成訓練/測試集

def train_test_split(data, n_test):

return data[:-n_test, :], data[-n_test:, :]

我們是用XGBRegressor類來進行但不預測。

xgboost_forecast()函數的實現如下，以訓練集和測試輸入行作為輸入，擬合模型，然後進行單步預測。

# 擬合一個xgboost模型並進行單步預測

def xgboost_forecast(train, testX):

# 將列錶轉換為數組

train = asarray(train)

# 分割為輸入和輸出列

trainX, trainy = train[:, :-1], train[:, -1]

# 擬合模型

model = XGBRegressor(objective=’reg:squarederror’, n_estimators=1000)

model.fit(trainX, trainy)

# 進行單步預測

yhat = model.predict([testX])

return yhat[0]

現在我們知道如何為預測準備時間序列數據和評估XGBoost模型。接下來我們看看如何在真實數據集上使用XGBoost。

時間序列預測中的XGBoost

本節中，我們將探索如何用XGBoost來進行時間序列預測。

我們使用一個標準的單變數時間序列數據集，並計劃使用該模型來進行單步預測。

你可以使用本節中的程式碼作為你自己項目的出發點。你可以輕易的將它拓展為多變數輸入，多變數預測，以及多步預測。

我們使用每日女性出生數量數據集，包括三年來每個月的出生數。

你可以在這裡下載數據集，文件名為「daily-total-female-births.csv「，並放入你當前的工作路徑下。

數據集前幾行如下所示：

“Date”,”Births”

“1959-01-01”,35

“1959-01-02”,32

“1959-01-03”,30

“1959-01-04”,31

“1959-01-05”,44

…

首先，我們載入數據集並做圖。

完整的例如如下：

# 載入時間序列數據集並作圖

from pandas import read_csv

from matplotlib import pyplot

# 載入數據集

series = read_csv(‘daily-total-female-births.csv’, header=0, index_col=0)

values = series.values

# 為數據集作圖

pyplot.plot(values)

pyplot.show()

運行常式，得到數據集的線圖。

我們可以看到沒有明顯的趨勢或季節性。

每月出生數時間序列數據集線圖

一個基準線模型在預測最近12個月時可以得到6.7出生數的MAE。這可以作為模型性能的基準。比這更好的模型可以認為是更具備技巧的。

接下來我們通過在數據集上使用最近12個月數據進行單步預測來評估XGBoost模型。

我們將只用最近三個時間步作為模型輸入以及默認的模型超參數，輸了我們將損失函數變為『reg:squarederror『（避免警報），以及在集成中使用1000個樹（避免欠擬合）。

完整的例子如下：

# 使用xgboost預測每月出生數

from numpy import asarray

from pandas import read_csv

from pandas import DataFrame

from pandas import concat

from sklearn.metrics import mean_absolute_error

from xgboost import XGBRegressor

from matplotlib import pyplot

# 將時間序列數據集轉換為監督學習數據集

def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):

n_vars = 1 if type(data) is list else data.shape[1]

df = DataFrame(data)

cols = list()

# 輸入序列 (t-n, … t-1)

for i in range(n_in, 0, -1):

cols.append(df.shift(i))

# 預測序列 (t, t+1, … t+n)

for i in range(0, n_out):

cols.append(df.shift(-i))

# 合併

agg = concat(cols, axis=1)

# 丟棄 NaN

if dropnan:

agg.dropna(inplace=True)

return agg.values

# 將單變數數據集分割為訓練/測試數據集

def train_test_split(data, n_test):

return data[:-n_test, :], data[-n_test:, :]

# 擬合xgboost模型並進行單步預測

def xgboost_forecast(train, testX):

# 將列錶轉換為數組

train = asarray(train)

# 分割為輸入和輸出列

trainX, trainy = train[:, :-1], train[:, -1]

# 模型擬合

model = XGBRegressor(objective=’reg:squarederror’, n_estimators=1000)

model.fit(trainX, trainy)

# 進行單步預測

yhat = model.predict(asarray([testX]))

return yhat[0]

# 單變數數據集的前進式驗證

def walk_forward_validation(data, n_test):

predictions = list()

# 數據集分割

train, test = train_test_split(data, n_test)

# 將訓練數據集填入歷史

history = [x for x in train]

# 遍歷測試集中所有時間步

for i in range(len(test)):

# 將測試行分割為輸入和輸出列

testX, testy = test[i, :-1], test[i, -1]

# 擬合模型並預測

yhat = xgboost_forecast(history, testX)

# 將預測保存在預測列表中

predictions.append(yhat)

# 為下一循環將實際觀察加入歷史中

history.append(test[i])

# 過程總結

print(‘>expected=%.1f, predicted=%.1f’ % (testy, yhat))

# 估計預測誤差

error = mean_absolute_error(test[:, 1], predictions)

return error, test[:, 1], predictions

# 載入數據集

series = read_csv(‘daily-total-female-births.csv’, header=0, index_col=0)

values = series.values

# 將時間序列數據集轉換為監督學習

data = series_to_supervised(values, n_in=3)

# 評估

mae, y, yhat = walk_forward_validation(data, 12)

print(‘MAE: %.3f’ % mae)

# 作圖期望 vs 預測

pyplot.plot(y, label=’Expected’)

pyplot.plot(yhat, label=’Predicted’)

pyplot.legend()

pyplot.show()

訓練該常式，得到測試集中每一步的期和預測值，和所有預測值的MAE

我們看到模型表現好於基準線模型，他的MAE為5.3，好於6.7.

你能做更好嗎？

你可以測試不同的XGBoost超參數和時間步長作為輸入，看看是不是可以活得更好的性能。在評論下分享你的結果。

>expected=42.0, predicted=48.3

>expected=53.0, predicted=43.0

>expected=39.0, predicted=41.0

>expected=40.0, predicted=34.9

>expected=38.0, predicted=48.9

>expected=44.0, predicted=43.3

>expected=34.0, predicted=43.5

>expected=37.0, predicted=40.1

>expected=52.0, predicted=42.8

>expected=48.0, predicted=37.2

>expected=55.0, predicted=48.6

>expected=50.0, predicted=48.9

MAE: 5.356

以下線圖比較了數據集中過去12個月期望值和預測值的序列。

這給我們一種模型在測試集上表現的幾何解讀。

XGBoost中期望vs預測出生數的線圖

一旦選擇好XGBoost最終的模型配置，就可以最終確定模型並在新數據上做預測。

這被稱作樣本外預測，比如，在訓練集以外預測。這和在模型評價時做預測一樣：因為我們總是想使用和在新數據上預測時同樣的步驟來評估模型。

下面的例子展示了在所有的數據上擬合一個最終版的XGBoost模型，並在數據集之外做單步預測。

# 完成模型並使用xgboost為每月出生數做預測

from numpy import asarray

from pandas import read_csv

from pandas import DataFrame

from pandas import concat

from xgboost import XGBRegressor

# 將時間序列數據集轉換為監督學習數據集

def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):

n_vars = 1 if type(data) is list else data.shape[1]

df = DataFrame(data)

cols = list()

# 輸入序列 (t-n, … t-1)

for i in range(n_in, 0, -1):

cols.append(df.shift(i))

# 預測序列 (t, t+1, … t+n)

for i in range(0, n_out):

cols.append(df.shift(-i))

# 合併

agg = concat(cols, axis=1)

# 丟棄含有NaN的行

if dropnan:

agg.dropna(inplace=True)

return agg.values

# 載入數據集

series = read_csv(‘daily-total-female-births.csv’, header=0, index_col=0)

values = series.values

# 將時間序列數據轉換成監督學習

train = series_to_supervised(values, n_in=3)

# 分為輸入和輸出列

trainX, trainy = train[:, :-1], train[:, -1]

# 擬合模型

model = XGBRegressor(objective=’reg:squarederror’, n_estimators=1000)

model.fit(trainX, trainy)

# 為新預測建立輸入

row = values[-3:].flatten()

# 單步預測

yhat = model.predict(asarray([row]))

print(‘Input: %s, Predicted: %.3f’ % (row, yhat[0]))

運行以上常式，在所有數據上擬合XGBoost 模型。

用已知的的過去三個月數據作為一行新輸入，來預測數據集之外第一個月的數據。

Input: [48 55 50], Predicted: 46.736

延伸閱讀

如果你想再進一步了的話，本節提供了關於本主題相關的更多資料。

相關教程

小結

本教程中，你已經發現了如何為時間序列預測開發一個XGBoost模型。

另外，你學習到了：

XGBoost是分類和回歸問題的梯度提升集成演算法的實現。
時間序列數據集可以通過滑窗表示轉換成監督學習。
如何使用XGBoost模型對時間序列預測進行擬合，評估以及預測。

雷鋒字幕組是由AI愛好者組成的志願者翻譯團隊；團隊成員有大數據專家、演算法工程師、影像處理工程師、產品經理、產品運營、IT諮詢人、在校師生；志願者們來自IBM、AVL、Adobe、阿里、百度等知名企業，北大、清華、港大、中科院、南卡羅萊納大學、早稻田大學等海內外高校研究所。

了解字幕組請聯繫微信：tlacttlact

轉載請聯繫字幕組微信並註明出處：雷鋒字幕組

雷鋒網雷鋒網

如何使用XGBoost模型進行時間序列預測

教程總覽

XGBoost集成

時間序列數據準備

時間序列預測中的XGBoost

你能做更好嗎？

延伸閱讀

小結

VirMach 便宜 VPS

QNews

如何使用XGBoost模型進行時間序列預測

教程總覽

XGBoost集成

時間序列數據準備

時間序列預測中的XGBoost

你能做更好嗎？

延伸閱讀

小結

分享此文：

Related Posts

如何解決AI落地難題，構建統一協作的企業級AI平台

50 億觀眾的 「雲上奧運」，頂級媒體背後的數智化力量

不止雙5G！Redmi K30至尊紀念版為何用天璣1000+：1999元獨一無二

機器學習 | 詳解GBDT在分類場景中的應用原理與公式推導

VirMach 便宜 VPS

QNews

熱門搜尋

50 億觀眾的「雲上奧運」，頂級媒體背後的數智化力量