基於神經網路的證據推理方法在證券市場專家群體預測資訊融合與決策中的應用

• 2020 年 4 月 29 日
• 筆記
• 證據融合理論

1. 證券市場專家群體預測方法概述

0x1：為什麼需要專家群體預測

在證券投資分析中，把握投資時機對取得投資收益具有重要作用。證券公司和證券諮詢機構往往會阻止專業證券分析人員，對證券市場的變化趨勢進行分析預測，以幫助投資者進行投資決策。

在互聯網網站上公布有很多證券公司的證券分析專家對證券市場變化趨勢的預測結果，如果科學地將這些預測資訊進行合成得到高品質的預測結果，並在預測的基礎上進行證券投資決策是利用互聯網上專家群體進行預測與決策所要解決的重要問題。

同時，證券市場的預測具有不確定的因素，一般將證券市場的變化趨勢分為以下三種狀態：

• 上漲
• 持平
• 下跌

不同的證券諮詢專家對證券市場的變化趨勢的分析預測存在差異、甚至是互相衝突的。所以，我們需要尋找能夠將多個專家的預測進行融合的方法，從而進行更好的預測。

0x2：傳統的專家群體預測方法（基於統計的投票表決法）

傳統的預測方法是，以統計的方法將預測結果相同的專家意見進行累加，公布有多少專家預測證券市場上漲、有多少專家預測下跌、有多少專家預測持平（變動幅度<0.25%）。

這樣預測證券市場的漲跌，是以多數專家意見為依據的，若認為上漲的專家人數多，則認為預測結果為上漲。

通過對某網站上公布的52位專家對上海證券交易所股票指數半年預測結果數據的複核，該方法的預測準確率僅為33.08%。而該網站專家個人的預測準確率的均值為36.23%，以預測次數為權的加權均值為34.03%，均方差為0.1312.

從上述對預測結果的檢驗來看，傳統的基於統計的專家群體預測方法，得到的結果對決策者來說沒有什麼實用價值。

導致這個問題的原因是什麼呢？

利用領域專家群體對複雜的不確定事件進行預測，不同專家的預測意見的重要性與可靠性不同，預測意見還可能存在較強的衝突。同時，基於統計的投票表決法僅僅利用了專家當下的判斷資訊，但每個專家在單次的發揮中，往往會存在不確定性，不能穩定地輸出最客觀理性的評估結果。

0x3：個體概率集結方法

本質上來說，綜合專家個體的預測意見是不確定性資訊的融合問題，一般採用個體概率集結的方法。

個體概率集結即是集結 n 個成員（n≥2）組成群體的個體對一個事件的概率估計成為群體對該事件概率估計。設個體對事件 E 的概率估計為 P_t(E),(i,1,2,….,n)，群體對事件 E 的概率估計為 P_G(E)。

1、加權平均集結

集結公式為：

其中，w_i(E) 為對第 i 個個體的權重，且滿足 n 個個體的權重之和等於1。

權重的確定一般依賴於個體在過去同樣情況下獲得的績效數據，即由數據驅動的。

2、乘積集結

集結公式為：

其中，P₀(E) 為群體對事件 E 的先驗概率。

3、Bayes集結

Morris 將 Bayes規則推廣應用到群體概率集結中，假設群體的主觀判斷受 n 個專家意見的影響，則有：

但是，實際中很難有充分的數據估計和，一般只能對其進行主觀估計。

4、熵集結模型

Levy 和 Delic 利用極大熵原理建立了個體概率集結公式，之後，邱菀華提出群決策系統的熵模型。

設決策方案集合為 A={a₁，a₂，….，a_n}，決策群體集合為 E={e₁，e₂，….，e_m}，決策者 e_i 對決策方案 a_j 的評判值為：

對決策者 e_i 的權重為 ω_i(i=1,2,….,m)，且滿足：

代表群體的對決策方案的評判值為：

如果將所有的決策者對各決策方案的評價值假設為對各方案效用的概率測度，則每一個決策者對方案集合中的所有方案的離散概率測度就形成決策方案集合 A 的一個概率分布。

假設專家是在互相獨立的情況下對方案集合中各方案進行評判的，則我們可認為對各方案效用的概率測度也是相互獨立的離散隨機變數。因此，我們可以建立相對熵集結模型來集結群體的評判值。

該模型本質上是一個非線性規劃問題，對應公式如下：

從上式可知，通過對各個決策者的偏好效用值與群體偏好效用向量之間偏離值的最小化，可以求得最能代表決策群體偏好的個體集結。

求解上式即可得到群決策相對熵模型（relative entropy model，REM）演算法。

在 REM 中一般假設決策者對方案的評判值不能為零，即 x_ij ≠ 0。若專家 i 對方案 j 的評估概率為0，這時根據 REM，專家群體對方案 j 的評估概率估計也等於0。這樣就出現了所謂的獨裁現象。

在上述條件下，群決策的 REM 演算法如下：

（1）由群決策矩陣 X = [x_ij]_mxn 計算規範化矩陣 B = [b_ij]_mxn

（2）根據公式計算群偏好向量 X_g^* = [x_g1^*，x_g2^*，…，x_gn*]^T 

（3）根據 X_g^* = [x_g1^*，x_g2^*，…，x_gn*]^T 中 x_gj^* 的大小對決策方案集 A 進行排序，選擇最優方案。

筆者思考：

群決策相對熵模型的底層理論是測度論，即KL散度，REM演算法的優化目標是個體決策效用（個體決策概率分布）和群體偏好效用（群體決策概率分布）盡量接近。換句話說，演算法會傾向於保留群體中那些持主流觀點相近的專家的意見，而棄用或者輕視那些」異類觀點「。筆者認為，所謂的群體決策，本質上就是從群體中提取出」主流價值觀「。

5、個體概率集結方法的局限性

在上述合成研究中還沒有一個真正合理的方法來確定加權集結模型中的權重，而造成這些困難的原因有決策者，或者專家意見之間的相關性，專家意見有可能不真實等複雜因素。

為了解決這個問題，學者們將神經網路與證據理論相結合，用於證券市場的專家預測意見合成，建立基於神經網路與證據理論的證券市場專家預測系統。

2. 基於神經網路與證據理論的證券市場專家群體預測資訊融合方法

0x1：背景

在互聯網上參與預測的證券諮詢專家人員相對穩定，每個工作日都對證券市場進行預測。因此，利用證券諮詢專家集體意見進行預測是可驗證的、可重複的。

若證券諮詢專家對證券市場的預測正確性是相對穩定的，對過去的預測經驗能擴展到未來，則可用這些專家的歷史預測意見與實際結果建立學習樣本。用基於神經網路與證據理論的證據合成方法來合成證券諮詢專家的預測意見，提高證券市場預測的準確率。

證券諮詢專家對證券市場的預測，是該專家依據自己的知識經驗，在對證券市場與經濟環境分析的基礎上形成的。每個專家的預測意見可看成一個證據，將不同專家的意見進行融合，可看成證據合成問題。

之前的文章我們討論過，證據合成的業內主流方法是Dempster證據合成理論。各個專家對證券市場預測的準確性是不同的（同時存在相關性、與衝突性），可用加權的方法對各個專家的意見進行修正，使其能使用證據理論進行合成。 

接下來的問題就是如何確定綜合修正係數，傳統做法是通過專家領域經驗（專家之間彼此的了解，以及專家結合自己的經驗對證券市場與經濟環境分析的基礎上形成的），也可以基於神經網路與證據理論的證據合成方法來合成證券諮詢專家的預測意見，提高證券市場預測的準確率。

0x2：具體預測方法流程

基於神經網路與證據理論的群體專家預測方法，首先，通過統計分析與聚類分析，依據協同原理從眾多的證券諮詢專家中選擇預測準確率較高、資訊品質較好的專家作為意見徵集對象，建立學習樣本。

其次，應用優化理論，通過神經網路訓練得到最優的對專家意見的綜合修正係數。

在此基礎上，用優化的係數修正專家預測的意見，對修正後的專家意見採用D-S證據合成規則進行專家意見的合成，以得到專家群體的預測結果。

1、意見徵集對象選擇

設有證券諮詢專家 m 個人，從 m 個人中選擇 n 個人的預測數據作為學習樣本。證券市場的預測狀態為：

• 上漲：狀態 θ₁
• 持平：狀態 θ₂
• 下跌：狀態 θ₃
• 未知：狀態 Θ

識別框架 Θ={θ₁，θ₂，θ₃}。

2、確定綜合修正係數

設第 i 個人的基本可信數為 m_i(θ_j)，i=1,2,…,n；j=1,2,3。m_i(θ_j)對應的綜合修正係數為 a_i(θ_j)。則第 i 個專家的基本可信數的修正公式為：

a_i(θ_j)的取值用神經網路基於學習樣本進行優化，其取值範圍是 [0,1]，其初始值選擇遵循如下的啟發規則：

• 相關證據的相關焦元 C_i 的相關性越高，其對應的修正係數越小，即要對它進行較大的修正
• 證據的重要性、可靠性越高，其對應的修正係數越大，即給重要的證據分配較大的權重
• 證據衝突越高，可靠性越低，其對應的修正係數越小，即要對它進行較大的修正，將衝突的信度部分重分配給未知領域 Θ

根據證券市場的 n 個專家預測及其實際結果確定用於學習訓練的樣本，每天的數據未一個樣本，設有 P 個樣本數據。P 對訓練數據的整體誤差指標定義為：

其中，N=|2^Θ|；d_k 為第 p 個期望輸出向量的第 k 個分量，其值由學習訓練的樣本給出；m_p,k 為給網路施加第 p 個輸入向量所產生的實際輸出向量的第 k 個分量，其值可由Dempster合成公式計算得到。

優化的目標是使 E 最小，神經網路的基本學習規則是最陡下降法，它通過連續使用鏈式法則導出梯度向量。

由於證據合成的優化計算是非確定性多項式（non-deterministic polynomial，NP）問題，因此 n 的取值不易過大。

3、採用D-S證據合成規則進行專家意見的合成

對基本可信數進行修正後，用Dempster合成規則進行合成，就可得出代表專家群體的預測結果。

若將證券市場預測專家分為樂觀型、保守型、穩健型三類，並從每類專家中選取一位專家作為代表，此時，n=3，j=1,2,3，基於神經網路的證據合成表示如下：

3. 實際應用案例

這個章節，我們來通過一些實際案例，討論一下如何基於神經網路演算法，實現從訓練樣本的確定，到證據融合權重資訊的確定，到最後進行證據融合的整體流程。

0x1：預測專家群體的聚類分析 

證券市場預測專家由於學習經歷、知識結構、工作經歷的差異，專家預測問題的準確性存在差異。因此，對專家的歷史預測數據進行分析可掌握與預測專家的對特定問題的預測準確性與專家的預測特點。

一般可採用數理統計的方法，計算專家對特定問題的預測準確率、對特定問題的特定屬性的預測準確率以及專家的預測特點（這位專家是較保守的、還是激進的）。根據統計可以將不經常參與預測的專家篩選掉，初步確定進一步參與聚類分析的預測專家。

案例中預測專家預測次數的統計分布如下表所示：

在上述統計分布中取預測次數大於110次的專家為學習樣本備選專家。這樣選出32位專家，這32位專家的預測統計特性分布如下表所示：

在這個例子中，我們採用了基於包含度理論，定義貼近度與相似度指標作為聚類分析的指標。

定義第 i 位專家在第 k 個狀態上貼近度 r_i,k 為該專家對該狀態預測正確次數與實際結果該狀態出現的次數之比。

第 i 位專家的貼近度向量 R_i[r_i,1，r_i,2，r_i,3]。

定義第 i 位專家與第 j 位專家在第 k(k=1,2,3) 個狀態上的相似度為 X_i,j,k：

第 i 位與第 j 位專家的相似度向量為：

定義第 i 位專家與第 j 位專家的相似度為：

D_i,j 越接近1，說明兩個向量越接近。

用相似度進行聚類分析就可找到能反映專家意見與標準值差異的類別。具體聚類方法可以使用例如kmeans等方法實現。

在本案例中，對預測次數大於110次的32位專家進行分類。分析各類的貼近度向量模數與預測準確率，可最終聚類得到三個類別。

• A專家對上漲的預測貼近度較高，是樂觀型專家
• B專家對下跌的預測貼近度較高，是保守型專家
• C專家對上漲、下跌預測的貼近度都是較高，是穩健型專家

對聚類得到的專家群體，進行組合計算選擇最優的協同專家，組合計算的優化指標為預測的準確率最高與在準確率相同時取合成結果與標準值的誤差最小。

從上表中可以看到，基於聚類結果的專家群體，構成的組合都具有協同專家的屬性，其組合的專家意見經過優化合成其結果都優於專家中最優個人的預測意見。

在組合中最終選擇合成指標最好的協同專家是以 A(廣東金手指)、B(杭州新希望)、C(山西證券) 三位專家為實例使用的用於預測的學習樣本。學習樣本的統計特性如下表所示：

0x2：基於神經網路與證據理論的專家預測資訊融合 

在選擇具有互補性的專家預測意見作為資訊合成的對象，確定學習樣本的基礎上，利用基於神經網路與證據理論的證據合成方法，將神經網路的學習功能與證據理論的證據合成的系統完整性有機地結合起來，使專家預測意見的合成方法具有學習專家歷史預測經驗的能力，以達到合成專家的預測效果好於任何專家個人的預測意見。

學習群體專家的歷史預測經驗也就是在群體專家預測的歷史資料庫中進行數據挖掘，尋找最優的最專家預測意見的綜合修正係數，這個綜合修正係數反映了專家群體預測歷史數據中隱含的規律。

神經網路優化計算模組主要實現用神經網路的BP演算法進行綜合修正係數的優化迭代計算，演算法流程圖如下所示：

在迭代計算中，迭代計算的目標是更高的合成預測準確率與更小的迭代誤差。

合成預測結果的確定以合成基本可信數在上漲、下跌、持平三個狀態上數值為依據，三個值中的最大值所處狀態即為合成結果預測的狀態。

通過優化計算，A、B、C 三位專家的綜合修正係數分別為：

• A：0.3218，0.8025，0.5580
• B：0.1085，0.7271，0.2854
• C：0.6908，0.2584，0.7195

此時合成預測結果對學習樣本的準確率為 0.5044。該結果優於任何個人專家的預測準確率。這也很容易理解，因為訓練的原則是「最大似然估計」，優化的目標本來就是尋找所有專家的最佳組合權重。

這裡將基於神經網路與證據理論的證據合成預測方法與Yager的預測方法相比，在學習樣本中出現的主要狀態如下表所示：

0x3：基於可信度與決策報酬函數的決策

對於上一章節中得到的合成預測結果，當我們把所有的專家預測意見與合成結果都看成證據的基本可信數，並把每次預測合成得到的基本可信數的最大值對應的狀態作為預測的結論，我們可以得到在113個學習樣本中，預測正確次數為57次，預測準確率為50.4%，基於神經網路與證據理論的證據合成方法優化目標是對學習樣本整體來說，使合成結果具有最高的預測準確率。

我們將優化合成結果轉化為具體的決策動作，對各規則的可信度定義為學習樣本中該規則的正確次數與該規則前提條件出現的次數之比。

如下表所示：

從上表中可以看到，實例中各決策規則的 α 與 β 的值經過統計其值如上表所示。

當可信度取50%時，β大於10次時，只有規則2、規則5可以採用。