­

多元統計分析04:多元正態分布的抽樣分布

Chapter 4:多元正態分布的抽樣分布

一、正態變數二次型的分布

Part 1:分類獨立的正態變數二次型

關於正態變數二次型的分布,首先考慮分量獨立且同方差的情況。記 \(X=\left(X_1,X_2,\cdots,X_n\right)’\) 是一個正態隨機向量,這裡我們首先考慮 \(X\sim N_n\left(\mu,\sigma^2I_n\right)\) 的情況,其中 \(\mu=\left(\mu_1,\mu_2,\cdots,\mu_n\right)’\)

設非隨機矩陣 \(A\) 是一個 \(n\times n\) 的對稱矩陣,我們記 \(\xi=X’AX\) ,稱為隨機向量 \(X\) 的二次型。下面介紹若干正態隨機向量二次型的性質。

結論 1:考慮 \(A=I_n\)\(\mu=0\) 的情況,此時 \(\xi=X’X\) ,我們由 \(\chi^2\) 分布的定義可得

\[\frac{\xi}{\sigma^2}=\frac{1}{\sigma^2}X’X\sim\chi^2(n) \ .
\]

結論 2:考慮 \(A=I_n\)\(\mu\neq0\) 的情況,此時需要引入非中心 \(\chi^2\) 分布的定義。

如果 \(n\) 維正態隨機向量 \(X\sim N(\mu,I_n)\) ,引入非中心參數 \(\delta\) ,滿足

\[\delta=\mu’\mu=\sum_{i=1}^n\mu_i^2 \ ,
\]

則稱 \(\xi=X’X\) 服從自由度為 \(n\) ,非中心參數為 \(\delta\) 的非中心 \(\chi^2\) 分布,記為 \(\xi\sim\chi^2(n,\delta)\)

如果 \(n\) 維正態隨機向量 \(X\sim N\left(\mu,\sigma^2I_n\right)\) 且有 \(\sigma^2\neq1\) 時,令

\[Y_i=\frac{1}{\sigma}X_i\sim N\left(\frac{\mu}{\sigma},1\right) \ , \quad i=1,2,\cdots,n \ ,
\]

\(Y=\left(Y_1,Y_2\cdots,Y_n\right)’\) ,則有

\[Y’Y=\frac{1}{\sigma^2}X’X\sim\chi^2(n,\delta) \ , \quad \delta=\frac{1}{\sigma^2}\mu’\mu \ .
\]

結論 3:考慮 \(A\neq I_n\)\(\mu=0\) 的情況。

\(X\sim N_n\left(0,\sigma^2I_n\right)\)\(A\)\(n\times n\) 對稱矩陣且 \({\rm rank}(A)=r\) ,則

\[\frac{1}{\sigma^2}X’AX\sim\chi^2(r) \quad \iff \quad A^2=A \ .
\]

結論 4:考慮 \(A\neq I_n\)\(\mu\neq0\) 的情況。

\(X\sim N_n\left(\mu,\sigma^2I_n\right)\)\(A\)\(n\times n\) 對稱矩陣且 \({\rm rank}(A)=r\) ,記 \(\delta=\mu’A\mu/\sigma^2\) ,則

\[\frac{1}{\sigma^2}X’AX\sim\chi^2(r,\delta) \quad \iff \quad A^2=A \ .
\]

這裡我們只對結論 3進行證明。

\(\Longrightarrow\) :因為 \(A\) 是對稱矩陣,所以存在正交陣 \(\Gamma\) ,使得

\[\Gamma’A\Gamma={\rm diag}\left(\lambda_1,\lambda_2,\cdots,\lambda_r,0,\cdots,0\right) \ .
\]

\(Y=\Gamma’X\) ,則有 \(Y\sim N_n\left(0,\sigma^2I_n\right)\) 以及 \(X=\Gamma Y\) ,於是

\[\xi\xlongequal{def}\frac{1}{\sigma^2}X’AX=\frac{1}{\sigma^2}Y’\Gamma’A\Gamma Y=\frac{1}{\sigma^2}\sum_{i=1}^r\lambda_i Y_i^2 \ .
\]

\(Y_1,Y_2,\cdots,Y_r\) 相互獨立,同服從 \(N(0,\sigma^2)\) 分布。故 \(Y_i^2/\sigma^2\sim\chi^2(1)\ (i=1,2,\cdots,r)\) ,且相互獨立。所以 \(\xi\) 的特徵函數為

\[\varphi_\xi(t)=\prod_{i=1}^r\left(1-2i\lambda_it\right)^{-1/2} \ .
\]

又因為已知 \(\xi\sim\chi^2(r)\) ,故 \(\xi\) 的特徵函數為 \((1-2it)^{-r/2}\) 。利用

\[(1-2it)^{r/2}=\left[\prod_{i=1}^r\left(1-2i\lambda_it\right)\right]^{1/2} \ ,
\]

即可得出 \(\lambda_1=\lambda_2=\cdots=\lambda_r=1\) 的結論,於是

\[{\rm diag}\left(1,\cdots,1,0,\cdots,0\right)=\Gamma’A\Gamma=\Gamma’A\Gamma\cdot\Gamma’A\Gamma=\Gamma’A^2\Gamma \ .
\]

\(A^2=A\) ,即 \(A\) 是對稱冪等矩陣。

\(\Longleftarrow\) :因為 \(A\) 是對稱冪等矩陣,而對稱冪等矩陣的特徵值非 \(0\)\(1\) ,且只有 \(r\) 個非 \(0\) 特徵值,即存在正交矩陣 \(\Gamma\) ,使得

\[\Gamma’A\Gamma=\begin{bmatrix}
I_r & O \\
O & O
\end{bmatrix} \ .
\]

\(Y=\left(Y_1,Y_2,\cdots,Y_n\right)’=\Gamma’X\) ,即 \(X=\Gamma Y\) ,則有

\[Y\sim N_n\left(0,\sigma^2\Gamma’I_n\Gamma\right)=N_n\left(0,\sigma^2I_n\right) \ .
\]

進而有

\[\frac{1}{\sigma^2}X’AX=\frac{1}{\sigma^2}Y’\Gamma’A\Gamma Y=\frac1{\sigma^2}Y’\begin{bmatrix}
I_r & O \\
O & O
\end{bmatrix} Y=\frac{1}{\sigma^2}\sum_{i=1}^rY_i^2 \ .
\]

因為 \(Y_i\sim N\left(0,\sigma^2\right) \ (i=1,2,\cdots,r)\) 且相互獨立,所以

\[\xi=\frac{1}{\sigma^2}X’AX=\frac{1}{\sigma^2}\sum_{i=1}^rY_i^2\sim\chi^2(r) \ .
\]

關於正態隨機向量的二次型和線性函數的獨立性問題,還有以下兩個結論。

結論 5:二次型與線性函數的獨立性:設 \(X\sim N_n\left(\mu,\sigma^2I_n\right)\)\(A\)\(n\times n\) 對稱矩陣,\(B\)\(m\times n\) 矩陣,則 \(BX\)\(X’AX\) 相互獨立的充分必要條件是 \(BA=O\)

結論 6:兩個二次型的獨立性:設 \(X\sim N_n\left(\mu,\sigma^2I_n\right)\)\(A\)\(B\) 均是 \(n\times n\) 對稱矩陣,則 \(X’AX\)\(X’BX\) 相互獨立的充分必要條件是 \(AB=O\)

Part 2:一般情形的正態變數二次型

關於一般情形的正態變數二次型的分布,記 \(X=\left(X_1,X_2,\cdots,X_p\right)’\) 是一個正態隨機向量,這裡我們主要考慮 \(X\sim N_p\left(\mu,\Sigma\right),\,\Sigma>0\) 的情況。這裡我們要討論的正態變數二次型的性質,和分量獨立且同方差的情形類似,所以我們不再對 \(\mu\) 是否為 \(0\) 展開討論,因此我們將一般情形的正態變數二次型的性質總結為以下三個結論。

結論 1:設 \(X\sim N_p\left(\mu,\Sigma\right),\,\Sigma>0\) ,則 \(X’\Sigma^{-1}X\sim\chi^2(p,\delta)\) ,其中 \(\delta=\mu’\Sigma^{-1}\mu\)

因為 \(\Sigma>0\) ,由正定矩陣的分解可得 \(\Sigma=CC’\) ,其中 \(C\) 為非退化方陣。

\(Y=C^{-1}X\) ,即 \(X=CY\) ,則有 \(Y\sim N_p\left(C^{-1}\mu,C^{-1}\Sigma\left(C^{-1}\right)’\right)\)

因為 \(\Sigma=CC’\) ,所以 \(Y\sim N_p\left(C^{-1}\mu,I_p\right)\) ,且有

\[X’\Sigma^{-1}X=Y’C’\Sigma^{-1}CY=Y’Y\sim\chi^2(p,\delta) \ .
\]

其中,非中心參數為

\[\delta=\left(C^{-1}\mu\right)’\left(C^{-1}\mu\right)=\mu’\Sigma^{-1}\mu \ .
\]

結論 2:設 \(X\sim N_p\left(\mu,\Sigma\right),\,\Sigma>0\)\(A\)\(p\times p\) 的對稱矩陣,且 \({\rm rank}(A)=r\) ,則有

\[(X-\mu)’A(X-\mu)\sim\chi^2(r) \quad \iff \quad \Sigma A\Sigma A\Sigma=\Sigma A\Sigma \ .
\]

\(\Sigma>0\) 可知 \({\rm rank}(\Sigma)=p\) ,且存在正交矩陣 \(\Gamma\)\(\lambda_i\ (i=1,2,\cdots,p)\) ,使得 \(\Sigma=\Sigma^{1/2}\cdot \Sigma^{1/2}\) ,其中

\[\Sigma^{1/2}=\Gamma{\rm diag}\left(\sqrt{\lambda_1},\sqrt{\lambda_2},\cdots,\sqrt{\lambda_p}\right)\Gamma’ \ .
\]

\(\Sigma^{1/2}\) 稱為 \(\Sigma\) 的平方根矩陣。記

\[\Sigma^{-1/2}=\Gamma{\rm diag}\left(\frac1{\sqrt{\lambda_1}},\frac1{\sqrt{\lambda_2}},\cdots,\frac1{\sqrt{\lambda_p}}\right)\Gamma’ \ ,
\]

顯然有 \(\Sigma^{1/2}\Sigma^{-1/2}=I_p\) 。令 \(Y=\Sigma^{-1/2}\left(X-\mu\right)\) ,則有

\[{\rm Var}(Y)=\Sigma^{-1/2}\Sigma\Sigma^{-1/2}=\Sigma^{-1/2}\Sigma^{1/2}\Sigma^{1/2}\Sigma^{-1/2}=I_p \ .
\]

所以有 \(Y\sim N_p\left(0,I_p\right)\) ,且有

\[(X-\mu)’A(X-\mu)=Y’\Sigma^{1/2}A\Sigma^{1/2}Y\xlongequal{def}Y’CY \ .
\]

其中 \(C=\Sigma^{1/2}A\Sigma^{1/2}\) ,且 \({\rm rank}(C)={\rm rank}(A)=r\) 。由分類獨立的正態變數二次型的結論3可知

\[\begin{aligned}
Y’CY\sim\chi^2(r) \quad & \iff \quad C^2=C \\ \\
&\iff \quad \Sigma^{1/2}A\Sigma^{1/2}\cdot\Sigma^{1/2}A\Sigma^{1/2}=\Sigma^{1/2}A\Sigma^{1/2} \\ \\
&\iff \quad \Sigma A\Sigma A\Sigma=\Sigma A\Sigma \ .
\end{aligned}
\]

結論 3:設 \(X\sim N_p\left(\mu,\Sigma\right),\,\Sigma>0\)\(A\)\(B\)\(p\times p\) 的對稱矩陣,則二次型 \((X-\mu)’A(X-\mu)\) 與二次型 \((X-\mu)’B(X-\mu)\) 相互獨立的充分必要條件為 \(\Sigma A\Sigma B\Sigma=O_{p\times p}\)

\(Y=\Sigma^{-1/2}(X-\mu)\sim N_p\left(0,I_p\right)\) ,則有

\[(X-\mu)’A(X-\mu)=Y’\Sigma^{1/2}A\Sigma^{1/2}Y \ ,\\ \\ (X-\mu)’B(X-\mu)=Y’\Sigma^{1/2}B\Sigma^{1/2}Y \ .
\]

分類獨立的正態變數二次型的結論6可知,\(Y’\Sigma^{1/2}A\Sigma^{1/2}Y\)\(Y’\Sigma^{1/2}B\Sigma^{1/2}Y\) 相互獨立的充分必要條件為

\[\Sigma^{1/2}A\Sigma^{1/2}\cdot\Sigma^{1/2}B\Sigma^{1/2}=O_{p\times p} \quad \iff \quad \Sigma A\Sigma B\Sigma=O_{p\times p} \ .
\]

所以 \((X-\mu)’A(X-\mu)\)\((X-\mu)’B(X-\mu)\) 相互獨立的充分必要條件為 \(\Sigma A\Sigma B\Sigma=O_{p\times p}\)

二、Wishart分布

Part 1:Wishart分布的定義

Wishart分布是一元統計中 \(\chi^2\) 分布的推廣,在多元正態總體 \(N_p(\mu,\Sigma)\) 的抽樣分布中,Wishart分布常用來刻畫樣本離差陣的分布。這裡我們用 \(n\times p\) 的矩陣 \(X=\left(X_{(1)},X_{(2)},\cdots,X_{(n)}\right)’\) 來表示隨機樣本數據陣。

Wishart分布:設 \(X_{(\alpha)}\sim N_p\left(0,\Sigma\right)\ (\alpha=1,2,\cdots,n)\) 相互獨立,定義隨機陣

\[W=\sum_{\alpha=1}^nX_{(\alpha)}X_{(\alpha)}’=X’X \ ,
\]

則稱隨機陣 \(W\) 的分布為Wishart分布,記為 \(W\sim W_p(n,\Sigma)\)

非中心Wishart分布:設 \(X_{(\alpha)}\sim N_p\left(\mu,\Sigma\right)\ (\alpha=1,2,\cdots,n)\) 相互獨立,記

\[M=\begin{bmatrix}
\mu_1 & \cdots & \mu_p \\
\vdots & & \vdots \\
\mu_1 & \cdots & \mu_p
\end{bmatrix}=\boldsymbol1_n\mu’ \ , \quad \Delta=M’M=n\mu\mu’ \ .
\]

則稱 \(W=X’X\) 服從非中心參數為 \(\Delta\) 的非中心Wishart分布,記為 \(W\sim W_p(n,\Sigma,\Delta)\)

一般的非中心Wishart分布:設 \(X_{(\alpha)}\sim N_p\left(\mu_\alpha,\Sigma\right)\ (\alpha=1,2,\cdots,n)\) 相互獨立,記

\[M=\begin{bmatrix}
\mu_{11} & \cdots & \mu_{1p} \\
\vdots & & \vdots \\
\mu_{n1} & \cdots & \mu_{np}
\end{bmatrix}=\begin{bmatrix}
\mu_{1}’\\
\vdots \\
\mu_{n}’
\end{bmatrix} \ , \quad \Delta=M’M=\sum_{\alpha=1}^n\mu_\alpha\mu_\alpha’ \ .
\]

則稱 \(W=X’X\) 服從非中心參數為 \(\Delta\) 的非中心Wishart分布,記為 \(W\sim W_p(n,\Sigma,\Delta)\)

在保證抽取的隨機樣本肯定是同方差的前提下,區分Wishart分布是中心的還是非中心的,以及非中心參數的情況如何,關鍵在於隨機樣本是否來自於同一個多元正態總體,以及多元正態總體是否為零均值的。以上三種Wishart分布的非中心參數分別對應了三種不同情況:

  1. 若樣本來自於一個零均值多元正態總體,則隨機陣 \(W\) 服從中心Wishart分布;
  2. 若樣本來自於一個非零均值多元正態總體,則隨機陣 \(W\) 服從非中心Wishart分布;
  3. 若樣本來自於多個均值不等的多元正態總體,則隨機陣 \(W\) 服從一般的非中心Wishart分布。

對於服從Wishart分布的隨機陣 \(W\sim W_p(n,\Sigma,\Delta)\) ,參數 \(p\) 稱為隨機陣 \(W\) 的階數,參數 \(n\) 稱為自由度,參數 \(\Sigma\) 對應於多元正態總體中的協方差陣。

Part 2:Wishart分布的性質

關於Wishart分布的性質,有一些結論不需掌握其證明,只需記憶並學會應用即可。

性質 1:設 \(X_{(\alpha)},\,\alpha=1,2,\cdots,n\) 是來自 \(p\) 元正態總體 \(N_p(\mu,\Sigma)\) 的簡單隨機樣本,則樣本離差陣 \(A\) 服從Wishart分布,即

\[A=\sum_{\alpha=1}^n\left(X_{(\alpha)}-\bar{X}\right)\left(X_{(\alpha)}-\bar{X}\right)’\sim W_p\left(n-1,\Sigma\right) \ .
\]

性質 2:Wishart分布關於自由度 \(n\) 具有可加性:設隨機陣 \(W_i\sim W_p\left(n_i,\Sigma\right)\ (i=1,2,\cdots,k)\) 且相互獨立,則

\[\sum_{i=1}^kW_i\sim W_p(n,\Sigma) \ , \quad n=n_1+n_2+\cdots+n_k \ .
\]

性質 3:Wishart分布具有可線性變換性:設隨機陣 \(W\sim W_p(n,\Sigma)\)\(C\)\(m\times p\) 常數矩陣,則

\[CWC’\sim W_m\left(n,C\Sigma C’\right) \ .
\]
  • 特別地,取 \(C=\sqrt{a}I_p\) ,則有 \(aW\sim W_p\left(n,a\Sigma\right)\)

  • 特別地,取 \(C=l’=\left(l_1,l_2,\cdots,l_p\right)\) ,則有 \(\xi=l’Wl\sim W_1\left(n,l’\Sigma l\right)\) ,即

    \[\frac{\xi}{\sigma^2}=\frac{l’Wl}{\sigma^2}\sim\chi^2(n) \ , \quad \sigma^2=l’\Sigma l \ .
    \]

性質 4:分塊Wishart分布:設 \(X_{(\alpha)}\sim N_p\left(0,\Sigma\right)\ (\alpha=1,2,\cdots,n)\) 相互獨立,若協方差陣 \(\Sigma\) 和隨機陣 \(W\) 可以按照如下形式分塊:

\[\Sigma=\left[\begin{array}{c:c}
\Sigma_{11} & \Sigma_{12} \\ \hdashline
\Sigma_{21} & \Sigma_{22}
\end{array}\right]\begin{array}{l}
r \\
p-r
\end{array} \ , \quad W=\left[\begin{array}{c:c}
W_{11} & W_{12} \\ \hdashline
W_{21} & W_{22}
\end{array}\right]\begin{array}{l}
r \\
p-r
\end{array}\sim W_p(n,\Sigma) \ ,
\]

則有 \(W_{11}\sim W_r\left(n,\Sigma_{11}\right),\,W_{22}\sim W_{p-r}\left(n,\Sigma_{22}\right)\) ,且當 \(\Sigma_{12}=O\) 時,\(W_{11}\)\(W_{22}\) 相互獨立。

性質 5:條件Wishart分布:設隨機陣 \(W\sim W_p(n,\Sigma)\) ,記 \(W_{22\cdot1}=W_{22}-W_{21}W_{11}^{-1}W_{12}\) ,則

\[W_{22\cdot1}\sim W_{p-r}\left(n-r,\Sigma_{22\cdot1}\right) \ ,
\]

其中 \(\Sigma_{22\cdot1}=\Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12}\) ,且 \(W_{22\cdot1}\)\(W_{11}\) 相互獨立。

性質 6:Wishart分布的期望:設隨機陣 \(W\sim W_p(n,\Sigma)\) ,則 \({\rm E}(W)=n\Sigma\)

性質 7:觀測數據陣的二次型的分布:設 \(X\sim N_{n\times p}\left(M,I_n\otimes\Sigma \right)\)\(A\)\(n\times n\) 的對稱矩陣,則二次型 \(X’AX\sim W_p(r,\Sigma,\Delta)\) ,其中 \(\Delta=M’AM\) 的充分必要條件為 \(A^2=A\)\({\rm rank}(A)=r\)

性質 8:觀測數據陣的二次型的獨立性:設 \(X\sim N_{n\times p}\left(M,I_n\otimes\Sigma \right)\)\(A\)\(B\) 均 為 \(n\times n\) 的對稱冪等矩陣,則二次型 \(X’AX\)\(X’BX\) 相互獨立的充分必要條件為 \(AB=O\)

三、Hotelling \(T^2\) 分布

Part 1:Hotelling \(T^2\) 分布的定義

Hotelling \(T^2\) 分布是一元統計中 \(t\) 分布的推廣。在一元統計中,服從自由度為 \(n\)\(t\) 分布的隨機變數被定義為

\[t=\frac{X}{\sqrt{\xi/n}}\sim t(n) \ ,
\]

其中 \(X\sim N(0,1),\,\xi\sim\chi^2(n)\)\(X\)\(\xi\) 相互獨立。如果我們考慮隨機變數 \(t^2=nX^2/\xi\) 的分布,並將其推廣到多元統計中,即可得到Hotelling \(T^2\) 分布的定義。

Hotelling \(T^2\) 分布:設 \(X\sim N_p\left(0,\Sigma\right)\) ,隨機陣 \(W\sim W_p\left(n,\Sigma\right)\ (\Sigma>0,\,n\geq p)\) ,且 \(X\)\(W\)​ 相互獨立,定義隨機變數

\[T^2=nX’W^{-1}X \ ,
\]

則稱隨機變數 \(T^2\) 的分布為Hotelling \(T^2\) 分布,記為 \(T^2\sim T^2(p,n)\)

非中心Hotelling \(T^2\) 分布:設 \(X\sim N_p\left(\mu,\Sigma\right),\,\mu\neq0\) ,隨機陣 \(W\sim W_p\left(n,\Sigma\right)\ (\Sigma>0,\,n\geq p)\) ,且 \(X\)\(W\) 相互獨立,定義隨機變數

\[T^2=nX’W^{-1}X \ ,
\]

則稱隨機變數 \(T^2\) 的分布為非中心Hotelling \(T^2\) 分布,記為 \(T^2\sim T^2(p,n,\mu)\)

注意到,非中心Hotelling \(T^2\) 分布的非中心參數直接由正態隨機向量的均值 \(\mu\) 指定,而非中心Wishart分布的非中心參數則是由定義的矩陣 \(\Delta=n\mu\mu’\) 指定。

此外,在定義Hotelling \(T^2\) 統計量時,雖然正態隨機向量與Wishart隨機陣都指定了矩陣參數 \(\Sigma\) ,但是在指定Hotelling \(T^2\) 統計量的參數時並沒有出現,這說明Hotelling \(T^2\) 統計量的分布是與參數 \(\Sigma\) 無關的,這一點將作為Hotelling \(T^2\) 分布的性質進行證明。

Part 2:Hotelling \(T^2\) 分布的性質

關於Hotelling \(T^2\) 分布的性質,其結論也是以記憶和應用為主,不需掌握大量證明。

性質 1:設 \(X_{(\alpha)},\,\alpha=1,2,\cdots,n\) 是來自 \(p\) 元正態總體 \(N_p(\mu,\Sigma)\) 的簡單隨機樣本,\(\bar{X}\)\(A\) 分別是樣本均值向量和樣本離差陣,則統計量

\[\begin{aligned}
T^2&=(n-1)\left[\sqrt{n}\left(\bar{X}-\mu\right)\right]’A^{-1}\left[\sqrt{n}\left(\bar{X}-\mu\right)\right] \\ \\
&=n(n-1)\left(\bar{X}-\mu\right)’A^{-1}\left(\bar{X}-\mu\right)\sim T^2(p,n-1) \ .
\end{aligned}
\]

樣本均值向量 \(\bar{X}\) 和樣本離差陣 \(A\) 的分布分別為

\[\bar{X}\sim N_p\left(\mu,\frac1n\Sigma\right) \ , \quad A\sim W_p(n-1,\Sigma) \ .
\]

於是有

\[\sqrt{n}\left(\bar{X}-\mu\right)\sim N_p\left(0,\Sigma\right) \ .
\]

又因為 \(\bar{X}\)\(A\) 相互獨立,所以 \(\sqrt{n}\left(\bar{X}-\mu\right)\)\(A\) 相互獨立。由Hotelling \(T^2\) 分布的定義可知,統計量 \(T^2\sim T^2(p,n-1)\)

性質 2\(T^2\) 分布與 \(F\) 分布之間的關係:設 \(T^2\sim T^2(p,n)\) ,則

\[\frac{n-p+1}{np}T^2\sim F(p,n-p+1) \ .
\]

性質 3:設 \(X_{(\alpha)},\,\alpha=1,2,\cdots,n\) 是來自 \(p\) 元正態總體 \(N_p(\mu,\Sigma)\) 的簡單隨機樣本,\(\bar{X}\)\(A\) 分別是樣本均值向量和樣本離差陣,定義統計量 \(T^2=n(n-1)\bar{X}’A^{-1}\bar{X}\) 則有

\[\frac{n-p}{n}\frac{T^2}{n-1}\sim F(p,n-p,\delta) \ .
\]

其中 \(\delta=n\mu’\Sigma^{-1}\mu\) 為非中心 \(F\) 分布的非中心參數。

性質 4\(T^2\) 統計量的分布只與 \(p\)\(n\) 有關,與 \(\Sigma\) 無關。

\(U\sim N_p\left(0,I_p\right),\,W_0\sim W_p\left(n,I_p\right)\)\(U\)\(W_0\) 相互獨立。

要證 \(T^2\) 統計量的分布與 \(\Sigma\) 無關,只要證對任何隨機變數 \(T^2=nX’W^{-1}X\) ,都與標準正態隨機向量 \(U\) 和對應的Wishart統計量 \(W_0\) 構成的 \(T^2\) 統計量 \(T_0^2=nU’W_0^{-1}U\) 同分布即可。

因為 \(X\sim N_p\left(0,\Sigma\right),\,W\sim W_p\left(n,\Sigma\right)\) ,則有 \(\Sigma^{-1/2}X\sim N_p\left(0,I_p\right)\)\(\Sigma^{-1/2}W\Sigma^{-1/2}\sim W_p\left(n,I_p\right)\) ,故

\[U\xlongequal{d}\Sigma^{-1/2}X \ , \quad W_0\xlongequal{d}\Sigma^{-1/2}W\Sigma^{-1/2} \ .
\]

所以有

\[T_0^2=nU’W_0^{-1}U\xlongequal{d}nX’W^{-1}X=T^2\sim T^2(p,n) \ .
\]

性質 5\(T^2\) 統計量對非退化變換不變:設 \(X_{(\alpha)},\,\alpha=1,2,\cdots,n\) 是來自 \(p\) 元正態總體 \(N_p(\mu,\Sigma)\) 的簡單隨機樣本,記 \(A_x\) 表示樣本離差陣,則有

\[T_x^2=n(n-1)\left(\bar{X}-\mu\right)’A_x^{-1}\left(\bar{X}-\mu\right)\sim T^2(p,n-1) \ .
\]

若存在 \(p\times p\) 的非退化常數矩陣 \(C\)\(p\) 維常向量 \(d\) ,使 \(Y_{(\alpha)}=CX_{(\alpha)}+d,\,\alpha=1,2,\cdots,n\) ,則有

\[T_y^2=T_x^2\sim T^2(p,n-1) \ .
\]

如果將 \(Y_{(\alpha)},\,\alpha=1,2,\cdots,n\) 寫成數據陣的形式,注意到 \(Y=XC’+\boldsymbol1_pd’\) ,於是有

\[\bar{Y}=C\bar{X}+d \ , \quad A_y=CA_xC’ \ .
\]

於是

\[\begin{aligned}
T_y^2&=n(n-1)\left(\bar{Y}-C\mu-d\right)’A_y^{-1}\left(\bar{Y}-C\mu-d\right) \\ \\
&=n(n-1)\left(\bar{X}-\mu\right)’C’\left(C’\right)^{-1}A_x^{-1}C^{-1}C\left(\bar{X}-\mu\right) \\ \\
&=T_x^2\sim T^2(p,n-1) \ .
\end{aligned}
\]

注意,這裡的 \(T_y^2\)\(T_x^2\) 是嚴格相等,而不僅僅是同分布。

四、Wilks \(\Lambda\) 分布

Part 1:Wilks \(\Lambda\) 分布的定義

Wilks \(\Lambda\) 分布是一元統計中 \(F\) 分布的推廣,而 \(F\) 分布主要用於檢驗兩個正態總體的方差比。在多元統計中,方差變成了協方差陣,不能直接作比,因此我們需要引入一個數值來描述對矩陣的離散程度的估計,所以我們引入了廣義方差的概念。
廣義方差:對於多元正態總體 \(X\sim N_p(\mu,\Sigma)\) ,我們將協方差陣的行列式 \(|\Sigma|\) 稱為 \(X\) 的廣義方差;對於來自多元正態總體的簡單隨機樣本 \(X_{(\alpha)},\,\alpha=1,2,\cdots,n\) ,我們將 \(\left|\dfrac1nA\right|\)\(\left|\dfrac1{n-1}A\right|\) 稱為樣本廣義方差。

Wilks \(\Lambda\) 分布:設 \(A_1\sim W_p\left(n_1,\Sigma\right),\,A_2\sim W_p\left(n_2,\Sigma\right)\ (\Sigma>0,\,n_1\geq p,\,n_2\geq p)\) ,且 \(A_1\)\(A_2\) 相互獨立,定義廣義方差之比為

\[\Lambda=\frac{\left|A_1\right|}{\left|A_1+A_2\right|} \ ,
\]

\(\Lambda\) 的分布稱為Wilks分布,將 \(\Lambda\) 稱為Wilks統計量或 \(\Lambda\) 統計量,記為 \(\Lambda\sim\Lambda(p,n_1,n_2)\)

特別地,當 \(p=1\) 時, \(\Lambda\) 統計量的分布正是一元統計中的Beta分布 \(\Beta(n_1/2,n_2/2)\)

Part 2:Wilks \(\Lambda\) 分布的性質

性質 1:當 \(n_2=1\) 時,設 \(n=n_1>p\) ,則有

\[\begin{aligned}
&\Lambda(p,n,1)\xlongequal{d}\frac{1}{1+\dfrac{1}{n}T^2(p,n)} \ . \\ \\
&T^2(p,n)\xlongequal{d}n\cdot\frac{1-\Lambda(p,n,1)}{\Lambda(p,n,1)} \ . \\ \\
&\frac{n-p+1}{np}T^2(p,n)\xlongequal{d}\frac{n-p+1}{n}\frac{1-\Lambda(p,n,1)}{\Lambda(p,n,1)}\xlongequal{d}F(p,n-p+1) \ .
\end{aligned}
\]

性質 2:當 \(n_2=2\) 時,設 \(n=n_1>p\) ,則有

\[\frac{n-p+1}{p}\frac{1-\sqrt{\Lambda(p,n,2)}}{\sqrt{\Lambda(p,n,2)}}\xlongequal{d}F(2p,2(n-p+1)) \ .
\]

性質 3:當 \(p=1\) 時,則有

\[\frac{n_1}{n_2}\frac{1-\Lambda\left(1,n_1,n_2\right)}{\Lambda\left(1,n_1,n_2\right)}\xlongequal{d} F\left(n_2,n_1\right) \ .
\]

性質 4:當 \(p=2\) 時,則有

\[\frac{n_1-1}{n_2}\frac{1-\sqrt{\Lambda\left(2,n_1,n_2\right)}}{\sqrt{\Lambda\left(2,n_1,n_2\right)}}\xlongequal{d} F\left(2n_2,2(n_1-1)\right) \ .
\]

性質 5:設 \(\Lambda\sim\Lambda\left(p,n_1,n_2\right)\) ,當 \(n_2>2,\,p>2\) 時,可以用 \(\chi^2\) 統計量作為 \(\Lambda\) 統計量的近似,即當 \(n_1\to\infty\) 時,有

\[-r\ln\Lambda\sim\chi^2\left(pn_2\right) \ , \quad r=n_1-\frac12\left(p-n_2+1\right) \ .
\]

性質 6:若 \(\Lambda\sim\Lambda\left(p,n_1,n_2\right)\) ,則存在 \(B_k\sim\Beta\left(\dfrac{n_1-p+k}{2},\dfrac{n_2}{2}\right),\,k=1,2,\cdots,p\) 且相互獨立,使得

\[\Lambda\xlongequal{d}B_1B_2\cdots B_p \ .
\]

該性質說明 \(\Lambda\) 統計量可以看成若干個相互獨立的 \(\Beta\) 統計量的乘積。

性質 7:若 \(n_2<p\) ,則

\[\Lambda\left(p,n_1,n_2\right)\xlongequal{d}\Lambda\left(n_2,p,n_1+n_2-p\right) \ .
\]

該性質是一元統計中 \(F(n,m)\xlongequal{d}1/F(m,n)\) 的推廣。