【概率論】隨機變數
隨機變數
定義
一般地，隨機變數是從 \(\Omega\)（樣本空間）到實數域上的函數。
累積分布函數
\(F(x) = P(X\leq x),x\in(-∞,∞)\)
離散隨機變數
是只取有限值或至多可列無限值的隨機變數。
一般地，能與整數集形成一一對應的集合就是可列無限集。
伯努利隨機變數
頻率函數為：
p(0) = 1-p\\
p(x) = 0(x\neq0,1)
\]
二項分布
假設進行 \(n\) 次獨立實驗，每次實驗成功的概率為 \(p\)，失敗的概率為 \(1-p\)，那麼成功的次數 \(X\) 參數為 \(n,p\) 的二項隨機變數。
\(p(k) = C_n^k p^k(1-p)^{n-k}\)
泊松分布
泊松分布多出現在當 \(X\) 表示在一定的時間或空間內出現的事件個數這種場合。
當 \(n\) 較大，\(p\) 較小時，泊松頻率函數可以用來近似二項概率。
參數為 \(\lambda\) 的泊松頻率函數為：
\(p(k) = \frac{\lambda ^ k}{k!}e^{-\lambda}\)
推導
考察時間段 \([0, 1)\) 事件 \(A\) 發生的次數 \(X\)。
我們將時間段均勻劃分為 \(n\) 段，並假定對於每個時間段，事件 \(A\) 恰好發生一次的概率與 \(1/n\) 成正比，設 \(p = \lambda/n\)。
因為 \(p\) 是很小的，所以我們可以將長度為 \(1/n\) 的時間段發生事件 \(A\) 次數大於 \(1\) 的概率看作是 \(0\)。
那麼 \(X\) 顯然是服從參數為 \((n, p)\) 的二項分布的（記為 \(X\sim B(n, p)\)），因此有
\(p(k) = C_n^k (\frac{\lambda}{n})^k(1-\frac{\lambda}{n})^{n-k}\)
當 \(n\to ∞\) 時，
\(\frac{C_n^k}{n^k} = \frac{1}{k!} \\ (1-\frac{\lambda}{n})^{n-k} = e^{-\lambda}\)
故 \(p(k) = \frac{\lambda ^ k}{k!}e^{-\lambda}\)。
連續隨機變數
密度函數
對於連續隨機變數，頻率函數被密度函數 \(f(x)\) 取代，密度函數具有性質：
\(f(x) \geq 0 \\ \int_{-∞}^∞ f(x)dx = 1\)
如果 \(X\) 是具有密度函數 \(f\) 的隨機變數，那麼它落在 \((a, b)\) 的概率為：
\(P(a<x<b) = \int_a^bf(x)dx\)
均勻密度
一般地，區間 \([a, b]\) 的均勻密度是：
\frac{1}{a-b} & x\in [a, b]\\
0 & 其它
\end{cases}
\]
指數密度
指數分布常用來刻畫生命周期或等待時間。
密度函數為：
\lambda e^{-\lambda x} & x\geq 0\\
0 & x<0
\end{cases}
\]
分布函數為：
1-e^{-\lambda x} & x\geq 0\\
0 & x<0
\end{cases}
\]
推導
假定事件 \(A\) 是無記憶性的，以無記憶性的元件壽命為例，這意味著從 \(0\) 時刻開始至少存活到到 \(t\) 時刻的概率等於 \(s\) 時刻開始至少存活至 \(s+t\) 時刻的概率是相等的。
有了這個假定，我們從 \(0\) 時刻開始考察，假設事件 \(A\) 未發生，時刻 \(\Delta T\) 發生的概率為 \(p = \lambda \Delta T\)。
記事件 \(A\) 在時刻 \(x\) 發生的概率密度為 \(f(x)\)，那麼事件 \(A\) 在時刻 \(x\) 發生（之前不發生）的概率為：
\(f(x)\Delta T = (1-p)^{x/\Delta T -1}p\)
因此 \(f(x) = \lim_{\Delta T\to 0}(1-\lambda\Delta T)^{x/\Delta T-1}\lambda = \lambda e^{-\lambda x}\)
正態分布
\(f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},~x\in(-\infty, +\infty),\mu \in(-\infty,+\infty),~\sigma\in(0,+\infty)\)
\(\mu\) 稱為均值，\(\sigma\) 稱為標準差。
推導很複雜的樣子
qwq，待補。
隨機變數的函數
\(X\) 為具有密度為 \(f_X(x)\) 的隨機變數，隨機變數 \(Y=g(X)\)（其中 \(g\) 可微並在區間 \(I\) 上單調），那麼 \(f_Y(y) = f_X(g^{-1}(y))|\frac{dg^{-1}(y)}{dy}|\)
推導
不妨設 \(g\) 單調遞增。
\(F_Y(y) = P(Y\leq y) = P(g(X)\leq y) = P(X\leq g^{-1}(y)) = F_X(g^{-1}(y))\)，對 \(y\) 求導即得：
\(f_Y(y) = f_X(g^{-1}(y)) \frac{dg^{-1}(y)}{dy}\)
\(g\) 單調遞減的情況完全類似，有 \(f_Y(y) = -f_X(g^{-1}(y)) \frac{dg^{-1}(y)}{dy}\)
故我們統一寫成 \(f_Y(y) = f_X(g^{-1}(y))|\frac{dg^{-1}(y)}{dy}|\)。
