人工智慧必備數學基礎：高等數學基礎（1）

2020 年 12 月 16 日
筆記
人工智慧必備數學基礎

　　我們知道機器學習的特點就是：以電腦為工具和平台，以數據為研究對象，以學習為中心；是概率論，線性代數，數值計算，資訊理論，最優化理論和電腦科學等多個領域的交叉學科。所以這裡我打算補充一下機器學習涉及到的一些常用的知識點。

　　（注意：目前自己補充到的所有知識點，均按照自己網課影片中老師課程知識點走的，同時一些公式是網友辛辛苦苦敲的，文中用到那個部落格均在文末補充鏈接地址，這裡首先表示感謝！！）

1，函數

1.1 函數的定義

　　函數（function）的定義通常分為傳統定義和近代定義，函數的兩個定義本質是相同的，只是敘述概念的出發點不同，傳統定義是從運動變換的觀點出發。函數的近代定義是給定一個數據集A，假設其中的元素為x，對A中的元素施加對應法則 f ，記做 f(x)，得到另一數據集B，假設B中的元素為y，則 x 和 y 之間的等量關係可以用 y = f(x) 表示。函數概念含有三個要素：定義域A，值域B和對應法則 f 。其中核心為對應法則 f，它是函數關係的本質特徵。

　　在一個變換過程中，發生變化的量叫變數（數學中，變數為 x ，而 y 則隨 x 值的變化而變化），有些數值是不隨變數而改變的，我們稱他們為常量。

　　自變數（函數）：一個與它量有關係的變數，這一量中的任何一值都能在它量中找到對應的固定值。

　　因變數（函數）：隨著自變數的變化而變化，且自變數取唯一值時，因變數（函數）有且只有唯一值與其對應。

　　函數值：在 y 是 x 的函數中，x 確定一個值，y 就隨之確定一個值，當 x 取 a 時， y 就隨之確定為 b，b 就叫做 a 的函數值。

　　注意：符號只是一種表示，任何符號都是幫助我們理解的，它本身沒有特殊的含義。都是我們給予賦值操作，也可以如下：

1.2 常見的幾種函數

　　分段函數：就是對於自變數x 的不同取值範圍，有著不同的解析式的函數。它是一個函數，而不是幾個函數；分段函數的定義域是各段函數定義域的並集，值域也是各段函數值域的並集。

　　反函數：一般來說，設函數 y = f(x) 的值域為C，若是找得到一個函數 g(y) 在每一處 g(y) 都等於 x，這樣的函數 x = g(y) 叫做函數 y = f(x) 的反函數，記做 x = f^-1(y)。反函數 x = f^-1(y) 的定義域，值域分別為函數 y = f(x) 的值域，定義域。最具代表性的反函數就是對數函數與指數函數。

　　顯函數與隱函數：顯函數是函數的類型之一，解析式中明顯的用一個變數的代數式表示另一個變數時，稱為顯函數；如果方程F(x, y) =0 能確定 y 是 x 的函數，那麼稱這種方式表示的函數是隱函數。

　　狄利克雷函數：是一個定義在實數範圍內，值域不連續的函數。狄利克雷函數的影像以Y軸為對稱軸，是一個偶函數，它處處不連續，處處極限不存在，不可黎曼積分。這是一個處處不連續的可測函數。

　　實數域上的狄利克雷（Dirichlet）函數表示為：

　　其中：k,j 為整數。

　　也可以簡單的表示為分段函數的形式，如下：

　　狄利克雷函數的性質：

1，定義域為整個實數域R，值域為{0, 1}，函數為偶函數
2，無法畫出函數周期，但是它的函數影像客觀存在
3，以任意正有理數為其周期，無最小正周期（由實數的連續統理論可知其無最小正周期）
4，處處不連續，處處不可導，在任何區間內黎曼不可積
5，函數是可測函數
6，函數是周期函數，但是卻沒有最小正周期，它的周期是任意負有理數和正有理數。因為不存在最小負有理數和正有理數，所以狄利克雷函數不存在最小正周期

　　黎曼函數：是一個特殊函數，由德國數學家黎曼發現提出，黎曼函數定義在 [0, 1]上。黎曼函數在高數中被廣泛應用，在很多情況下可以作為反例來驗證某些函數方面的待證命題。

　　其基本定義如下：

　　正態分布：

　　（μ 是期望， σ² 是方差）

　　標準正態分布：

　　（μ 是期望=0， σ² 是方差=1）

1.3 函數的特性

有界性

　　設函數 f(x) 在區間 X 上有定義，如果存在 M>0，對於一切屬於區間 X 上的 x，恆有 | f(x) | <= M，則稱 f(x) 在區間 X上有界，否則稱 f(x) 在區間上無界。

奇偶性

　　設 f(x) 為一個實變數實值函數，若此函數關於 y 軸對稱，則稱 f(x) 為偶函數。

　　　　　　 f(-x) = f(x)

　　偶函數例子：

　　設 f(x) 為一個實變數實值函數，若此函數關於原點對稱，則稱 f(x) 為奇函數。

　　　　　　f(-x) = -f(x)

　　奇函數例子：

周期性

　　設函數 f(x) 的定義域為D。如果存在一個正數 T，使得對於任一 x 屬於 D 有（x+-T）屬於D，且 f(x + T) = f(x)恆成立，則稱 f(x) 為周期函數， T稱為 f(x) 的周期，通常我們說周期函數是指最小正周期。公式如下：

　　周期函數的定義域 D為至少一邊的無界區間，若 D 為有界的，則該函數不具周期性。並非每個周期函數都有最小正周期，例如狄利克雷函數。

單調性

　　設函數 f(x) 的定義域為 D，區間 I 包含於 D。如果對於區間上任意兩點 x1 及 x2，當 x1 < x2 時，恆有 f(x1) < f(x2)，則稱函數 f(x) 在區間 I 上是單調遞增的；如果對於區間 I 上任意兩點 x1 及 x2，當 x1 < x2時，恆有 f(x1) > f(x2)，則稱函數 f(x) 在區間 I 上是單調遞減的。單調遞增和單調遞減函數統稱為單調函數。

1.4 函數的極限

　　學習極限之前，先看一下數列：

數列

　　數列（sequence of number）是以正整數集為定義域的函數，是一列有序的數；即按照一定次數排列的一列數：u1, u2, … u_n, …，其中排在第一位的數列為這個數列的第一項（也叫首項）， u_n 叫做通項。

　　著名的數列有：斐波那契數列，三角函數，楊輝三角等。

　　對於數列 {u_n} ，如果當 n 無限增大時，其通項無限接近於一個常數 A，則稱該數列以 A 為極限或稱數列收斂於 A，否則稱數列為發散：

　　舉個例子：

函數極限

　　極限定義：設函數 f(x) 在點 x0 的某一去心鄰域內有定義，如果存在常數A，對於任意給定的正數 ε （無論它多麼小），總存在正數 δ ，使得當 x 滿足不等式 0 < |x – x0| < δ 時，對應的函數值 f(x) 都滿足不等式：

　　那麼常數 A 就叫做函數 f(x) 當 x——> x0 時的極限，記做：

　　函數極限可以分為下面六種：

1.5 極限存在準則

　　有些函數的極限很難或難以直接運用極限運算求得，需要先判定。下面學習幾個常用的判定數列極限的定理。

1.5.1 夾逼定理

　　（1）當 x € U(x₀, r) （這是 x₀ 的去心鄰域，有個符號打不出）時，有下面公式成立：

　　（2） f(x) 極限存在，且等於A 的條件是：

　　簡單說：就是找出一個比原式小的式子和一個比原式大的式子證明他們倆的極限相同且為a，則原式極限也為 a。

1.5.2 單調有界準則

　　單調增加（減少）有上（下）界的數列必定收斂。

　　在運用上面兩條去求函數的極限的時候尤其需要注意以下關鍵點。一是要用單調有界定理證明收斂，然後再求極限值。二是應用夾逼定理的關鍵是找出極限相同的函數，並且要滿足極限是趨於同一方向，從而證明或求得函數的極限值。

　　單調有界定理：單調有界數列必收斂（有極限）。具體的說：

　　（1）若數列 {Xn} 遞增且有上界，則：

　　（2）若數列 {Xn} 遞減且有下界，則：

1.5.3 柯西收斂準則

　　數列 {Xn} 收斂的充分必要條件是：對於任意給定的正數 ε ，總存在正整數 N，使得當 m>N，n>N時，且 m≠n，有 |Xm – Xn| < ε。我們把滿足該條件的 {Xn} 稱為柯西序列，那麼上述定理可以表述為：數列{Xn}收斂，當且僅當它是一個柯西序列。

1.6 課程中的PPT

1.7 常見函數極限公式

　　首先說一下常見函數求極限的方法：

1，分母極限為零時，分解因式，湊公式
2，當 x 趨於無窮時，除以最高指數的 Xⁿ
3，等價無窮小量代換：

　　下面看一下常見函數極限公式：

2，函數連續性與間斷點

2.1 函數連續性定義

　　設函數 f 在某鄰域 U(x₀) 內有定義，若當自變數的改變數 Δx 趨於零時，相應函數的改變數 Δy 也趨近於零，則稱 y=f(x) 在點 x 處連續：

　　則稱 f 在點 x₀ 處連續。

　　函數連續必須同時滿足三個條件：

1，函數在 x0 處有定義
2，x->x0時候，函數在該點處極限 lim f(x) 存在
3，x->x0時候，函數在該點處極限值 lim f(x) 等於函數值 f(x0)

　　定理1：函數 f 在點 x₀ 處連續性的充要條件是：f 在點 x₀ 既是左連續，又是右連續。

　　初等函數在其定義域內是連續的；函數 f(x) 在其定義域內每一點都連續，則稱函數 f(x) 為連續函數。下圖左為連續函數，右圖為間斷函數。

2.2 函數間斷點

　　設函數 f 在某 U⁰(x₀) 內有定義，若 f 在點 x0 無定義，或在點 x0 有定義而不連續，則稱點 x0 為函數 f 的間斷點或不連續點。

　　函數間斷點分為兩種情況：

　　1，可去間斷點：若：

　　而 f 在點 x₀ 處無定義，或有定義但 f(x₀) != A ，則稱 x₀ 為 f 的可去間斷點。

　　2，跳躍間斷點：若函數 f 在點 x0 的左，右極限都存在，但：

　　則稱點 x0 為函數 f 的跳躍間斷點。

　　可去間斷點和跳躍間斷點統稱為第一類間斷點。第一類間斷點的特點是函數在該點處的左右極限都存在。

　　函數的所有其他形式的間斷點，即使得函數至少有異側極限不存在的那些點，稱為第二類間斷點。

2.3 課程中的PPT

　　下面為連續性和間斷點的兩個例子：

3，導數

3.1 導數定義

　　設函數 y = f(x) 在點 x₀ 的某鄰域內有定義，若極限：

　　存在，則稱函數 f 在點 x₀ 處可導，並稱該極限為函數 f 在點 x₀ 處的導數，記為 f ‘(x₀)

　　f'(x) 也可以定義如下：

3.2 左右導數的幾何意義和物理意義

　　函數 f(x) 在 x₀ 處的左，右導數分別定義為：

　　左導數：

　　右導數：

3.3 常用導數公式

　　常用求導公式：

3.4 導數的四則運演算法則

　　設 u = u(x)， v = v(x) 均為 x 的可導函數，則有：

3.5 函數的可導性與連續性之間的關係

　　即連續是可導的必要條件，即函數可導必然連續；不連續必然不可導『連續不一定可導。

　　主要為以下幾個定理：

　　定理1：若函數 f 在點 x₀ 處可導，則 f 在點 x₀ 處連續。

　　注意：可導僅僅是函數在該點連續的充分條件，而不是必要條件，如函數 f(x) = |x| 在點 x=0 處連續，但不可導。

　　定理2：若函數 y = f(x) 在點 x0 的某鄰域內有定義，則 f'(x₀) 存在的充要條件是 f ‘₊(x₀) 與 f ‘_–(x₀) 都存在，且：

　　定理3（費馬定理）：設函數 f 在點 x₀ 的某鄰域內有定義，且在點 x₀ 處可導，若點 x₀ 為 f 的極值點，則必有：

　　我們稱滿足方程 f ‘ = 0 的點 o 為穩定點。

　　定理4：函數 f 在點 x₀ 可微的充要條件是函數 f 在點 x₀ 可導，而且常量 A等於 f ‘(x₀)

4，梯度

　　在學習梯度之前，先學習兩個基本概念

4.1 偏導數

　　在數學中，一個多變數的函數的偏導數，就是它關於其中一個變數的導數而保持其他變數恆定（相對於全導數，在其中所有變數都允許變換）。偏導數在向量分析和微分幾何中是很有用的。

　　在一元函數中，導數就是函數的變化率。如下圖所示，對於一元函數 y = f(x) 只存在 y 隨 x 的變化：

　　二元函數 z = f(x, y) 存在 z 隨 x 變化的變化率，隨 y 變化的變化率，隨 x, y 同時變化的變化率：

　　在 XOY 平面內，當動點由 P(x0, y0) 沿不同方向變化時，函數 f(x, y) 的變化快慢一般來說是不同的，因此就需要研究 f(x, y) 在 (x0, y0) 點處沿不同方向的變化率。在這裡我們只學習函數 f(x, y) 沿著平行於 x 軸和平行於 y 軸兩個特殊方位變動時，f(x, y) 的變化率。

　　偏導數的表示符號為：∂

　　偏導數反映的是函數沿著坐標軸正方向的變化率。

　　方向x的偏導定義：設存在函數 z = f(x, y) 在點 (x0, y0) 的某個鄰域內有定義，固定 y=y0，而讓x 在 x0 出有增量，則相應的函數 z=f(x, y) 有增量，那麼增量表示為：Δz = f(x0+Δx, y0) – f(x0, y0)。

　　如果 Δz 與 Δx 之比，當 Δx->0 時的極限存在，那麼此極限值稱為函數 z=f(x, y)在 (x0, y0) 處對 x 的偏導數，記做 f ‘_x(x0, y0) 或者函數 z = f(x, y) 在 (x0, y0) 處對 x 的偏導數，實際上就是把 y 固定在 y0 看成常數後，一元函數 f(x, y0) 在點 x = x0 處可導，即極限：

　　則稱A為函數 Z=f(x, y) 在點 (x0, y0) 處關於自變數 x 的偏導數，記做：f_x(x0, y0)，或者：