Linux 作業系統!開篇!!!

此篇文章主要會帶你介紹 Linux 作業系統,包括 Linux 本身、Linux 如何使用、以及系統調用和 Linux 是如何工作的。

Linux 簡介

UNIX 是一個互動式系統,用於同時處理多進程和多用戶同時在線。為什麼要說 UNIX,那是因為 Linux 是由 UNIX 發展而來的,UNIX 是由程式設計師設計,它的主要服務對象也是程式設計師。Linux 繼承了 UNIX 的設計目標。從智慧手機到汽車,超級電腦和家用電器,從家用台式機到企業伺服器,Linux 作業系統無處不在。

大多數程式設計師都喜歡讓系統盡量簡單,優雅並具有一致性。舉個例子,從最底層的角度來講,一個文件應該只是一個位元組集合。為了實現順序存取、隨機存取、按鍵存取、遠程存取只能是妨礙你的工作。相同的,如果命令

ls A*

意味著只列出以 A 為開頭的所有文件,那麼命令

rm A*

應該會移除所有以 A 為開頭的文件而不是只刪除文件名是 A* 的文件。這個特性也是最小吃驚原則(principle of least surprise)

最小吃驚原則一半常用於用戶介面和軟體設計。它的原型是:該功能或者特徵應該符合用戶的預期,不應該使用戶感到驚訝和震驚。

一些有經驗的程式設計師通常希望系統具有較強的功能性和靈活性。設計 Linux 的一個基本目標是每個應用程式只做一件事情並把他做好。所以編譯器只負責編譯的工作,編譯器不會產生列表,因為有其他應用比編譯器做的更好。

很多人都不喜歡冗餘,為什麼在 cp 就能描述清楚你想幹什麼時候還使用 copy?這完全是在浪費寶貴的 hacking time。為了從文件中提取所有包含字元串 ard 的行,Linux 程式設計師應該輸入

grep ard f

Linux 介面

Linux 系統是一種金字塔模型的系統,如下所示

應用程式發起系統調用把參數放在暫存器中(有時候放在棧中),並發出 trap 系統陷入指令切換用戶態至內核態。因為不能直接在 C 中編寫 trap 指令,因此 C 提供了一個庫,庫中的函數對應著系統調用。有些函數是使用彙編編寫的,但是能夠從 C 中調用。每個函數首先把參數放在合適的位置然後執行系統調用指令。因此如果你想要執行 read 系統調用的話,C 程式會調用 read 函數庫來執行。這裡順便提一下,是由 POSIX 指定的庫介面而不是系統調用介面。也就是說,POSIX 會告訴一個標準系統應該提供哪些庫過程,它們的參數是什麼,它們必須做什麼以及它們必須返回什麼結果。

除了作業系統和系統調用庫外,Linux 作業系統還要提供一些標準程式,比如文本編輯器、編譯器、文件操作工具等。直接和用戶打交道的是上面這些應用程式。因此我們可以說 Linux 具有三種不同的介面:系統調用介面、庫函數介面和應用程式介面

Linux 中的 GUI(Graphical User Interface) 和 UNIX 中的非常相似,這種 GUI 創建一個桌面環境,包括窗口、目標和文件夾、工具欄和文件拖拽功能。一個完整的 GUI 還包括窗口管理器以及各種應用程式。

Linux 上的 GUI 由 X 窗口支援,主要組成部分是 X 伺服器、控制鍵盤、滑鼠、顯示器等。當在 Linux 上使用圖形介面時,用戶可以通過滑鼠點擊運行程式或者打開文件,通過拖拽將文件進行複製等。

Linux 組成部分

事實上,Linux 作業系統可以由下面這幾部分構成

  • 引導程式(Bootloader):引導程式是管理電腦啟動過程的軟體,對於大多數用戶而言,只是彈出一個螢幕,但其實內部作業系統做了很多事情
  • 內核(Kernel):內核是作業系統的核心,負責管理 CPU、記憶體和外圍設備等。
  • 初始化系統(Init System):這是一個引導用戶空間並負責控制守護程式的子系統。一旦從引導載入程式移交了初始引導,它就是用於管理引導過程的初始化系統。
  • 後台進程(Daemon):後台進程顧名思義就是在後台運行的程式,比如列印、聲音、調度等,它們可以在引導過程中啟動,也可以在登錄桌面後啟動
  • 圖形伺服器(Graphical server):這是在監視器上顯示圖形的子系統。通常將其稱為 X 伺服器或 X。
  • 桌面環境(Desktop environment):這是用戶與之實際交互的部分,有很多桌面環境可供選擇,每個桌面環境都包含內置應用程式,比如文件管理器、Web 瀏覽器、遊戲等
  • 應用程式(Applications):桌面環境不提供完整的應用程式,就像 Windows 和 macOS 一樣,Linux 提供了成千上萬個可以輕鬆找到並安裝的高品質軟體。

Shell

儘管 Linux 應用程式提供了 GUI ,但是大部分程式設計師仍偏好於使用命令行(command-line interface),稱為shell。用戶通常在 GUI 中啟動一個 shell 窗口然後就在 shell 窗口下進行工作。

shell 命令行使用速度快、功能更強大、而且易於擴展、並且不會帶來肢體重複性勞損(RSI)

下面會介紹一些最簡單的 bash shell。當 shell 啟動時,它首先進行初始化,在螢幕上輸出一個 提示符(prompt),通常是一個百分號或者美元符號,等待用戶輸入

等用戶輸入一個命令後,shell 提取其中的第一個詞,這裡的詞指的是被空格或製表符分隔開的一連串字元。假定這個詞是將要運行程式的程式名,那麼就會搜索這個程式,如果找到了這個程式就會運行它。然後 shell 會將自己掛起直到程式運行完畢,之後再嘗試讀入下一條指令。shell 也是一個普通的用戶程式。它的主要功能就是讀取用戶的輸入和顯示計算的輸出。shell 命令中可以包含參數,它們作為字元串傳遞給所調用的程式。比如

cp src dest

會調用 cp 應用程式並包含兩個參數 srcdest。這個程式會解釋第一個參數是一個已經存在的文件名,然後創建一個該文件的副本,名稱為 dest。

並不是所有的參數都是文件名,比如下面

head -20 file

第一個參數 -20,會告訴 head 應用程式列印文件的前 20 行,而不是默認的 10 行。控制命令操作或者指定可選值的參數稱為標誌(flag),按照慣例標誌應該使用 - 來表示。這個符號是必要的,比如

head 20 file

是一個完全合法的命令,它會告訴 head 程式輸出文件名為 20 的文件的前 10 行,然後輸出文件名為 file 文件的前 10 行。Linux 作業系統可以接受一個或多個參數。

為了更容易的指定多個文件名,shell 支援 魔法字元(magic character),也被稱為通配符(wild cards)。比如,* 可以匹配一個或者多個可能的字元串

ls *.c

告訴 ls 列舉出所有文件名以 .c 結束的文件。如果同時存在多個文件,則會在後面進行並列。

另一個通配符是問號,負責匹配任意一個字元。一組在中括弧中的字元可以表示其中任意一個,因此

ls [abc]*

會列舉出所有以 ab 或者 c 開頭的文件。

shell 應用程式不一定通過終端進行輸入和輸出。shell 啟動時,就會獲取 標準輸入、標準輸出、標準錯誤文件進行訪問的能力。

標準輸出是從鍵盤輸入的,標準輸出或者標準錯誤是輸出到顯示器的。許多 Linux 程式默認是從標準輸入進行輸入並從標準輸出進行輸出。比如

sort	

會調用 sort 程式,會從終端讀取數據(直到用戶輸入 ctrl-d 結束),根據字母順序進行排序,然後將結果輸出到螢幕上。

通常還可以重定向標準輸入和標準輸出,重定向標準輸入使用 < 後面跟文件名。標準輸出可以通過一個大於號 > 進行重定向。允許一個命令中重定向標準輸入和輸出。例如命令

sort <in >out

會使 sort 從文件 in 中得到輸入,並把結果輸出到 out 文件中。由於標準錯誤沒有重定向,所以錯誤資訊會直接列印到螢幕上。從標準輸入讀入,對其進行處理並將其寫入到標準輸出的程式稱為 過濾器

考慮下面由三個分開的命令組成的指令

sort <in >temp;head -30 <temp;rm temp

首先會調用 sort 應用程式,從標準輸入 in 中進行讀取,並通過標準輸出到 temp。當程式運行完畢後,shell 會運行 head ,告訴它列印前 30 行,並在標準輸出(默認為終端)上列印。最後,temp 臨時文件被刪除。輕輕的,你走了,你揮一揮衣袖,不帶走一片雲彩

命令行中的第一個程式通常會產生輸出,在上面的例子中,產生的輸出都不 temp 文件接收。然而,Linux 還提供了一個簡單的命令來做這件事,例如下面

sort <in | head -30

上面 | 稱為豎線符號,它的意思是從 sort 應用程式產生的排序輸出會直接作為輸入顯示,無需創建、使用和移除臨時文件。由管道符號連接的命令集合稱為管道(pipeline)。例如如下

grep cxuan *.c | sort | head -30 | tail -5 >f00

對任意以 .t 結尾的文件中包含 cxuan 的行被寫到標準輸出中,然後進行排序。這些內容中的前 30 行被 head 出來並傳給 tail ,它又將最後 5 行傳遞給 foo。這個例子提供了一個管道將多個命令連接起來。

可以把一系列 shell 命令放在一個文件中,然後將此文件作為輸入來運行。shell 會按照順序對他們進行處理,就像在鍵盤上鍵入命令一樣。包含 shell 命令的文件被稱為 shell 腳本(shell scripts)

推薦一個 shell 命令的學習網站://www.shellscript.sh/

shell 腳本其實也是一段程式,shell 腳本中可以對變數進行賦值,也包含循環控制語句比如 if、for、while 等,shell 的設計目標是讓其看起來和 C 相似(There is no doubt that C is father)。由於 shell 也是一個用戶程式,所以用戶可以選擇不同的 shell。

Linux 應用程式

Linux 的命令行也就是 shell,它由大量標準應用程式組成。這些應用程式主要有下面六種

  • 文件和目錄操作命令
  • 過濾器
  • 文本程式
  • 系統管理
  • 程式開發工具,例如編輯器和編譯器
  • 其他

除了這些標準應用程式外,還有其他應用程式比如 Web 瀏覽器、多媒體播放器、圖片瀏覽器、辦公軟體和遊戲程式等

我們在上面的例子中已經見過了幾個 Linux 的應用程式,比如 sort、cp、ls、head,下面我們再來認識一下其他 Linux 的應用程式。

我們先從幾個例子開始講起,比如

cp a b

是將 a 複製一個副本為 b ,而

mv a b

是將 a 移動到 b ,但是刪除原文件。

上面這兩個命令有一些區別,cp 是將文件進行複製,複製完成後會有兩個文件 a 和 b;而 mv 相當於是文件的移動,移動完成後就不再有 a 文件。cat 命令可以把多個文件內容進行連接。使用 rm 可以刪除文件;使用 chmod 可以允許所有者改變訪問許可權;文件目錄的的創建和刪除可以使用 mkdirrmdir 命令;使用 ls 可以查看目錄文件,ls 可以顯示很多屬性,比如大小、用戶、創建日期等;sort 決定文件的顯示順序

Linux 應用程式還包括過濾器 grep,grep 從標準輸入或者一個或多個輸入文件中提取特定模式的行;sort 將輸入進行排序並輸出到標準輸出;head 提取輸入的前幾行;tail 提取輸入的後面幾行;除此之外的過濾器還有 cutpaste,允許對文本行的剪切和複製;od 將輸入轉換為 ASCII ;tr 實現字元大小寫轉換;pr 為格式化列印輸出等。

程式編譯工具使用 gcc

make 命令用於自動編譯,這是一個很強大的命令,它用於維護一個大的程式,往往這類程式的源碼由許多文件構成。典型的,有一些是 header files 頭文件,源文件通常使用 include 指令包含這些文件,make 的作用就是跟蹤哪些文件屬於頭文件,然後安排自動編譯的過程。

下面列出了 POSIX 的標準應用程式

程式 應用
ls 列出目錄
cp 複製文件
head 顯示文件的前幾行
make 編譯文件生成二進位文件
cd 切換目錄
mkdir 創建目錄
chmod 修改文件訪問許可權
ps 列出文件進程
pr 格式化列印
rm 刪除一個文件
rmdir 刪除文件目錄
tail 提取文件最後幾行
tr 字符集轉換
grep 分組
cat 將多個文件連續標準輸出
od 以八進位顯示文件
cut 從文件中剪切
paste 從文件中粘貼

Linux 內核結構

在上面我們看到了 Linux 的整體結構,下面我們從整體的角度來看一下 Linux 的內核結構

內核直接坐落在硬體上,內核的主要作用就是 I/O 交互、記憶體管理和控制 CPU 訪問。上圖中還包括了 中斷調度器,中斷是與設備交互的主要方式。中斷出現時調度器就會發揮作用。這裡的低級程式碼停止正在運行的進程,將其狀態保存在內核進程結構中,並啟動驅動程式。進程調度也會發生在內核完成一些操作並且啟動用戶進程的時候。圖中的調度器是 dispatcher。

注意這裡的調度器是 dispatcher 而不是 scheduler,這兩者是有區別的

scheduler 和 dispatcher 都是和進程調度相關的概念,不同的是 scheduler 會從幾個進程中隨意選取一個進程;而 dispatcher 會給 scheduler 選擇的進程分配 CPU。

然後,我們把內核系統分為三部分。

  • I/O 部分負責與設備進行交互以及執行網路和存儲 I/O 操作的所有內核部分。

從圖中可以看出 I/O 層次的關係,最高層是一個虛擬文件系統,也就是說不管文件是來自記憶體還是磁碟中,都是經過虛擬文件系統中的。從底層看,所有的驅動都是字元驅動或者塊設備驅動。二者的主要區別就是是否允許隨機訪問。網路驅動設備並不是一種獨立的驅動設備,它實際上是一種字元設備,不過網路設備的處理方式和字元設備不同。

上面的設備驅動程式中,每個設備類型的內核程式碼都不同。字元設備有兩種使用方式,有一鍵式的比如 vi 或者 emacs ,需要每一個鍵盤輸入。其他的比如 shell ,是需要輸入一行按回車鍵將字元串發送給程式進行編輯。

網路軟體通常是模組化的,由不同的設備和協議來支援。大多數 Linux 系統在內核中包含一個完整的硬體路由器的功能,但是這個不能和外部路由器相比,路由器上面是協議棧,包括 TCP/IP 協議,協議棧上面是 socket 介面,socket 負責與外部進行通訊,充當了門的作用。

磁碟驅動上面是 I/O 調度器,它負責排序和分配磁碟讀寫操作,以儘可能減少磁頭的無用移動。

  • I/O 右邊的是記憶體部件,程式被裝載進記憶體,由 CPU 執行,這裡會涉及到虛擬記憶體的部件,頁面的換入和換出是如何進行的,壞頁面的替換和經常使用的頁面會進行快取。

  • 進程模組負責進程的創建和終止、進程的調度、Linux 把進程和執行緒看作是可運行的實體,並使用統一的調度策略來進行調度。

在內核最頂層的是系統調用介面,所有的系統調用都是經過這裡,系統調用會觸發一個 trap,將系統從用戶態轉換為內核態,然後將控制權移交給上面的內核部件。