網路編程之TCP/IP各層詳解

• 2019 年 10 月 3 日
• 筆記

網路編程之TCP/IP各層詳解

我們將應用層，表示層，會話層並作應用層，從TCP/IP五層協議的角度來闡述每層的由來與功能，搞清楚了每層的主要協議，就理解了整個物聯網通訊的原理。

首先，用戶感知到的只是最上面一層——應用層，自上而下每層都依賴於下一層，所以我們從最下層開始切入，比較好理解。

每層都運行特定的協議，越往上越靠近用戶，越往下越靠近硬體。

一、物理層

由來：孤立的電腦之間要一起「玩耍」，就必須接入Internet，即電腦之間必須完成組網。

物理層功能：主要是基於電器特性發送高低電壓（電訊號），高電壓對應數字1，低電壓對應數字0。

二、數據鏈路層

由來：單純的電訊號0和1沒有任何意義，必須規定電訊號多少位一組，每組什麼意思。

數據鏈路層功能：定義了電訊號的分組方式。

乙太網協議：

早期的時候各個公司都有自己的分組方式，後來形成了統一的標準，即乙太網協議Ethernet。

Ethernet規定：

• 一組電訊號構成一個數據包，叫做「幀」
• 每一數據幀分成：報頭head和數據data兩部分。

head包含：（固定18個位元組）

• 發送者/源地址，6個位元組
• 接收者/目標地址，6個位元組
• 數據類型，6個位元組

data包含：（最短46位元組，最長1500位元組）

• 數據包的具體內容

head長度+data長度 = 最短64位元組或樁長1518位元組，超過最大限制就分片發送。

MAC地址：

head中包含的源和目標地址由來：ethernet規定接入internet的設備都必須具備網卡，發送端和接收端的地址便是指網卡的地址，即mac地址。

mac地址：每塊網卡出廠時都被燒制上一個世界唯一的mac地址，長度為48位2進位，通常由12位16進位數表示（前六位是廠商編號，後六位是流水線號）。

廣播：

有了mac地址，同一網路內的兩台主機就可以通訊了（一台主機通過arp協議獲取另外一台主機的mac地址）。

ethernet採用最原始的方式，廣播的方式進行通訊，即電腦通訊基本靠吼。

三、網路層

網路層由來：有了ethernet、mac地址、廣播的發送方式，世界上的電腦就可以彼此通訊了，問題是世界範圍的互聯網是由一個個彼此隔離的小的區域網組成的，那麼如果所有的通訊都採用乙太網的廣播方式，那麼一台機器發送的包全世界都會收到，這就不僅僅是效率低的問題了，這會是一種災難。

上圖結論：必須找出一種方法來區分哪些電腦屬於同一廣播域，哪些不是，如果是就採用廣播的方式發送，如果不是，就採用路由的方式（向不同廣播域／子網分發數據包），mac地址是無法區分的，它只跟廠商有關。

網路層功能：引入一套新的地址用來區分不同的廣播域／子網，這套地址即網路地址。

1、IP協議：

• 規定網路地址的協議叫ip協議，它定義的地址稱之為ip地址，廣泛採用的v4版本即ipv4，它規定網路地址由32位2進位表示。
• 範圍0.0.0.0-255.255.255.255
• 一個ip地址通常寫成四段十進位數，例：172.16.10.1

2、子網掩碼：

所謂」子網掩碼」，就是表示子網路特徵的一個參數。它在形式上等同於IP地址，也是一個32位二進位數字，它的網路部分全部為1，主機部分全部為0。比如，IP地址172.16.10.1，如果已知網路部分是前24位，主機部分是後8位，那麼子網路掩碼就是11111111.11111111.11111111.00000000，寫成十進位就是255.255.255.0。

子網掩碼是用來標識一個IP地址的哪些位是代表網路位，以及哪些位是代表主機位。子網掩碼不能單獨存在，它必須結合IP地址一起使用。子網掩碼只有一個作用，就是將某個IP地址劃分成網路地址和主機地址兩部分。

為什麼要區分網路位和主機位？

這就像寄信，你給你的南方姑娘寄信，她肉身在廈門，詳細地址是廈門鼓浪嶼三街27號，那網路位就相當於城市，詳細地址就是主機位，網路位幫你定位到城市，主機位幫你找到你的南方姑娘。 路由器通過子網掩碼來確定哪些是網路位，哪些是主機位。

區分網路位和主機位是為了劃分子網，就是把一個大網路分成多個小網路，為什麼要分子網呢?

• 廣播風暴：6萬台主機在一個網段里，通訊基本靠吼，任何一個人要吼一嗓子，6萬多個人必須被動聽著，一會你的網路就癱瘓啦。
• 地址浪費：運營商在公網上有很多級聯的路由器，有時候2個路由器之間只會用掉幾個IP,如果不進行子網劃分，那同網段的其它主機也就都不能用了。舉例兩個級聯路由器的介面ip分別為222.34.24.12/24,222.34.24.13/24, 此可承載255個主機的網段只用了2個IP,那其它的就全浪費了，因為不能再分配給別人。

劃分子網本質上就是借主機位到給網路位，每借一位主機位，這個網段的可分配主機就會越少，比如192.168.1.0/24可用主機255個，借一位變成192.168.1.0/25，那可用主機就從255-128=127個了（從最大的值開始借），再借一位192.168.1.0/26,那可用主機數就變成了255-(128+64)=63個啦。

3、IP地址分類：

IP地址根據網路ID的不同分為5種類型，A類地址、B類地址、C類地址、D類地址和E類地址。

1、A類IP地址：一個A類IP地址由1位元組的網路地址和3位元組主機地址組成，網路地址的最高位必須是「0」， 地址範圍從1.0.0.0 到126.0.0.0。可用的A類網路有126個，每個網路能容納1億多個主機。

2、B類IP地址 ：一個B類IP地址由2個位元組的網路地址和2個位元組的主機地址組成，網路地址的最高位必須是「10」，地址範圍從128.0.0.0到191.255.255.255。可用的B類網路有16382個，每個網路能容納6萬多個主機 。

3、C類IP地址：一個C類IP地址由3位元組的網路地址和1位元組的主機地址組成，網路地址的最高位必須是「110」。範圍從192.0.0.0到223.255.255.255。C類網路可達209萬餘個，每個網路能容納254個主機。

4、D類地址用於多點廣播（Multicast）： D類IP地址第一個位元組以「lll0」開始，它是一個專門保留的地址。它並不指向特定的網路，目前這一類地址被用在多點廣播（Multicast）中。多點廣播地址用來一次定址一組電腦，它標識共享同一協議的一組電腦。

5、E類IP地址 以「llll0」開始，為將來使用保留。

全零（「0．0．0．0」）地址對應於當前主機。全「1」的IP地址（「255．255．255．255」）是當前子網的廣播地址。

迴環地址(127.0.0.1) 又稱為本機地址，那它跟0.0.0.0是什麼區別呢？那得先了解迴環介面

環回介面（loopback）。平時我們用127.0.0.1來嘗試自己的機器伺服器好使不好使。走的就是這個loopback介面。對於環回介面，有如下三點值得注意:

• 傳給環回地址（一般是127.0.0.1）的任何數據均作為IP輸入。
• 傳給廣播地址或多播地址的數據報複製一份傳給環回介面，然後送到乙太網上。這是因為廣播傳送和多播傳送的定義包含主機本身。
• 任何傳給該主機IP地址的數據均送到環回介面。

4、IP報文：

IP協議是TCP/IP協議的核心，所有的TCP，UDP，IMCP，IGCP的數據都以IP數據格式傳輸，要注意的是，IP不是可靠的協議，這是說，IP協議沒有提供一種數據未傳達以後的處理機制－－這被認為是上層協議－－TCP或UDP要做的事情。所以這也就出現了TCP是一個可靠的協議，而UDP就沒有那麼可靠的區別。這是後話，暫且不提。

IP協議頭

挨個解釋它是教科書的活，我們感興趣的只是那八位的TTL欄位，還記得這個欄位是做什麼的么？這個欄位規定該數據包在穿過多少個路由之後才會被拋棄(這裡就體現出來IP協議包的不可靠性，它不保證數據被送達)，某個ip數據包每穿過一個路由器，該數據包的TTL數值就會減少1，當該數據包的TTL成為零，它就會被自動拋棄。這個欄位的最大值也就是255，也就是說一個協議包也就在路由器裡面穿行255次就會被拋棄了，根據系統的不同，這個數字也不一樣，一般是32或者是64。

5、ARP協議

ARP協議由來：電腦通訊基本靠吼，即廣播的方式，所有上層的包到最後都要封裝上乙太網頭，然後通過乙太網協議發送，在談及乙太網協議時候，我門了解到通訊是基於mac的廣播方式實現，電腦在發包時，獲取自身的mac是容易的，如何獲取目標主機的mac，就需要通過arp協議。

ARP協議功能：播的方式發送數據包，獲取目標主機的mac地址。

協議工作方式：每台主機ip都是已知的。

例如：主機172.16.10.10/24訪問172.16.10.11/24。

1、首先，通過ip地址和子網掩碼區分出自己所處的子網。

2、分析172.16.10.10/24與172.16.10.11/24處於同一網路(如果不是同一網路，那麼下表中目標ip為172.16.10.1,通過arp獲取的是網關的mac)。

3、這個包會以廣播的方式在發送端所處的子網內傳輸，所有主機接收後拆開包，發現目標ip為自己的，就響應，返回自己的mac。

查看本機arp表的命令（在終端窗口中輸入）：arp -a

6、ICMP協議

前面講到了，IP協議並不是一個可靠的協議，它不保證數據被送達，那麼，自然的，保證數據送達的工作應該由其他的模組來完成。其中一個重要的模組就是ICMP(網路控制報文)協議。

當傳送IP數據包發生錯誤－－比如主機不可達，路由不可達等等，ICMP協議將會把錯誤資訊封包，然後傳送回給主機。給主機一個處理錯誤的機會。

我們一般主要用ICMP協議檢測網路是否通暢，基於ICMP協議的工具主要有ping 和traceroute。

ping

ping這個單詞源自聲納定位，而這個程式的作用也確實如此，它利用ICMP協議包來偵測另一個主機是否可達。原理是用類型碼為0的ICMP發請 求，受到請求的主機則用類型碼為8的ICMP回應。ping程式來計算間隔時間，並計算有多少個包被送達。用戶就可以判斷網路大致的情況。我們可以看到， ping給出來了傳送的時間和TTL的數據。

traceroute（Linux後者mac os）或者 tracert（windows系統）

用來查看從當前主機到某地址一共經過多少條路由。

四、傳輸層

傳輸層的由來：網路層的ip幫我們區分子網，乙太網層的mac幫我們找到主機，然後大家使用的都是應用程式，你的電腦上可能同時開啟qq，暴風影音，迅雷等多個應用程式，那麼我們通過ip和mac找到了一台特定的主機，如何標識這台主機上的應用程式呢？答案就是埠，埠即應用程式與網卡關聯的編號。

傳輸層功能：建立埠到埠的通訊。

補充：埠範圍0-65535，0-1023為系統佔用埠。

傳輸層有兩種協議，TCP和UDP，見下圖。

1、TCP協議

可靠傳輸，TCP數據包沒有長度限制，理論上可以無限長，但是為了保證網路的效率，通常TCP數據包的長度不會超過IP數據包的長度，以確保單個TCP數據包不必再分割。

為什麼tcp是可靠的數據傳輸？

最可靠的方式就是只要不得到確認，就重新發送數據報，直到得到對方的確認為止。

TCP報文

TCP的3次握手和4次揮手：

2、UDP協議

不可靠傳輸，」報頭」部分一共只有8個位元組，總長度不超過65,535位元組，正好放進一個IP數據包。

3、總結

TCP協議雖然安全性很高，但是網路開銷大，而UDP協議雖然沒有提供安全機制，但是網路開銷小，在現在這個網路安全已經相對較高的情況下，為了保證傳輸的速率，我們一般還是會優先考慮UDP協議！

五、應用層

1、應用層簡介

應用層直接和應用程式介面並提供常見的網路應用服務。它是開放系統的最高層，是直接位應用程式提供服務的。其作用是在實現多個系統應用進程相互通訊的同時，完成一系列業務處理所需的服務。其服務元素分為兩類：公共應用服務元素CASE和特定應用服務元素SASE。

位於電腦網路體系結構的最上層，前面四層做的所有事情就是為了他服務，他也是設計和建立電腦網路的最終目的，通俗的講，就是我們開發的應用軟體，就處於這一層，比如，QQ，瀏覽器訪問網頁，等等你看得到的應用軟體都是在這一層，但是這些軟體在運行的過程中，也需要依靠一些特定的協議才能完成相應的功能，比如瀏覽器通過網址訪問網頁，其中是如何做到的，這就是我們所要學習的東西。

2、應用層中的兩種應用軟體：客戶/伺服器和P2P體系結構

（1）客戶/伺服器

這種類型，就是我們很熟悉的客戶端，伺服器模型，客戶端請求伺服器，伺服器響應客戶端這樣的一種方式進行「交流」。

（2）P2P

也稱為對等體系結構。P2P相當於每個人的電腦度可以當伺服器，也可以當客戶端，不單單限制於只能客戶端訪問伺服器，你自己的電腦可以去訪問別人的電腦上的內容，別的同樣可以訪問你電腦上的內容，這樣達到一種共享的狀態。

3、DNS協議

（1）DNS概述

Domain Name System 域名系統。也可以叫做域名解析協議。在我們在瀏覽器訪問網頁的時候，通常度是用我們所熟悉的一連串有意義的英文字元標識，比如www.baidu.com、www.sohu.com等。

但是我們學了前面的知識，電腦並不是通過這些字元串去找到對應的電腦，而是通過32位的二進位，也就是我們的IP地址來找。所以就有了DNS協議。他的作用就是將域名解析成對應的IP地址。

因為讓我們人去記那些IP地址，很難記得住，所以就想辦法讓IP地址轉變為了現在的域名，在進行訪問的時候，只需要將域名解析為對應的IP地址就行了，這個域名也很有講究，其中分為好多層域名，是獨一無二的。這裡不細講這個，只要我們知道，域名通過DNS能找到對應的IP地址就行了。

（2）DNS協議工作過程

   1）通過域名訪問網頁

   2）電腦會先將域名發送到一個解析域名的伺服器上

     2.1）在其伺服器上有很多伺服器，能解析各種各樣的域名，比如有專門解析.org的，解析.com的，解析.net的。等等，最主要的有一個根域名伺服器

     2.2）域名解析(在伺服器上查找IP地址)的過程有兩種演算法，迭代查詢，遞歸查詢。一般是兩種查詢的結合

     2.3）本機電腦找到其中一台解析域名的伺服器(可能是.com)，如果沒有找到對應的IP地址，那麼就會去找根域名伺服器，根域名伺服器知道所有的子伺服器，所以他肯定知道該域名所對應的IP地址在那個子伺服器中，所以告訴第一次查詢的伺服器要他去另一台伺服器上找，找到了，就將其返回給電腦，以後在有另一台電腦也通過這個域名訪問，那麼第一台伺服器會有原來的域名IP地址的快取，就不用去找根伺服器了。

   3）找到了，就能找到我們要訪問的伺服器了。

4、HTTP協議

（1）HTTP簡介

   1）超文本傳輸協議（HTTP，HyperText Transfer Protocol)是互聯網上應用最為廣泛的一種網路協議。所有的WWW文件都必須遵守這個標準。

   2）HTTP是一個客戶端和伺服器端請求和應答的標準（TCP）。客戶端是終端用戶，伺服器端是網站。通過使用Web瀏覽器、網路爬蟲或者其它的工具，客戶端發起一個到伺服器上指定埠（默認埠為80）的HTTP請求。（我們稱這個客戶端）叫用戶代理（user agent）。應答的伺服器上存儲著（一些）資源，比如HTML文件和影像。（我們稱）這個應答伺服器為源伺服器（origin server）。在用戶代理和源伺服器中間可能存在多個中間層，比如代理，網關，或者隧道（tunnels）。儘管TCP/IP協議是互聯網上最流行的應用，HTTP協議並沒有規定必須使用它和（基於）它支援的層。 事實上，HTTP可以在任何其他互聯網協議上，或者在其他網路上實現。

   3）通常，由HTTP客戶端發起一個請求，建立一個到伺服器指定埠（默認是80埠）的TCP連接。HTTP伺服器則在那個埠監聽客戶端發送過來的請求。一旦收到請求，伺服器（向客戶端）發回一個狀態行，比如"HTTP/1.1 200 OK"，和（響應的）消息，消息的消息體可能是請求的文件、錯誤消息、或者其它一些資訊。HTTP使用TCP而不是UDP的原因在於（打開）一個網頁必須傳送很多數據，而TCP協議提供傳輸控制，按順序組織數據，和錯誤糾正。

   4）通過HTTP或者HTTPS協議請求的資源由統一資源標示符（Uniform Resource Identifiers）（或者，更準確一些，URLs）來標識。

（2）統一資源定位符URL

URL:統一資源定位符，通過下面格式，可以看出，就是用來定位我們所需要資源在伺服器上的位置。

格式：<協議>://<主機>:<埠>/<路徑>

協議：http

主機：域名/IP地址，原理度一樣，到頭來還是會轉換為IP地址，通過這個才能找到目標伺服器

埠: 在傳輸層需要使用的，訪問目的主機的哪個埠號。　

路徑：精準的定位我們所需要的資源位置、　　　　

平常會省略協議和埠號，因為這些都是默認的，在訪問主頁時，路徑也會省略。比如www.baidu.com這個默認進入百度的主頁完整寫法 http://www.baidu.com:80/index.html 。

（3）超文本傳輸協議

作用：怎樣向伺服器請求文檔、伺服器怎麼把文檔傳送給瀏覽器，通俗點講，就是我們想伺服器訪問網頁資源時，伺服器如何把網頁上的東西傳給我們。

客戶端向伺服器：請求報文　　    　　伺服器向客戶端：響應報文

其實就是：在通過URL訪問你伺服器時，就會發送一個請求報文，告訴伺服器需要哪些東西，伺服器知道後，返回一個響應報文給客戶端，其中就會帶有一些網頁資訊。就是通過這個來達到傳送網頁資源的目的，現在來具體看看，請求報文和響應報文的格式。

（4）請求和響應報文的格式

可參見我的另一篇博文https://www.cnblogs.com/Kwan-C/p/11459247.html

（5）HTTP協議的功能

　HTTP協議（HyperText Transfer Protocol，超文本傳輸協議）是用於從WWW伺服器傳輸超文本到本地瀏覽器的傳輸協議。它可以使瀏覽器更加高效，使網路傳輸減少。它不僅保證電腦正確快速地傳輸超文本文檔，還確定傳輸文檔中的哪一部分，以及哪部分內容首先顯示(如文本先於圖形)等。

　HTTP是客戶端瀏覽器或其他程式與Web伺服器之間的應用層通訊協議。在Internet上的Web伺服器上存放的都是超文本資訊，客戶機需要通過HTTP協議傳輸所要訪問的超文本資訊。HTTP包含命令和傳輸資訊，僅可用於Web訪問，也可以用於其他網際網路/內聯網應用系統之間的通訊，從而實現各類應用資源超媒體訪問的集成。

　我們在瀏覽器的地址欄里輸入的網站地址叫做URL (Uniform Resource Locator，統一資源定位符)。就像每家每戶都有一個門牌地址一樣，每個網頁也都有一個Internet地址。當你在瀏覽器的地址框中輸入一個URL或是單擊一個超級鏈接時，URL就確定了要瀏覽的地址。瀏覽器通過超文本傳輸協議(HTTP)，將Web伺服器上站點的網頁程式碼提取出來，並翻譯成漂亮的網頁。