OSI七層模型與TCP/IP五層模型
一、OSI參考模型
1、OSI的來源
OSI(Open System Interconnect),即開放式系統互聯。 一般都叫OSI參考模型,是ISO(國際標準化組織)組織在1985年研究的網路互連模型。
ISO為了更好的使網路應用更為普及,推出了OSI參考模型。其含義就是推薦所有公司使用這個規範來控制網路。這樣所有公司都有相同的規範,就能互聯了。
2、OSI七層模型的劃分
OSI定義了網路互連的七層框架(物理層、數據鏈路層、網路層、傳輸層、會話層、表示層、應用層),即ISO開放互連繫統參考模型。
每一層實現各自的功能和協議,並完成與相鄰層的介面通訊。OSI的服務定義詳細說明了各層所提供的服務。某一層的服務就是該層及其下各層的一種能力,它通過介面提供給
更高一層。各層所提供的服務與這些服務是怎麼實現的無關。
3、各層功能定義
這裡我們只對OSI各層進行功能上的大概闡述,不詳細深究,因為每一層實際都是一個複雜的層。後面我也會根據個人方向展開部分層的深入學習。這裡我們就大概了解一下。
我們從最頂層——應用層 開始介紹。整個過程以公司A和公司B的一次商業報價單發送為例子進行講解。
<1> 應用層
OSI參考模型中最靠近用戶的一層,是為電腦用戶提供應用介面,也為用戶直接提供各種網路服務。我們常見應用層的網路服務協議有:HTTP,HTTPS,FTP,POP3、
SMTP等。
實際公司A的老闆就是我們所述的用戶,而他要發送的商業報價單,就是應用層提供的一種網路服務,當然,老闆也可以選擇其他服務,比如說,發一份商業合約,發一份詢價
單,等等。
<2> 表示層
表示層提供各種用於應用層數據的編碼和轉換功能,確保一個系統的應用層發送的數據能被另一個系統的應用層識別。如果必要,該層可提供一種標準表示形式,用於將電腦內
部的多種數據格式轉換成通訊中採用的標準表示形式。數據壓縮和加密也是表示層可提供的轉換功能之一。
由於公司A和公司B是不同國家的公司,他們之間的商定統一用英語作為交流的語言,所以此時表示層(公司的文秘),就是將應用層的傳遞資訊轉翻譯成英語。同時為了防止別
的公司看到,公司A的人也會對這份報價單做一些加密的處理。這就是表示的作用,將應用層的數據轉換翻譯等。
<3> 會話層
會話層就是負責建立、管理和終止表示層實體之間的通訊會話。該層的通訊由不同設備中的應用程式之間的服務請求和響應組成。
會話層的同事拿到表示層的同事轉換後資料,(會話層的同事類似公司的外聯部),會話層的同事那裡可能會掌握本公司與其他好多公司的聯繫方式,這裡公司就是實際傳遞過
程中的實體。他們要管理本公司與外界好多公司的聯繫會話。當接收到表示層的數據後,會話層將會建立並記錄本次會話,他首先要找到公司B的地址資訊,然後將整份資料放
進信封,並寫上地址和聯繫方式。準備將資料寄出。等到確定公司B接收到此份報價單後,此次會話就算結束了,外聯部的同事就會終止此次會話。
<4> 傳輸層
傳輸層建立了主機端到端的鏈接,傳輸層的作用是為上層協議提供端到端的可靠和透明的數據傳輸服務,包括處理差錯控制和流量控制等問題。該層向高層屏蔽了下層數據通訊
的細節,使高層用戶看到的只是在兩個傳輸實體間的一條主機到主機的、可由用戶控制和設定的、可靠的數據通路。我們通常說的,TCP UDP就是在這一層。埠號既是這裡
的「端」。傳輸層就相當於公司中的負責快遞郵件收發的人,公司自己的投遞員,他們負責將上一層的要寄出的資料投遞到快遞公司或郵局。
<5> 網路層
本層通過IP定址來建立兩個節點之間的連接,為源端的運輸層送來的分組,選擇合適的路由和交換節點,正確無誤地按照地址傳送給目的端的運輸層。就是通常說的IP層。這一
層就是我們經常說的IP協議層。IP協議是Internet的基礎。
網路層就相當於快遞公司龐大的快遞網路,全國不同的集散中心,比如說,從深圳發往北京的順豐快遞(陸運為例啊,空運好像直接就飛到北京了),首先要到順豐的深圳集散
中心,從深圳集散中心再送到武漢集散中心,從武漢集散中心再寄到北京順義集散中心。這個每個集散中心,就相當於網路中的一個IP節點。
<6> 數據鏈路層
將比特組合成位元組,再將位元組組合成幀,使用鏈路層地址 (乙太網使用MAC地址)來訪問介質,並進行差錯檢測。
數據鏈路層又分為2個子層:邏輯鏈路控制子層(LLC)和媒體訪問控制子層(MAC)。
MAC子層處理CSMA/CD演算法、數據出錯校驗、成幀等;LLC子層定義了一些欄位使上次協議能共享數據鏈路層。 在實際使用中,LLC子層並非必需的。
這個沒找到合適的例子
<7> 物理層
實際最終訊號的傳輸是通過物理層實現的。通過物理介質傳輸比特流。規定了電平、速度和電纜針腳。常用設備有(各種物理設備)集線器、中繼器、數據機、網線、雙絞
線、同軸電纜。這些都是物理層的傳輸介質。
快遞寄送過程中的交通工具,就相當於我們的物理層,例如汽車,火車,飛機,船。
4、通訊特點:對等通訊
對等通訊,為了使數據分組從源傳送到目的地,源端OSI模型的每一層都必須與目的端的對等層進行通訊,這種通訊方式稱為對等層通訊。在每一層通訊過程中,使用本層自己
協議進行通訊。
二、TCP/IP五層模型
TCP/IP五層協議和OSI的七層協議對應關係如下。
在每一層都工作著不同的設備,比如我們常用的交換機就工作在數據鏈路層的,一般的路由器是工作在網路層的。
在每一層實現的協議也各不同,即每一層的服務也不同。
Socket通訊原理
對TCP/IP、UDP、Socket編程這些詞你不會很陌生吧?
1). 什麼是TCP/IP、UDP?
2). Socket在哪裡呢?
3). Socket是什麼呢?
4). 你會使用它們嗎?
什麼是TCP/IP、UDP?
TCP/IP(Transmission Control Protocol/Internet Protocol)即傳輸控制協議/網間協議,是一個工業標準的協議集,它是為廣域網(WANs)設計的。
UDP(User Data Protocol,用戶數據報協議)是與TCP相對應的協議。它是屬於TCP/IP協議族中的一種。
Socket是什麼呢?
Socket是應用層與TCP/IP協議族通訊的中間軟體抽象層,它是一組介面。在設計模式中,Socket其實就是一個門面模式,
它把複雜的TCP/IP協議族隱藏在Socket介面後面,對用戶來說,一組簡單的介面就是全部,讓Socket去組織數據,以符合指定的協議。
你會使用它們嗎?
前人已經給我們做了好多的事了,網路間的通訊也就簡單了許多,但畢竟還是有挺多工作要做的。以前聽到Socket編程,覺得它是比較高深的編程知識,
但是只要弄清Socket編程的工作原理,神秘的面紗也就揭開了。
一個生活中的場景。你要打電話給一個朋友,先撥號,朋友聽到電話鈴聲後提起電話,這時你和你的朋友就建立起了連接,就可以講話了。
等交流結束,掛斷電話結束此次交談。
生活中的場景就解釋了這工作原理,也許TCP/IP協議族就是誕生於生活中,這也不一定。
先從伺服器端說起。伺服器端先初始化Socket,然後與埠綁定(bind),對埠進行監聽(listen),調用accept阻塞,等待客戶端連接。
在這時如果有個客戶端初始化一個Socket,然後連接伺服器(connect),如果連接成功,這時客戶端與伺服器端的連接就建立了。
客戶端發送數據請求,伺服器端接收請求並處理請求,然後把回應數據發送給客戶端,客戶端讀取數據,最後關閉連接,一次交互結束。
我們深諳資訊交流的價值,那網路中進程之間如何通訊,如我們每天打開瀏覽器瀏覽網頁 時,瀏覽器的進程怎麼與web伺服器通訊的?
當你用QQ聊天時,QQ進程怎麼與伺服器或你好友所在的QQ進程通訊?
這些都得靠socket?那什麼是 socket?socket的類型有哪些?還有socket的基本函數,這些都是本文想介紹的。本文的主要內容如下:
1)、網路中進程之間如何通訊?
2)、Socket是什麼?
3)、socket的基本操作
(1)、socket()函數
(2)、bind()函數
(3)、listen()、connect()函數
(4)、accept()函數
(5)、read()、write()函數等
(6)、close()函數
4)、socket中TCP的三次握手建立連接詳解
5)、socket中TCP的四次握手釋放連接詳解
6)、一個例子
a、網路中進程之間如何通訊?
本地的進程間通訊(IPC)有很多種方式,但可以總結為下面4類:
消息傳遞(管道、FIFO、消息隊列)
同步(互斥量、條件變數、讀寫鎖、文件和寫記錄鎖、訊號量)
共享記憶體(匿名的和具名的)
遠程過程調用(Solaris門和Sun RPC)
但這些都不是本文的主題!我們要討論的是網路中進程之間如何通訊?首要解決的問題是如何唯一標識一個進程,否則通訊無從談起!
在本地可以通過進程PID來唯一標識一個進程,但是在網路中這是行不通的。其實TCP/IP協議族已經幫我們解決了這個問題,網路層的「ip地址」可以唯一標識網路中的主機,
而傳輸層的「協議+埠」可以唯一標識主機中的應用程式(進程)。
這樣利用三元組(ip地址,協議,埠)就可以標識網路的進程了,網路中的進程通訊就可以利用這個標誌與其它進程進行交互。
使用TCP/IP協議的應用程式通常採用應用編程介面:UNIX BSD的套接字(socket)和UNIX System V的TLI(已經被淘汰),來實現網路進程之間的通訊。就目前而言,
幾乎所有的應用程式都是採用socket,而現在又是網路時代,網路中進程通訊是無處不在,這就是我為什麼說「一切皆socket」。
b、什麼是Socket?
上面我們已經知道網路中的進程是通過socket來通訊的,那什麼是socket呢?socket起源於Unix,而Unix/Linux基本哲學之一就是「一切皆文件」,
都可以用「打開open –> 讀寫write/read –> 關閉close」模式來操作。
我的理解就是Socket就是該模式的一個實現,socket即是一種特殊的文件,一些socket函數就是對其進行的操作(讀/寫IO、打開、關閉),這些函數我們在後面進行介紹。
socket一詞的起源
在組網領域的首次使用是在1970年2月12日發布的文獻IETF RFC33中發現的,撰寫者為Stephen Carr、Steve Crocker和Vint Cerf。根據美國電腦歷史博物館的記載,
Croker寫道:「命名空間的元素都可稱為套接字介面。
一個套接字介面構成一個連接的一端,而一個連接可完全由一對套接字介面規定。」電腦歷史博物館補充道:「這比BSD的套接字介面定義早了大約12年。」
c、socket的基本操作
既然socket是「open—write/read—close」模式的一種實現,那麼socket就提供了這些操作對應的函數介面。下面以TCP為例,介紹幾個基本的socket介面函數。
c.1、socket()函數
int socket(int domain, int type, int protocol);
socket函數對應於普通文件的打開操作。普通文件的打開操作返回一個文件描述字,而socket()用於創建一個socket描述符(socket descriptor),它唯一標識一個socket。
這個socket描述字跟文件描述字一樣,後續的操作都有用到它,把它作為參數,通過它來進行一些讀寫操作。
正如可以給fopen的傳入不同參數值,以打開不同的文件。創建socket的時候,也可以指定不同的參數創建不同的socket描述符,socket函數的三個參數分別為:
domain:即協議域,又稱為協議族(family)。常用的協議族有,AF_INET、AF_INET6、AF_LOCAL(或稱AF_UNIX,Unix域socket)、AF_ROUTE等等。
協議族決定了socket的地址類型,在通訊中必須採用對應的地址,如AF_INET決定了要用ipv4地址(32位的)與埠號(16位的)的組合、
AF_UNIX決定了要用一個絕對路徑名作為地址。
type:指定socket類型。常用的socket類型有,SOCK_STREAM、SOCK_DGRAM、SOCK_RAW、SOCK_PACKET、SOCK_SEQPACKET等等(socket的類型有哪些?)。
protocol:故名思意,就是指定協議。常用的協議有,IPPROTO_TCP、IPPTOTO_UDP、IPPROTO_SCTP、IPPROTO_TIPC等,它們分別對應TCP傳輸協議、UDP傳輸協
議、
STCP傳輸協議、TIPC傳輸協議(這個協議我將會單獨開篇討論!)。
注意:並不是上面的type和protocol可以隨意組合的,如SOCK_STREAM不可以跟IPPROTO_UDP組合。當protocol為0時,會自動選擇type類型對應的默認協議。
當我們調用socket創建一個socket時,返回的socket描述字它存在於協議族(address family,AF_XXX)空間中,但沒有一個具體的地址。
如果想要給它賦值一個地址,就必須調用bind()函數,否則就當調用connect()、listen()時系統會自動隨機分配一個埠。
c.2、bind()函數
正如上面所說bind()函數把一個地址族中的特定地址賦給socket。例如對應AF_INET、AF_INET6就是把一個ipv4或ipv6地址和埠號組合賦給socket。
int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
函數的三個參數分別為:
sockfd:即socket描述字,它是通過socket()函數創建了,唯一標識一個socket。bind()函數就是將給這個描述字綁定一個名字。
addr:一個const struct sockaddr *指針,指向要綁定給sockfd的協議地址。這個地址結構根據地址創建socket時的地址協議族的不同而不同,如ipv4對應的是:
struct sockaddr_in {
sa_family_t sin_family;
in_port_t sin_port;
struct in_addr sin_addr;
};
struct in_addr {
uint32_t s_addr;
};
ipv6對應的是:
struct sockaddr_in6 {
sa_family_t sin6_family;
in_port_t sin6_port;
uint32_t sin6_flowinfo;
struct in6_addr sin6_addr;
uint32_t sin6_scope_id;
};
struct in6_addr {
unsigned char s6_addr[16];
};
Unix域對應的是:
#define UNIX_PATH_MAX 108
struct sockaddr_un {
sa_family_t sun_family;
char sun_path[UNIX_PATH_MAX];
};
addrlen:對應的是地址的長度。
通常伺服器在啟動的時候都會綁定一個眾所周知的地址(如ip地址+埠號),用於提供服務,客戶就可以通過它來接連伺服器;
而客戶端就不用指定,有系統自動分配一個埠號和自身的ip地址組合。這就是為什麼通常伺服器端在listen之前會調用bind(),而客戶端就不會調用,
而是在connect()時由系統隨機生成一個。
網路位元組序與主機位元組序
主機位元組序就是我們平常說的大端和小端模式:不同的CPU有不同的位元組序類型,這些位元組序是指整數在記憶體中保存的順序,這個叫做主機序。
引用標準的Big-Endian和Little-Endian的定義如下:
a) Little-Endian就是低位位元組排放在記憶體的低地址端,高位位元組排放在記憶體的高地址端。
b) Big-Endian就是高位位元組排放在記憶體的低地址端,低位位元組排放在記憶體的高地址端。
網路位元組序:4個位元組的32 bit值以下面的次序傳輸:首先是0~7bit,其次8~15bit,然後16~23bit,最後是24~31bit。這種傳輸次序稱作大端位元組序。
由於TCP/IP首部中所有的二進位整數在網路中傳輸時都要求以這種次序,因此它又稱作網路位元組序。位元組序,顧名思義位元組的順序,就
是大於一個位元組類型的數據在記憶體中的存放順序,一個位元組的數據沒有順序的問題了。
所以: 在將一個地址綁定到socket的時候,請先將主機位元組序轉換成為網路位元組序,而不要假定主機位元組序跟網路位元組序一樣使用的是Big-Endian。
由於 這個問題曾引發過血案!公司項目程式碼中由於存在這個問題,導致了很多莫名其妙的問題,所以請謹記對主機位元組序不要做任何假定,
務必將其轉化為網路位元組序再 賦給socket。
c.3、listen()、connect()函數
如果作為一個伺服器,在調用socket()、bind()之後就會調用listen()來監聽這個socket,如果客戶端這時調用connect()發出連接請求,伺服器端就會接收到這個請求。
int listen(int sockfd, int backlog);
int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
listen函數的第一個參數即為要監聽的socket描述字,第二個參數為相應socket可以排隊的最大連接個數。socket()函數創建的socket默認是一個主動類型的,
listen函數將socket變為被動類型的,等待客戶的連接請求。
connect函數的第一個參數即為客戶端的socket描述字,第二參數為伺服器的socket地址,第三個參數為socket地址的長度。
客戶端通過調用connect函數來建立與TCP伺服器的連接。
c.4、accept()函數
TCP伺服器端依次調用socket()、bind()、listen()之後,就會監聽指定的socket地址了。TCP客戶端依次調用socket()、connect()之後就想TCP伺服器發送了一個連接請求。
TCP伺服器監聽到這個請求之後,就會調用accept()函數取接收請求,這樣連接就建立好了。之後就可以開始網路I/O操作了,即類同於普通文件的讀寫I/O操作。
int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);
accept函數的第一個參數為伺服器的socket描述字,第二個參數為指向struct sockaddr *的指針,用於返回客戶端的協議地址,第三個參數為協議地址的長度。
如果accpet成功,那麼其返回值是由內核自動生成的一個全新的描述字,代表與返回客戶的TCP連接。
注意:accept的第一個參數為伺服器的socket描述字,是伺服器開始調用socket()函數生成的,稱為監聽socket描述字;而accept函數返回的是已連接的socket描述字。
一個伺服器通常通常僅僅只創建一個監聽socket描述字,它在該伺服器的生命周期內一直存在。內核為每個由伺服器進程接受的客戶連接創建了一個已連接socket描述字,
當伺服器完成了對某個客戶的服務,相應的已連接socket描述字就被關閉。
c.5、read()、write()等函數
萬事具備只欠東風,至此伺服器與客戶已經建立好連接了。可以調用網路I/O進行讀寫操作了,即實現了網咯中不同進程之間的通訊!網路I/O操作有下面幾組:
read()/write()
recv()/send()
readv()/writev()
recvmsg()/sendmsg()
recvfrom()/sendto()
我推薦使用recvmsg()/sendmsg()函數,這兩個函數是最通用的I/O函數,實際上可以把上面的其它函數都替換成這兩個函數。它們的聲明如下:
#include
ssize_t read(int fd, void *buf, size_t count);
ssize_t write(int fd, const void *buf, size_t count);
#include
#include
ssize_t send(int sockfd, const void *buf, size_t len, int flags);
ssize_t recv(int sockfd, void *buf, size_t len, int flags);
ssize_t sendto(int sockfd, const void *buf, size_t len, int flags,
const struct sockaddr *dest_addr, socklen_t addrlen);
ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags,
struct sockaddr *src_addr, socklen_t *addrlen);
ssize_t sendmsg(int sockfd, const struct msghdr *msg, int flags);
ssize_t recvmsg(int sockfd, struct msghdr *msg, int flags);
read函數是負責從fd中讀取內容.當讀成功時,read返回實際所讀的位元組數,如果返回的值是0表示已經讀到文件的結束了,小於0表示出現了錯誤。
如果錯誤為EINTR說明讀是由中斷引起的,如果是ECONNREST表示網路連接出了問題。
write函數將buf中的nbytes位元組內容寫入文件描述符fd.成功時返回寫的位元組 數。失敗時返回-1,並設置errno變數。在網路程式中,
當我們向套接字文件描述符寫時有倆種可能。1)write的返回值大於0,表示寫了部分或者是 全部的數據。2)返回的值小於0,此時出現了錯誤。
我們要根據錯誤類型來處理。如果錯誤為EINTR表示在寫的時候出現了中斷錯誤。如果為EPIPE表示 網路連接出現了問題(對方已經關閉了連接)。
其它的我就不一一介紹這幾對I/O函數了,具體參見man文檔或者baidu、Google,下面的例子中將使用到send/recv。
c.6、close()函數
在伺服器與客戶端建立連接之後,會進行一些讀寫操作,完成了讀寫操作就要關閉相應的socket描述字,好比操作完打開的文件要調用fclose關閉打開的文件。
#include
int close(int fd);
close一個TCP socket的預設行為時把該socket標記為以關閉,然後立即返回到調用進程。該描述字不能再由調用進程使用,也就是說不能再作為read或write的第一個參數。
注意:close操作只是使相應socket描述字的引用計數-1,只有當引用計數為0的時候,才會觸發TCP客戶端向伺服器發送終止連接請求。
d、socket中TCP的三次握手建立連接詳解
我們知道tcp建立連接要進行「三次握手」,即交換三個分組。大致流程如下:
客戶端向伺服器發送一個SYN J
伺服器向客戶端響應一個SYN K,並對SYN J進行確認ACK J+1
客戶端再想伺服器發一個確認ACK K+1
只有就完了三次握手,但是這個三次握手發生在socket的那幾個函數中呢?
當客戶端調用connect時,觸發了連接請求,向伺服器發送了SYN J包,這時connect進入阻塞狀態;伺服器監聽到連接請求,即收到SYN J包,
調用accept函數接收請求向客戶端發送SYN K ,ACK J+1,這時accept進入阻塞狀態;
客戶端收到伺服器的SYN K ,ACK J+1之後,這時connect返回,並對SYN K進行確認;
伺服器收到ACK K+1時,accept返回,至此三次握手完畢,連接建立。
總結:客戶端的connect在三次握手的第二個次返回,而伺服器端的accept在三次握手的第三次返回。
三、總結
理解了網路通訊的步驟,實現伺服器與客戶端通訊就一清二楚了,多多練習,再接再厲。
改變自己,從現在做起———–久館