Java網路編程和NIO詳解1：JAVA 中原生的 socket 通訊機制

2019 年 11 月 21 日
筆記

本文轉自：https://github.com/jasonGeng88/blog

本系列文章將整理到我在GitHub上的《Java面試指南》倉庫，更多精彩內容請到我的倉庫里查看

https://github.com/h2pl/Java-Tutorial

喜歡的話麻煩點下Star哈

文章將同步到我的個人部落格：

www.how2playlife.com

本文是微信公眾號【Java技術江湖】的《不可輕視的Java網路編程》其中一篇，本文部分內容來源於網路，為了把本文主題講得清晰透徹，也整合了很多我認為不錯的技術部落格內容，引用其中了一些比較好的部落格文章，如有侵權，請聯繫作者。

該系列博文會告訴你如何從電腦網路的基礎知識入手，一步步地學習Java網路基礎，從socket到nio、bio、aio和netty等網路編程知識，並且進行實戰，網路編程是每一個Java後端工程師必須要學習和理解的知識點，進一步來說，你還需要掌握Linux中的網路編程原理，包括IO模型、網路編程框架netty的進階原理，才能更完整地了解整個Java網路編程的知識體系，形成自己的知識框架。

為了更好地總結和檢驗你的學習成果，本系列文章也會提供部分知識點對應的面試題以及參考答案。

如果對本系列文章有什麼建議，或者是有什麼疑問的話，也可以關注公眾號【Java技術江湖】聯繫作者，歡迎你參與本系列博文的創作和修訂。

當前環境

jdk == 1.8

知識點

socket 的連接處理
IO 輸入、輸出流的處理
請求數據格式處理
請求模型優化

場景

今天，和大家聊一下 JAVA 中的 socket 通訊問題。這裡採用最簡單的一請求一響應模型為例，假設我們現在需要向 baidu 站點進行通訊。我們用 JAVA 原生的 socket 該如何實現。

建立 socket 連接

首先，我們需要建立 socket 連接（核心程式碼）

import java.net.InetSocketAddress;  import java.net.Socket;  import java.net.SocketAddress;    // 初始化 socket  Socket socket = new Socket();  // 初始化遠程連接地址  SocketAddress remote = new InetSocketAddress(host, port);  // 建立連接  socket.connect(remote);

處理 socket 輸入輸出流

成功建立 socket 連接後，我們就能獲得它的輸入輸出流，通訊的本質是對輸入輸出流的處理。通過輸入流，讀取網路連接上傳來的數據，通過輸出流，將本地的數據傳出給遠端。

socket 連接實際與處理文件流有點類似，都是在進行 IO 操作。

獲取輸入、輸出流程式碼如下：

// 輸入流  InputStream in = socket.getInputStream();  // 輸出流  OutputStream out = socket.getOutputStream();

關於 IO 流的處理，我們一般會用相應的包裝類來處理 IO 流，如果直接處理的話，我們需要對 byte[] 進行操作，而這是相對比較繁瑣的。如果採用包裝類，我們可以直接以string、int等類型進行處理，簡化了 IO 位元組操作。

下面以 BufferedReader 與 PrintWriter 作為輸入輸出的包裝類進行處理。

// 獲取 socket 輸入流  private BufferedReader getReader(Socket socket) throws IOException {      InputStream in = socket.getInputStream();      return new BufferedReader(new InputStreamReader(in));  }    // 獲取 socket 輸出流  private PrintWriter getWriter(Socket socket) throws IOException {      OutputStream out = socket.getOutputStream();      return new PrintWriter(new OutputStreamWriter(out));  }

數據請求與響應

有了 socket 連接、IO 輸入輸出流，下面就該向發送請求數據，以及獲取請求的響應結果。

因為有了 IO 包裝類的支援，我們可以直接以字元串的格式進行傳輸，由包裝類幫我們將數據裝換成相應的位元組流。

因為我們與 baidu 站點進行的是 HTTP 訪問，所有我們不需要額外定義輸出格式。採用標準的 HTTP 傳輸格式，就能進行請求響應了（某些特定的 RPC 框架，可能會有自定義的通訊格式）。

請求的數據內容處理如下：

public class HttpUtil {        public static String compositeRequest(String host){            return "GET / HTTP/1.1rn" +                  "Host: " + host + "rn" +                  "User-Agent: curl/7.43.0rn" +                  "Accept: */*rnrn";      }    }

發送請求數據程式碼如下：

// 發起請求  PrintWriter writer = getWriter(socket);  writer.write(HttpUtil.compositeRequest(host));  writer.flush();

接收響應數據程式碼如下：

// 讀取響應  String msg;  BufferedReader reader = getReader(socket);  while ((msg = reader.readLine()) != null){      System.out.println(msg);  }

結果展示

至此，講完了原生 socket 下的創建連接、發送請求與接收響應的所有核心程式碼。

完整程式碼如下：

import java.io.*;import java.net.InetSocketAddress;import java.net.Socket;import java.net.SocketAddress;import com.test.network.util.HttpUtil; public class SocketHttpClient {     public void start(String host, int port) {         // 初始化 socket        Socket socket = new Socket();         try {            // 設置 socket 連接            SocketAddress remote = new InetSocketAddress(host, port);            socket.setSoTimeout(5000);            socket.connect(remote);             // 發起請求            PrintWriter writer = getWriter(socket);            System.out.println(HttpUtil.compositeRequest(host));            writer.write(HttpUtil.compositeRequest(host));            writer.flush();             // 讀取響應            String msg;            BufferedReader reader = getReader(socket);            while ((msg = reader.readLine()) != null){                System.out.println(msg);            }         } catch (IOException e) {            e.printStackTrace();        } finally {            try {                socket.close();            } catch (IOException e) {                e.printStackTrace();            }        }     } 	private BufferedReader getReader(Socket socket) throws IOException {        InputStream in = socket.getInputStream();        return new BufferedReader(new InputStreamReader(in));    }     private PrintWriter getWriter(Socket socket) throws IOException {        OutputStream out = socket.getOutputStream();        return new PrintWriter(new OutputStreamWriter(out));    } }

下面，我們通過實例化一個客戶端，來展示 socket 通訊的結果。

public class Application {        public static void main(String[] args) {            new SocketHttpClient().start("www.baidu.com", 80);        }  }

請求模型優化

這種方式，雖然實現功能沒什麼問題。但是我們細看，發現在 IO 寫入與讀取過程，是發生了 IO 阻塞的情況。即：

// 會發生 IO 阻塞writer.write(HttpUtil.compositeRequest(host));reader.readLine();

所以如果要同時請求10個不同的站點，如下：

public class SingleThreadApplication {        public static void main(String[] args) {    		// HttpConstant.HOSTS 為 站點集合          for (String host: HttpConstant.HOSTS) {                new SocketHttpClient().start(host, HttpConstant.PORT);            }        }  }

它一定是第一個請求響應結束後，才會發起下一個站點處理。

這在服務端更明顯，雖然這裡的程式碼是客戶端連接，但是具體的操作和服務端是差不多的。請求只能一個個串列處理，這在響應時間上肯定不能達標。

多執行緒處理

有人覺得這根本不是問題，JAVA 是多執行緒的程式語言。對於這種情況，採用多執行緒的模型再合適不過。

public class MultiThreadApplication {     public static void main(String[] args) {         for (final String host: HttpConstant.HOSTS) {             Thread t = new Thread(new Runnable() {                public void run() {                    new SocketHttpClient().start(host, HttpConstant.PORT);                }            });             t.start();         }    }}

這種方式起初看起來挺有用的，但並發量一大，應用會起很多的執行緒。都知道，在伺服器上，每一個執行緒實際都會佔據一個文件句柄。而伺服器上的句柄數是有限的，而且大量的執行緒，造成的執行緒間切換的消耗也會相當的大。所以這種方式在並發量大的場景下，一定是承載不住的。

多執行緒 + 執行緒池處理

既然執行緒太多不行，那我們控制一下執行緒創建的數目不就行了。只啟動固定的執行緒數來進行 socket 處理，既利用了多執行緒的處理，又控制了系統的資源消耗。

public class ThreadPoolApplication {        public static void main(String[] args) {            ExecutorService executorService = Executors.newFixedThreadPool(8);            for (final String host: HttpConstant.HOSTS) {                Thread t = new Thread(new Runnable() {                  public void run() {                      new SocketHttpClient().start(host, HttpConstant.PORT);                  }              });                executorService.submit(t);              new SocketHttpClient().start(host, HttpConstant.PORT);            }        }  }

關於啟動的執行緒數，一般 CPU 密集型會設置在 N+1（N為CPU核數），IO 密集型設置在 2N + 1。

這種方式，看起來是最優的了。那有沒有更好的呢，如果一個執行緒能同時處理多個 socket 連接，並且在每個 socket 輸入輸出數據沒有準備好的情況下，不進行阻塞，那是不是更優呢。這種技術叫做「IO多路復用」。在 JAVA 的 nio 包中，提供了相應的實現。

補充1：TCP客戶端與服務端

public class TCP客戶端 {      public static void main(String[] args) {          new Thread(new Runnable() {              @Override    public void run() {                  try {                      Socket s = new Socket("127.0.0.1",1234);    //構建IO    InputStream is = s.getInputStream();    OutputStream os = s.getOutputStream();    BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(os));    //向伺服器端發送一條消息    bw.write("測試客戶端和伺服器通訊，伺服器接收到消息返回到客戶端n");    bw.flush();    //讀取伺服器返回的消息    BufferedReader br = new BufferedReader(new InputStreamReader(is));    String mess = br.readLine();    System._out_.println("伺服器："+mess);    } catch (UnknownHostException e) {                      e.printStackTrace();    } catch (IOException e) {                      e.printStackTrace();    }              }          }).start();    }  }

public class TCP服務端 {      public static void main(String[] args) {          new Thread(new Runnable() {              @Override    public void run() {                  try {                      ServerSocket ss = new ServerSocket(1234);   while (true) {                          System._out_.println("啟動伺服器....");    Socket s = ss.accept();    System._out_.println("客戶端:" + s.getInetAddress().getLocalHost() + "已連接到伺服器");    BufferedReader br = new BufferedReader(new InputStreamReader(s.getInputStream()));    //讀取客戶端發送來的消息    String mess = br.readLine();    System._out_.println("客戶端：" + mess);    BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(s.getOutputStream()));    bw.write(mess + "n");    bw.flush();    }                  } catch (IOException e) {                      e.printStackTrace();    }              }          }).start();    }  }

補充2：UDP客戶端和服務端

public class UDP客戶端 {      public static void main(String[] args) {          new Thread(new Runnable() {              @Override    public void run() {                  byte []arr = "Hello Server".getBytes();   try {                      InetAddress inetAddress = InetAddress.getLocalHost();    DatagramSocket datagramSocket = new DatagramSocket();    DatagramPacket datagramPacket = new DatagramPacket(arr, arr.length, inetAddress, 1234);    datagramSocket.send(datagramPacket);    System._out_.println("send end");    } catch (UnknownHostException e) {                      e.printStackTrace();    } catch (SocketException e) {                      e.printStackTrace();    } catch (IOException e) {                      e.printStackTrace();    }              }          }).start();    }  }

public class UDP服務端 {      public static void main(String[] args) {          new Thread(new Runnable() {              @Override    public void run() {                  try {                      DatagramSocket datagramSocket = new DatagramSocket(1234);   byte[] buffer = new byte[1024];    DatagramPacket packet = new DatagramPacket(buffer, buffer.length);    datagramSocket.receive(packet);    System._out_.println("server recv");    String msg = new String(packet.getData(), "utf-8");    System._out_.println(msg);    } catch (SocketException e) {                      e.printStackTrace();    } catch (IOException e) {                      e.printStackTrace();    }              }          }).start();    }  }