重學電腦組成原理(九)- 動態鏈接

  • 2019 年 10 月 3 日
  • 筆記

把對應的不同文件內的程式碼段,合併到一起,成為最後的可執行文件

鏈接的方式,讓我們在寫程式碼的時候做到了「復用」。

同樣的功能程式碼只要寫一次,然後提供給很多不同的程式進行鏈接就行了。

「鏈接」其實有點兒像我們日常生活中的標準化、模組化生產。

有一個可以生產標準螺帽的生產線,就可生產很多不同的螺帽。

只要需要螺帽,都可以通過鏈接的方式,去複製一個出來,放到需要的地方

但是,如果我們有很多個程式都要通過裝載器裝載到記憶體裡面,那裡面鏈接好的同樣的功能程式碼,也都需要再裝載一遍,再佔一遍記憶體空間。

這就好比,假設每個人都有騎自行車的需要,那我們給每個人都生產一輛自行車帶在身邊,固然大家都有自行車用了,但是馬路上肯定會特別擁擠。

1 鏈接可以分動、靜,共享運行省記憶體

我們上一節解決程式裝載到記憶體的時候,講了很多方法。說起來,最根本的問題其實就是記憶體空間不夠用

如果能夠讓同樣功能的程式碼,在不同的程式裡面,不需要各佔一份記憶體空間,那該有多好啊!

就好比,現在馬路上的共享單車,我們並不需要給每個人都造一輛自行車,只要馬路上有這些單車,誰需要的時候,直接通過手機掃碼,都可以解鎖騎行。

這個思路就引入一種新的鏈接方法,叫作動態鏈接(Dynamic Link)

相應的,我們之前說的合併程式碼段的方法,就是靜態鏈接(Static Link)

在動態鏈接的過程中,我們想要「鏈接」的,不是存儲在硬碟上的目標文件程式碼,而是載入到記憶體中的共享庫(Shared Libraries)

這個載入到記憶體中的共享庫會被很多個程式的指令調用到。

  • 在Windows下,這些共享庫文件就是.dll文件,也就是Dynamic-Link Libary(DLL,動態鏈接庫)
    用了「動態鏈接」的意思
  • 在Linux下,這些共享庫文件就是.so文件,也就是Shared Object(一般我們也稱之為動態鏈接庫)。
    用了「共享」的意思

正好覆蓋了兩方面的含義。

2 地址無關很重要,相對地址解煩惱

要在程式運行的時候共享程式碼,這些機器碼必須「地址無關

也就是說,我們編譯出來的共享庫文件的指令程式碼,是地址無關碼(Position-Independent Code)

換句話說就是,這段程式碼,無論載入在哪個記憶體地址,都能夠正常執行

如果還不明白,我給你舉一個生活中的例子
如果我們有一個騎自行車的程式,要「前進500米,左轉進入天安門廣場,再前進500米」。
它在500米之後要到天安門廣場了,這就是地址相關的。
如果程式是「前進500米,左轉,再前進500米」,無論你在哪裡都可以騎車走這1000米,沒有具體地點的限制,這就是地址無關的。

大部分函數庫其實都可以做到地址無關,因為它們都接受特定的輸入,進行確定的操作,然後給出返回結果就好了。

無論是實現一個向量加法,還是實現一個列印的函數,這些程式碼邏輯和輸入的數據在記憶體裡面的位置並不重要。

而常見的地址相關的程式碼,比如絕對地址程式碼(Absolute Code)、利用重定位表的程式碼等等,都是地址相關的程式碼

回想一下我們之前講過的重定位表。在程式鏈接的時候,我們就把函數調用後要跳轉訪問的地址確定下來了,這意味著,如果這個函數載入到一個不同的記憶體地址,跳轉就會失敗。

對於所有動態鏈接共享庫的程式來講,雖然我們的共享庫用的都是同一段物理記憶體地址,但是在不同的應用程式里,它所在的虛擬記憶體地址是不同的。

沒辦法、也不應該要求動態鏈接同一個共享庫的不同程式,必須把這個共享庫所使用的虛擬記憶體地址變成一致。

如果這樣的話,我們寫的程式就必須明確地知道內部的記憶體地址分配。

那麼問題來了,我們要怎麼樣才能做到,動態共享庫編譯出來的程式碼指令,都是地址無關碼呢?

動態程式碼庫內部的變數和函數調用都很容易解決,我們只需要使用相對地址(Relative Address)

各種指令中使用到的記憶體地址,給出的不是一個絕對的地址空間,而是一個相對於當前指令偏移量的記憶體地址

因為 整個共享庫是放在一段連續的虛擬記憶體地址中的,無論裝載到哪一段地址,不同指令之間的相對地址都是不變的

3 動態鏈接的解決方案

PLT和GOT

要實現動態鏈接共享庫,也並不困難,和前面的靜態鏈接里的符號表和重定向表類似

拿出一小段程式碼來看一看。

  • lib.h
    定義了動態鏈接庫的一個函數 show_me_the_money
  • lib.c
    包含了lib.h的實際實現
  • show_me_poor.c
    調用了 lib 裡面的函數
  • 把 lib.c 編譯成了一個動態鏈接庫,也就是 .so 文件
  • 最終生成文件集

在編譯的過程中,指定了一個 -fPIC 的參數

其實就是Position Independent Code意,也就是要把這個編譯成一個地址無關程式碼

然後,我們再通過gcc編譯 show_me_poor 動態鏈接了 lib.so 的可執行文件

  • 在這些操作都完成了之後,我們把 show_me_poor 這個文件通過objdump出來看一下。
0000000000400540 <show_me_the_money@plt-0x10>:    400540:       ff 35 12 05 20 00       push   QWORD PTR [rip+0x200512]        # 600a58 <_GLOBAL_OFFSET_TABLE_+0x8>    400546:       ff 25 14 05 20 00       jmp    QWORD PTR [rip+0x200514]        # 600a60 <_GLOBAL_OFFSET_TABLE_+0x10>    40054c:       0f 1f 40 00             nop    DWORD PTR [rax+0x0]    0000000000400550 <show_me_the_money@plt>:    400550:       ff 25 12 05 20 00       jmp    QWORD PTR [rip+0x200512]        # 600a68 <_GLOBAL_OFFSET_TABLE_+0x18>    400556:       68 00 00 00 00          push   0x0    40055b:       e9 e0 ff ff ff          jmp    400540 <_init+0x28>  ……  0000000000400676 <main>:    400676:       55                      push   rbp    400677:       48 89 e5                mov    rbp,rsp    40067a:       48 83 ec 10             sub    rsp,0x10    40067e:       c7 45 fc 05 00 00 00    mov    DWORD PTR [rbp-0x4],0x5    400685:       8b 45 fc                mov    eax,DWORD PTR [rbp-0x4]    400688:       89 c7                   mov    edi,eax    40068a:       e8 c1 fe ff ff          call   400550 <show_me_the_money@plt>    40068f:       c9                      leave    400690:       c3                      ret    400691:       66 2e 0f 1f 84 00 00    nop    WORD PTR cs:[rax+rax*1+0x0]    400698:       00 00 00    40069b:       0f 1f 44 00 00          nop    DWORD PTR [rax+rax*1+0x0]

我們還是只關心整個可執行文件中的一小部分內容

  • 在main函數調用show_me_the_money的函數的時候,對應的程式碼是這樣的:

這裡後面有一個@plt的關鍵字,代表了我們需要從PLT,也就是程式鏈接表(Procedure Link Table)裡面找要調用的函數。對應的地址呢,則是400580這個地址。

那當我們把目光挪到上面的 400580 這個地址,你又會看到裡面進行了一次跳轉,

  • 這個跳轉指定的跳轉地址,你可以在後面的注釋裡面可以看到:
    這裡的 GLOBAL_OFFSET_TABLE,就是我接下來要說的全局偏移表。

在動態鏈接對應的共享庫,我們在共享庫的data section裡面,保存了一張全局偏移表(GOT,Global Offset Table)

雖然共享庫的程式碼部分的物理記憶體是共享的,但是數據部分是各個動態鏈接它的應用程式裡面各載入一份的。

所有需要引用當前共享庫外部的地址的指令,都會查詢GOT,來找到當前運行程式的虛擬記憶體里的對應位置

而GOT表裡的數據,則是在我們載入一個個共享庫的時候寫進去的。

不同的進程,調用同樣的 lib.so,各自GOT裡面指向最終載入的動態鏈接庫裡面的虛擬記憶體地址是不同的。

這樣,雖然不同的程式調用的同樣的動態庫,各自的記憶體地址是獨立的,調用的又都是同一個動態庫,但是不需要去修改動態庫裡面的程式碼所使用的地址,

而是各個程式各自維護好自己的GOT,能夠找到對應的動態庫就好了

GOT表位於共享庫自己的數據段里

GOT表在記憶體里和對應的程式碼段位置之間的偏移量,始終是確定的

這樣,共享庫就是地址無關的程式碼,對應的各個程式只需在物理記憶體里載入同一份程式碼

而我們又要通過各個可執行程式在載入時,生成的各不相同的GOT表,找到它需要調用到的外部變數和函數的地址

這是一個典型的、不修改程式碼,而是通過修改「地址數據」來進行關聯的辦法

它有點像我們在C語言裡面用函數指針來調用對應的函數,並不是通過預先已經確定好的函數名稱來調用,而是利用當時它在記憶體裡面的動態地址來調用。

4 總結

終於在靜態鏈接和程式裝載後,利用動態鏈接把我們的記憶體利用到了極致

同樣功能的程式碼生成的共享庫,我們只要在記憶體裡面保留一份就好了

這樣

  • 不僅能夠做到程式碼在開發階段的復用
  • 也能做到程式碼在運行階段的復用。

實際上,在進行Linux程式開發,一直會用到各種各樣的動態鏈接庫。

C語言的標準庫就在1MB以上。

撰寫任何一個程式可能都需要用到這個庫,常見的Linux伺服器里,/usr/bin下面就有上千個可執行文件。

如果每一個都把標準庫靜態鏈接進來的,幾GB乃至幾十GB的磁碟空間一下子就用出去了。如果我們服務端的多進程應用要開上千個進程,幾GB的記憶體空間也會一下子就用出去了。這個問題在過去電腦的記憶體較少的時候更加顯著。

通過動態鏈接這個方式,可以說_徹底解決了這個問題_。

就像共享單車一樣,如果仔細經營,是一個很有社會價值的事情,但是如果粗暴地把它變成無限制地複製生產,給每個人造一輛,只會在系統內製造大量無用的垃圾。

已經把程式怎麼從源程式碼變成指令、數據,並裝載到記憶體裡面,由CPU一條條執行下去的過程講完了。希望你能有所收穫,對於一個程式是怎麼跑起來的,有了一個初步的認識。

5 推薦閱讀

想要更加深入地了解動態鏈接,推薦你可以讀一讀《程式設計師的自我修養:鏈接、裝載和庫》的第7章

裡面深入地講解了,動態鏈接里程式內的數據布局和對應數據的載入關係。

參考

  • 深入淺出電腦組成原理