Linux性能優化:記憶體使用情況分析

Blog:部落格園 個人

什麼是記憶體

記憶體(Memory)是電腦的重要部件之一,也稱記憶體儲器和主存儲器,它用於暫時存放CPU中的運算數據,與硬碟等外部存儲器交換的數據

它是外存與CPU進行溝通的橋樑,電腦中所有程式的運行都在記憶體中進行,記憶體性能的強弱影響電腦整體發揮的水平。

只要電腦開始運行,作業系統就會把需要運算的數據從記憶體調到CPU中進行運算,當運算完成,CPU將結果傳送出來。

記憶體的運行也決定電腦整體運行快慢的程度。

Linux記憶體回收機制

為啥要回收:

  • 內核需要為任何時刻突發到來的記憶體申請提供足夠的記憶體,以便cache的使用和其他相關記憶體的使用不至於讓系統的剩餘記憶體長期處於很少的狀態。
  • 當真的有大於空閑記憶體的申請到來的時候,會觸發強制記憶體回收。

記憶體回收針對的目標有兩種,一種是針對zone的,另一種是針對一個memcg的,把針對zone的記憶體回收方式分為三種,分別是快速記憶體回收、直接記憶體回收、kswapd記憶體回收。

查看Linux記憶體情況

查看/proc/meminfo

[root@test ~]# cat /proc/meminfo
MemTotal:       16166688 kB
MemFree:        14051412 kB
MemAvailable:   14772588 kB
Buffers:            2116 kB
Cached:          1073260 kB
SwapCached:            0 kB
Active:           770384 kB
Inactive:         698264 kB
Active(anon):     450156 kB
Inactive(anon):    76748 kB
Active(file):     320228 kB
Inactive(file):   621516 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:      33554428 kB
SwapFree:       33554428 kB
Dirty:               476 kB
Writeback:             0 kB
AnonPages:        393328 kB
Mapped:           153828 kB
Shmem:            133628 kB
Slab:             246448 kB
SReclaimable:     133892 kB
SUnreclaim:       112556 kB
KernelStack:       13472 kB
PageTables:        30496 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    41637772 kB
Committed_AS:    4257776 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      320696 kB
VmallocChunk:   34350426108 kB
HardwareCorrupted:     0 kB
AnonHugePages:    155648 kB
CmaTotal:              0 kB
CmaFree:               0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:      279276 kB
DirectMap2M:     6965248 kB
DirectMap1G:    11534336 kB

使用free命令查看

[root@test ~]# free -h
              total        used        free      shared  buff/cache   available
Mem:            15G        874M         13G        130M        1.2G         14G
Swap:           31G          0B         31G

參數說明:

  • total:總記憶體大小。
  • used:已經使用的記憶體大小(這裡面包含cached和buffers和shared部分)。
  • free:空閑的記憶體大小。
  • shared:進程間共享記憶體(一般不會用,可以忽略)。
  • buffers:記憶體中寫完的東西快取起來,這樣快速響應請求,後面數據再定期刷到磁碟上。
  • cached:記憶體中讀完快取起來內容占的大小(這部分是為了下次查詢時快速返回)。
  • available:還可以被應用程式使用的物理記憶體大小,和free的區別是,free是真正未被使用的記憶體,available是包括buffers、cached的。
  • Swap:硬碟上交換分區的使用大小。

Buffer和Cache

Cache(快取),為了調高CPU和記憶體之間數據交換而設計,Buffer(緩衝)為了提高記憶體和硬碟(或其他I/O設備的數據交換而設計)。

Cache主要是針對讀操作設計的,不過Cache概念可能容易混淆,我理解為CPU本身就有Cache,包括一級快取、二級快取、三級快取,我們知道CPU所有的指令操作對接的都是記憶體,而CPU的處理能力遠高於記憶體速度,所以為了不讓CPU資源閑置,Intel等公司在CPU內部集成了一些Cache,但畢竟不能放太多電路在裡面,所以這部分Cache並不是很大,主要是用來存放一些常用的指令和常用數據,真正大部分Cache的數據應該是佔用記憶體的空間來快取請求過的數據,即上面的Cached部分(這部分純屬個人理解,正確與否有待考證)。

Buffer主要是針對寫操作設計的,更細的說是針對記憶體和硬碟之間的寫操作來設計的,目的是將寫的操作集中起來進行,減少磁碟碎片和硬碟反覆定址過程,提高性能。

在Linux系統內部有一個守護進程會定期清空Buffer中的內容,將其寫入硬碟內,當手動執行sync命令時也會觸發上述操作。

Swap

雖然現在的記憶體已經變得非常廉價,但是swap仍然有很大的使用價值,合理的規劃和使用swap分區,對系統穩定運行至關重要。

Linux下可以使用文件系統中的一個常規文件或者一個獨立分區作為交換空間使用。同時linux允許使用多個交換分區或者交換文件。

記憶體泄漏和記憶體溢出

記憶體溢出(OOM,out of memory),是指程式在申請記憶體時,沒有足夠的記憶體空間供其使用,出現out of memory;比如申請了一個integer,但給它存了long才能存下的數,那就是記憶體溢出。

記憶體泄露(memory leak),是指程式在申請記憶體後,無法釋放已申請的記憶體空間,一次記憶體泄露危害可以忽略,但記憶體泄露堆積後果很嚴重,無論多少記憶體,遲早會被佔光。

如何判斷記憶體泄露

jstat -gcutil PID,觀察Old這個參數,如果每次執行完FULLGC之後Old區的值一次比一次升高,就可以判斷為發生了記憶體泄漏。

如何判斷記憶體溢出

Heap Dump(堆轉儲文件)它是一個Java進程在某個時間點上的記憶體快照。Heap Dump是有著多種類型的。不過總體上heap dump在觸發快照的時候都保存了java對象和類的資訊。通常在寫heap dump文件前會觸發一次FullGC,所以heap dump文件中保存的是FullGC後留下的對象資訊。

通過設置如下的JVM參數,可以在發生OutOfMemoryError後獲取到一份HPROF二進位Heap Dump文件:

-XX:+HeapDumpOnOutOfMemoryError

生成的文件會直接寫入到工作目錄。

注意:該方法需要JDK5以上版本。

轉存堆記憶體資訊後,需要對文件進行分析,從而找到OOM的原因。可以使用以下方式:

mat:eclipse memory analyzer, 基於eclipse RCP的記憶體分析工具。具體使用參考://www.eclipse.org/mat/

jhat:JDK自帶的java heap analyze tool,可以將堆中的對象以html的形式顯示出來,包括對象的數量,大小等等,並支援對象查詢語言OQL,分析相關的應用後,可以通過//localhost:7000來訪問分析結果。不推薦使用。

OOM常見原因及解決方案

可參考高手總結的9種 OOM 常見原因及解決方案

釋放記憶體

在Linux系統下,我們一般不需要去釋放記憶體,因為系統已經將記憶體管理的很好。但是凡事也有例外,有的時候記憶體會被快取佔用掉,導致系統使用SWAP空間影響性能,例如當你在linux下頻繁存取文件後,物理記憶體會很快被用光,當程式結束後,記憶體不會被正常釋放,而是一直作為caching。此時就需 要執行釋放記憶體(清理快取)的操作了。

釋放記憶體操作:

sync  # 強制將記憶體中的快取寫入磁碟

echo 數字 > /proc/sys/vm/drop_caches #數字可以是0-3的整數

數字含義:

  • 0:不釋放(系統默認值)
  • 1:釋放頁快取
  • 2:釋放dentries和inodes
  • 3:釋放所有快取