python常用標準庫（os系統模組、shutil文件操作模組）

2022 年 6 月 4 日
筆記
python小白的成長之路

常用的標準庫

系統模組

import os

系統模組用於對系統進行操作。

常用方法

os模組的常用方法有數十種之多，本文中只選出最常用的幾種，其餘的還有許可權操作、文件的刪除創建等詳細資料可以參考官方文檔。

system — 執行系統命令

參數的數據類型是字元串格式，內容是系統指令。執行時，直接返回系統輸出。

import os

os.system('ifconfig')  # Linux系統shell命令
os.system('ipconfig')  # Windows系統dos命令

popen — 執行系統命令

在使用system執行系統命令的時候，發現在windows系統下執行命令時，中文字元發生了亂碼！這是因為windows為減少佔用，對中文系統使用GB格式編碼，而python中默認使用的UTF-8編碼，編碼不兼容導致了亂碼問題。

popen也可以執行系統指令，但是和system的工作方式不一樣。

popen執行系統指令之後返回對象，通過內置方法read讀出字元串，這個過程中read方法自動的將其它編碼轉換成為了UTF-8格式，所以popen相比system有更高的可讀性和兼容性。

而在實際的使用過程中，發現popen不存在阻塞，即在執行一些長時間系統任務的時候，不會等待系統任務結束，python程式碼就會繼續執行，在某些場景下會導致問題的出現。比如在我的一個場景中，要將一個文件夾中的文件刪除，之後在重寫一份文件，使用popen導致文件還沒有刪除，而程式碼繼續執行使新文件已經寫好，而這個時候popen又將我新寫的文件刪除，導致我的程式在後續出現bug。所以，如果沒有可讀性的要求，我建議優先使用system方法。

import os

obj = os.popen('ipconfig')
res = obj.read()
print(res)

listdir — 獲取指定文件夾中的所有文件

獲取指定文件夾中的所有文件（包括文件和文件夾），返迴文件的名稱，以列表的形式返回，默認情況為當前路徑。

import os

# 默認為當前路徑
files = os.listdir()
print(files)

# 相對和絕對路徑都可以使用
files = os.listdir('C:')
print(files)

walk — 遞歸遍歷目錄

遞歸遍歷指定目錄，包括其所有的子目錄，返回一個迭代器對象。迭代器每次返回一個元組，元組為三個元素：

第一個元素為字元串，表示當前目錄路徑；
第二個元素為列表，表示當前目錄下的所有文件夾名（不包括子目錄中的）；
第三個元素為列表，表示當前遍歷目錄中的所有文件名（不包括子目錄中的）；

主要參數	含義
top	指定目錄；
topdown	正序遍歷還是倒序遍歷，默認為True（正序）；

請看下例，目錄結構如下：

C:\USERS\MSR\DESKTOP\TEST
│root.txt
├─1
│  ├─1.txt
│  └─111
│     └─11.txt
└─2
   └─2.txt

import os

path = r'C:\Users\MSR\Desktop\test'

# 正序遍歷
res = os.walk(path)  # 返回迭代器
for i in res:
    print(i)
r"""
('C:\\Users\\MSR\\Desktop\\test', ['1', '2'], ['root.txt'])
('C:\\Users\\MSR\\Desktop\\test\\1', ['111'], ['1.txt'])
('C:\\Users\\MSR\\Desktop\\test\\1\\111', [], ['11.txt'])
('C:\\Users\\MSR\\Desktop\\test\\2', [], ['2.txt'])
"""

# 倒序遍歷（優先展示最深子目錄）
res = os.walk(path, topdown=False)
for i in res:
    print(i)
r"""
('C:\\Users\\MSR\\Desktop\\test\\1\\111', [], ['11.txt'])
('C:\\Users\\MSR\\Desktop\\test\\1', ['111'], ['1.txt'])
('C:\\Users\\MSR\\Desktop\\test\\2', [], ['2.txt'])
('C:\\Users\\MSR\\Desktop\\test', ['1', '2'], ['root.txt'])
"""

getcwd — 獲取當前工作路徑

import os

# 獲取當前的工作路徑
dir_path = os.getcwd()
print(dir_path)  # E:\0-project\python\test

# 獲取當前文件的路徑
file_path = __file__  # 使用內置屬性__file__獲取
print(file_path)  # E:/0-project/python/test/test3.py

注意：getcwd()獲取的使用當前工作路徑，__file__是獲取當前文件的路徑。

對於這個注意事項，大家一定要銘記於心，因為我被人欺騙了，當然這應該算是pycharm的坑吧！

注意了，文件的所在路徑和工作路徑是不相同的，文件的所在路徑就是在系統中的這個腳本文件實實在在的地址，如果這個文件在C:\下，那麼在任何的情況下這個文件的所在路徑都是C:\；而工作路徑不同，如果我們在C:\下執行這個python文件，那麼我們的工作路徑就是C:\，如果我們是在D:\下執行，那麼我們的工作路徑就是D:\，這就是文件所在地址和工作地址的區別，但是在一般情況下，我們執行文件都是在文件的所在地址執行的，所以大部分的時候文件所在路徑和當前工作路徑都是相同的。

可我在最開始學習這個方法的時候，我的老師教我說getcwd()的作用是獲取文件的所在路徑，那麼是什麼讓我一直以為getcwd()的作用是獲取文件的所在路徑呢？是老師教給我的……感覺這個老師很不靠譜？那麼老師怎麼沒有發現其中的含義呢？我怎麼又一直深信不疑呢？我覺得這個一定是要pycharm來背鍋了！我們在學習的時候一般都是相信自己的實際操作的結果的，我們執行的結果是什麼，反覆那麼幾次，我們的印象就會加深！

然後今天2021年12月7日20:58:09我在給公司的項目寫一個啟動腳本，目的是為了避免使用繁瑣的命令去啟動關閉項目，那麼我在寫的時候為了能夠在系統的任何一個地方都是可以使用這個腳本，所以將命令中的各種路徑全部寫為絕對路徑，我們系統工程師對絕對路徑是非常熟練的！但是在我寫好使用的時候就發現程式根本就啟動不起來，已啟動就死掉了，我就開始找原因，後來我發現在程式的目錄下啟動就沒有問題，在其它的地址啟動就有問題，我就意識到這是路徑的錯誤。當然我們是有日誌的，我看日誌說是配置文件相關的地方出現了錯誤，我一看，就很好奇，配置文件是在程式的目錄中的，讀取的時候使用相對路徑來獲取，但是卻沒有讀到文件，但是我檢查之後文件是存在的！那麼這個問題就很明顯了，工作路徑出了問題。

但是我還疑惑，為什麼會影響到相對路徑嗎？然後我就測試了getcwd，發現果然如此，getcwd返回的不是文件的所在地址而是當前所在的工作地址，這個時候我還不死心，因為當時老師說的不是這樣，所以我以為是linux和windows的差異，所以我就咋愛windows中又測試了一遍，發現還是一樣的。那麼我就又疑惑了，怎麼在pycharm中，工作路徑始終都是文件的所在路徑呢？然後我就發現原來pycharm中可以指定文件的工作路徑，而且默認將當前的文件路徑作為工作路徑使用。

然後我看文檔介紹：Return a unicode string representing the current working directory. ，emmm估計當時老師也是被pycharm坑了吧。所以大家以後如果想要在程式中固定工作路徑，可以在啟動文件中使用__file__獲取，或者使用os.chdir方法。

然後最後還是在強調一下：工作路徑會影響到相對路徑的使用，但是不會影響到sys.pathpython的環境變數。

chdir — 修改當前工作路徑

之前我們有學過很多的函數，他們在涉及到路徑的時候，一般默認情況都是當前腳本文件所在的目錄（比如剛才的listdir、getcwd），如果將文件的默認工作路徑修改，就會影響到其它的一些功能，比如說我們導入文件使用相對路徑等，所以，謹慎使用。

import os

# 在修改默認工作路徑前使用
print(os.getcwd())  # E:\0-project\python\test

# chdir 修改當前文件工作的默認路徑
os.chdir('C:')

# 在修改工作路徑後使用
print(os.getcwd())  # C:\

access — 測試許可權

用於測試一個指定路徑或者文件的許可權，返回True或者False。

語法：os.access(path, mode)

必要參數為path和mode，分別表示路徑和測試的許可權類型。

mode	說明
os.F_OK	是否存在；
os.R_OK	是否可讀；
os.W_OK	是否可寫；
os.X_OK	是否可執行；

urandom — 隨機位元組對象

返回包含適合加密使用的隨機位元組的bytes對象。

import os

# 參數為位元組長度
key = os.urandom(1)
print(key, len(key))
# b'\x92' 1

key = os.urandom(5)
print(key, len(key))
# b'\xde\x05/lh' 5

getpid&getppid — 獲取進程和父進程

getpid用於返回當前程式（腳本文件）的進程ID，getppid用於返回當前程式（腳本文件）的父進程ID。

# 獲取進程唯一ID(PID)
import os

# getpid 返回當前進程的ID
print(os.getpid())  # 10784

# getppid 返回父進程的ID
# 如果父進程已退出，Windows電腦仍將運行返回其id；其他系統將返回「init」進程的id；
print(os.getppid())  # 16468

cpu_count — 獲取CPU核心數（邏輯）

import os

print(os.cpu_count())

"""
結果：
8
"""

常用屬性

enciron — 操作環境變數

import os

#  獲取系統的所有環境變數
ev_var = os.environ
print(ev_var)

# 獲取系統指定的環境變數
path_ev_var = os.environ['PATH']
print(path_ev_var)

# 添加環境變數
os.environ['PATH'] += r':/home/msr'  # Linux使用冒號分隔
os.environ['PATH'] += r';C:\Users\MSR'  # Windows使用分號分隔

# 其實可以看到，環境變數其實就是一個特殊的字典，修改環境變數就是在操作一個字典數據而已

name & sep & linesep

import os

# name 獲取系統標識（Linux ->posix   windows -> nt）
print(os.name)  # nt

# sep 獲取路徑分隔符號
print(os.sep)  # \

# linesep 獲取系統的換行符號
print(repr(os.linesep))  # '\r\n'

文件操作

mknod & remove — 新建&刪除文件

windows系統不支援此方法。

import os

os.mknod('test.txt')
os.remove('test.txt')

mkdir & rmdir — 創建&刪除文件夾

import os

os.mkdir('test_dir')
os.rmdir('test_dir')

rename — 重命名文件或文件夾

語法：rename(old_path, new_path)

import os

os.rename('test.txt', 'hahaha.txt')

makedirs & removedirs — 迭代創建&刪除文件夾

import os

# 迭代創建文件夾
os.makedirs('a/b/c/d/e')

# 迭代刪除文件夾（文件夾中存在文件，則該文件夾不刪除）
os.removedirs('a/b/c/d/e')

路徑模組

import os.path

路徑模組也是系統模組中的一部分。

basename — 返迴路徑中的文件名部分

import os.path

# 該路徑不一定真實存在
file_path = r'..\學習筆記\day1筆記.py'
file_name = os.path.basename(file_path)
print(file_name)  # day1筆記.py

dirname — 返迴路徑中目錄部分

import os.path

file_path = r'..\學習筆記\day1筆記.py'
dir_path = os.path.dirname(file_path)
print(dir_path)  # ..\學習筆記

split — 將目錄和文件名拆分成兩部分

import os.path

file_path = r'..\學習筆記\day1筆記.py'
tuple_var = os.path.split(file_path)
print(tuple_var)  # ('..\\學習筆記', 'day1筆記.py')
print(type(tuple_var))  # 返回元組: <class 'tuple'>

join — 將多個路徑組合在一起

import os.path

path1 = 'abc'
path2 = '123'
path3 = 'main.py'

# 使用join組合
path = os.path.join(path1, path2, path3)
print(path)  # abc\123\main.py

# 也可以使用 os.sep
path = path1 + os.sep + path2 + os.sep + path3
print(path)  # abc\123\main.py

splitext — 將文件名分為文件名和後綴名

import os.path

# 分開文件名
file_name = 'main.py'
res = os.path.splitext(file_name)
print(res)  # ('main', '.py')
print(type(res))  # <class 'tuple'>

# 分來完整路徑
file_path = r'..\學習筆記\day1筆記.py'
res = os.path.splitext(file_path)
print(res)  # ('..\\學習筆記\\day1筆記', '.py')
print(type(res))  # <class 'tuple'>

# 也可以使用字元串內置方法 split 實現
res = file_path.split('.')
print(res)  # ['', '', '\\學習筆記\\day1筆記', 'py']
print(type(res))  # <class 'list'>

getsize — 獲取指定文件的大小

import os.path

# 獲取指定文件的大小（單位：byte）
file_size_byte = os.path.getsize('test.txt')

getctime — 獲取文件的創建時間

獲取文件的創建時間，返回時間戳。（windows有明確的創建時間，linux只有最後一次的修改時間。）

import os.path
import time

# 獲取文件創建時間
stamp_time = os.path.getctime('./test.py')
print(stamp_time)  # 1613989768.3445127

# 配合 時間模組使用 獲取時間
print(time.ctime(stamp_time))  # Mon Feb 22 18:29:28 2021

getmtime — 獲取文件的最後一次修改時間

import os.path
import time

# 獲取文件最後一次修改時間
stamp_time = os.path.getmtime('./test.py')
print(stamp_time)  # 1614037683.1067748

# 配合 時間模組使用 獲取時間
print(time.ctime(stamp_time))  # Tue Feb 23 07:48:03 2021

getatime — 獲取文件最後一次訪問時間

import os.path
import time

# 獲取文件最後一次訪問時間
stamp_time = os.path.getatime('./test.py')
print(stamp_time)  # 1635590737.799415

# 配合 時間模組使用 獲取時間
print(time.ctime(stamp_time))  # Sat Oct 30 18:45:37 2021

isdir & isfile & islink — 檢查路徑類型

不檢查路徑是否真實存在。

import os.path

# 檢查路徑類型，返回布爾值：
    # 不是對應類型或沒有相應文件 ： False
    # 是對應類型：True

# isdir 檢查路徑是否是文件夾
res = os.path.isdir('test.txt')

# isfile 檢查路徑是否是文件
res = os.path.isfile('test.txt')

# islink 檢查路徑是否是鏈接
res = os.path.islink('test.txt')

isabs — 檢查路徑是否是絕對路徑

不檢查路徑是否真實存在

import os.path

# 檢查windows路徑
path = r'E:\小黃片'
res = os.path.isabs(path)
print(res)  # True

# windows系統檢查Linux路徑
path = r'/root/home'
res = os.path.isabs(path)
print(res)  # True

abspath — 相對路徑轉成絕對路徑

先檢查一個路徑是否是相對路徑，是則將其轉成絕對路徑，反之不變。

轉成絕對路徑的規則是：以當前的工作路徑為基準，根據相對路徑中的相對級別，將對應級別的工作路徑替換為原路徑中的相對路徑。

不檢查路徑是否真實存在。

import os.path

# 絕對路徑不改變
path = r'E:\學習資料'
new_path = os.path.abspath(path)
print(new_path)  # E:\學習資料

# 相對路徑轉成絕對路徑
path = r'..\學習資料'
new_path = os.path.abspath(path)
print(new_path)  # E:\0-project\python\學習資料

# 根據級別自動轉換
path = r'..\..\學習資料'
new_path = os.path.abspath(path)
print(new_path)  # E:\0-project\學習資料

# 如果相對的級別過多，就以根目錄為準（不會報錯）
path = r'..\..\..\..\..\..\..\..\..\..\學習資料'
new_path = os.path.abspath(path)
print(new_path)  # E:\學習資料

exists — 檢查路徑是否真實存在

檢查路徑是否真實存在，返回布爾值。

import os.path

# 檢查指定路徑是否存在
path = r'E:\小黃片'
res = os.path.exists(path)
print(res)  # False

文件複製移動模組（文件操作）

import shutil

用於對文件進行操作。

獲取文件資訊，獲取文件資訊，見系統模組。

copyfileobj — 複製文件（內容）

只複製文件的內容，通過文件IO操作，將一個文件的對象複製到另一個文件對象當中，因為需要在文件IO對象中操作，所以不推薦使用。

語法：copyfileobj(fsrc, fdst, length=16*1024)

copyfileobj(被複制文件對象，新文件對象，一次性讀取字元數量。)

import shutil

with open('test.txt', 'r', encoding='UTF-8') as fp1 :
   with open('test2.txt', 'w', encoding='UTF-8') as fp2 :
      shutil.copyfileobj(fp1, fp2)

copyfile — 複製文件（內容）

底層調用copyfileobj，使用方便快捷，所以推薦使用。

語法：copyfile(被複制文件路徑，新文件路徑)

import shutil

shutil.copyfile('test.txt', 'test2.txt')

copymode — 複製文件（許可權）

僅複製文件的許可權，不複製文件的內容（被賦值許可權的文件必須存在），語法和copyfile相同。

import shutil

shutil.copymode('test.txt', 'test.txt')

copystat — 複製文件（除了內容）

複製文件的所有的狀態資訊，包括各種日期、許可權……就是沒有內容。

import shutil

shutil.copystat('test.txt', 'test.txt')

copy & copy2 — 複製文件

import shutil

# 複製文件內容和許可權
shutil.copy('test.txt', 'test.txt')

# 完整複製整個文件（包括狀態、許可權、內容……）
shutil.copy2('test.txt', 'test.txt')

copytree — 迭代複製文件夾中的所有

import shutil

shutil.copytree('../學習筆記', '../學習筆記備份')

rmtree — 迭代刪除文件夾（即使文件夾中有文件）

import shutil

shutil.rmtree('..\小黃片')

move — 移動文件或文件夾

import shutil

shutil.move('D:\學習資料', 'C:\我的心血')

Tags: python小白的成長之路