超全!python的文件和目录操作总结

2020 年 3 月 3 日
筆記

文件的基本读写

path = r'C:UsersBradyDocumentstmp'  with open(path + r'demo.txt', 'r', encoding='utf-8') as f:      content = f.read()  print(content)

open()函数

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None) Open file and return a corresponding file object. If the file cannot be opened, an OSError is raised.

open函数用于打开一个文件,并返回文件句柄.

文件打开的mode主要有以下几种方式:

mode	含义
‘r’	读取(默认)
‘w’	写入(会截断之前的文件内容)
‘x’	写入(如果文件已经存在会产生异常)
‘a’	追加,将新内容写入到文件末尾
‘b’	二进制模式
‘t’	文本模式(默认)
‘+’	更新,可读可写

这里关于newline做一个解释. newline是换行符,windows系统的换行符和类unix系统的换行符是不一样的. windows默认使用rn做为换行符. 而类unix系统使用n作为换行符.

关于换行符的使用,文档给出了如下解释:

如果newline为None,则r n rn都会被识别为换行符,并统一翻译为n.
如果newline为”,则直接返回源文件中的换行符

关于换行符rn 和n 的历史要追溯到计算机出现之前的电传打印机. r的意思代表回车,也就是打印头回到初始位置. n的意思表示换行,也就是纸张往上卷一行. 在windows中保留了这种老传统. 真正的换行符需要rn 而类unix中则选择使用n作为换行符

write()函数

with open(path+r'demo2.txt','w',encoding='utf-8') as f:      content = 'this is a demo for write function'      res=f.write(content)    print(res)

file对应的方法

file.close(): 关闭文件
file.flush():讲缓冲区的内容立即写入文件
file.readline():读取整行
file.readlines():按行读取,并返回列表.可以设定读取的字节数
file.seek()设置游标位置
file.tell()显式当前游标位置
file.truncate()截取文件

目录相关操作

获取目录列表

with os.scandir(path2) as entries:      for item in entries:          print(item.name)

scandir()返回的是一个生成器.

同样也可以使用pathlib库.

enties = Path(path2)  for entry in enties.iterdir():      print(entry.name)

获取目录下的文件

for entry in os.listdir(basepath):      if os.path.isfile(os.path.join(basepath,entry)):          print(entry)    with os.scandir(basepath) as entries:      for entry in entries:          if entry.is_file():              print(entry.name)      base_path = Path(basepath)  for entry in base_path.iterdir():      if entry.is_file():          print(entry.name)    base_path = Path(basepath)  files_in_basepath = (entry for entry in base_path.iterdir() if entry.is_file())  for item in files_in_basepath:      print(item.name)

以上四种办法都可以.

获取子目录

for entry in os.listdir(basepath):      if os.path.isdir(os.path.join(basepath,entry)):          print(entry)    with os.scandir(basepath) as entries:      for entry in entries:          if entry.is_dir():              print(entry.name)    base_path = Path(basepath)    for entry in base_path.iterdir():      if entry.is_dir():          print(entry.name)

获取文件属性

with os.scandir(basepath) as entries:      for entry in entries:          info = entry.stat()          print(entry.name,timestamp2datetime(info.st_mtime))    base_path = Path(basepath)    for entry in base_path.iterdir():      info = entry.stat()      print(entry.name,timestamp2datetime(info.st_mtime))

os.scandir()返回一个os.dirEntry对象. os.dirEntry对象大概有以下属性和方法:

name:文件(目录)名
path:文件(目录)路径
is_file()
is_dir()
stat()返回一个stat_result对象.

而stat_result对象又有N多关于文件的属性,比如时间戳相关的属性:

st_atime:最近访问时间
st_mtime:最近修改时间
st_ctime:创建时间

创建目录

在os和pathlib的模块中都包含了创建目录的函数.

os.mkdir() 创建单个子目录
os.makedirs() 创建多个目录,包括中间目录
Pathlib.Path.mkdir() 创建单个或者多个目录

创建单个目录

os.chdir(basepath)  if not os.path.exists(os.path.join(basepath,'c')):      os.mkdir('c')    base_path = Path(basepath+r'd')    try:      base_path.mkdir()  except FileExistsError :      pass

通过os.mkdir()和Path.mkdir()都可以创建单个目录. 如果目录已经存在,则会报FileExistsError异常. 也可以使用exist_ok=True 参数来忽略这个异常

创建多个目录

可以使用os.makedirs()来创建包含中间目录在内的所有目录,类似mkdir -p

os.makedirs('2020/3/2')

也可以使用Path.mkdir()方法来创建多层目录.只需要指定parents=True比如

from pathlib import Path  p = Path('2018/10/05')  p.mkdir(parents=True, exist_ok=True)

文件名的模式匹配

使用字符串方法

python有一些内置的修改和操作字符串的方法,在操作文件名的时候,可以先遍历拿到文件名,然后使用字符串的方式进行匹配.

for item in os.listdir(basepath):      if item.endswith('.txt'):          print(item)

使用fnmatch库

另外还可以使用fnmatch库,fnmatch库支持类unix的通配符.

通配符	含义
*	匹配所有字符
?	匹配任意一个字符
[seq]	匹配一个序列
[!seq]	匹配一个不包含seq的序列

import fnmatch  for item in os.listdir(basepath):      if fnmatch.fnmatch(item,"*.txt"):          print(item)

使用glob库

总的来说,glob库和fnmatch库差不多,但是glob库提供了递归功能,可以查询目录下子目录的文件名. glob.glob(pathname, *, recursive=False)

另外在pathlib中也提供了类似glob的方法.

总结:

函数	描述
startswith()	是否以一个特定的序列开头
endswith()	是否以一个特定的序列结尾
dnmatch.fnmatch(filename,pattern)	测试文件名是否满足正则表达式
glob.glob()	返回匹配的文件列表
pathlib.Path.glob()	返回一个匹配该模式的生成器对象

遍历和处理文件

os.walk(top, topdown=True, onerror=None, followlinks=False)

os.chdir(basepath)  for dirpath,dirname,files in os.walk('.'):      print(f'found directory:{dirpath}')      for filename in files:          print(filename)

walk()方法返回一个三元组(dirpath,dirnames,filenames)

创建临时文件和目录

临时文件和临时目录就是程序运行时创建,在程序运行结束之后会自动删除的文件和目录. 可以使用tempfile模块来进行操作.

from tempfile import TemporaryFile  from tempfile import TemporaryDirectory    fp = TemporaryFile('w+t')  fp.write('hello world')  fp.seek(0)  data = fp.read()  print(data)  fp.close()    with TemporaryFile('w+t',encoding='utf-8') as tf:      tf.write('hello world')      tf.seek(0)      print(tf.read())    tmp=''  with TemporaryDirectory() as tmpdir:      print("create a temp directory{0}".format(tmpdir))      tmp = tmpdir      print(os.path.exists(tmp))    print(os.path.exists(tmp))

临时文件作为一个临时的硬盘上的缓存,一般不需要命名. 但是如果需要使用带文件名的临时文件时,可以使用tempfile.NamedTemporaryFile()

在windows平台下,临时文件一般存放在C:/TEMP或者C:/TMP. 其他平台上,一般存放顺序为/tmp,/var/tmp,/usr/tmp 如果以上路径都找不到的话,python会默认在当前目录中存放临时文件和临时目录.

注意,TemporaryFile()等方法也是支持with..in这种上下文管理器的.

删除文件和目录

删除文件

要删除单个文件有三种办法:pathlib.Path.unlink() , os.remove() 还有 os.unlink()方法

这里需要注意的是,os.remove()和os.unlink()没有什么区别. unlink是类unix系统中的早期叫法.

os.remove(os.path.join(basepath,'demo.txt'))  os.unlink(os.path.join(basepath,'demo2.txt'))

或者使用pathlink.Path.unlink()方法

from pathlib import Path  p = Path(basepath+r'1-demo.txt')  p.unlink()

注意,以上方法只能删除文件,如果删除的不是文件而是目录的话,会报IsADirectoryError异常

三个方法:

os.rmdir()
pathlib.Path.rmdir()
shutil.rmtree()

在os.rmdir()和pathlib.Path.rmdir()中,如果删除的是非空目录,会报OSError异常.

os.rmdir(os.path.join(basepath,'a'))  p = Path(basepath+r'b')  p.rmdir()

如果想删除非空目录或者目录树的话,可以是用shutil.rmtree()方法

shutil.rmtree(os.path.join(basepath,'2020'))

复制,移动和重命名文件和目录

这里我们要使用到shutil模块,shutil模块提供了类似shell的一些功能.

复制文件

import os  import shutil  src = os.path.join(basepath,'0-demo.txt')  dst = os.path.join(basepath,'c')  shutil.copy(src,dst)

这个不需要多讲了,类似cp命令. 如果dst是文件,则覆盖原文件,如果dst是目录的话,则拷贝到该目录下.

copy()方法不会复制元数据. 如果要连文件信息等元数据一起复制的话,则需要使用copy2()方法.

复制目录

import os  import shutil  src = os.path.join(basepath,'c')  dst = os.path.join(basepath,r'dbak')    shutil.copytree(src,dst)

这里需要注意的是,目标目录不能是已存在的目录. 而且在复制的时候,不带原目标目录的父目录. 说人话就是上面这段代码在执行的时候,只会讲c目录内的内容复制到bak目录里去.

移动文件和目录

import os  import shutil  src = os.path.join(basepath,'c')  dst = os.path.join(basepath,r'dbak')    shutil.move(src,dst)

跟shell中的mv用法一样一样一样的. 如果目的目录存在,则会将源目录移动到目的目录中去. 如果目的目录不存在,那就是源目录的重命名.

重命名文件和目录

可是使用os模块中的rename()方法,也可以使用pathlib.Path.rename()方法.

os.chdir(basepath)  os.rename('3-demo.txt','demo3.txt')  p = Path('0-demo.txt')  p.rename('demo0.txt')

归档

所谓归档就是打包. 最常见的两种打包方式就是zip和tar.(嗯…不要说rar…)

读取zip文件

python提供了zipfile的内置模块用来处理zip文件.

import os  import zipfile    os.chdir(basepath)    with zipfile.ZipFile('d.zip','r') as zf:      filelist=zf.namelist()      bar_file_info = zf.getinfo('d/bak/0-demo.txt')      print(type(bar_file_info))      print(bar_file_info.file_size)      print(filelist)

提取zip文件

通过zipfile.extract()和zipfile.extractall()可以从zip文件中提取一个或多个文件.

with zipfile.ZipFile('d.zip','r') as zipobj:      zipobj.extract('d/bak/0-demo.txt')         zipobj.extractall(path=r'./zip/')

创建新的zip文件

直接使用write()方法就可以了.

file_list = []  for item in os.listdir():      if fnmatch.fnmatch(item,'*-demo.txt'):          file_list.append(item)    with zipfile.ZipFile('demo.zip','w') as zipobj:      for txt_file in file_list:          zipobj.write(txt_file)

tarfile库的操作

tar文件在linux中比较常用,可以使用gzip,bzip2和lzma等压缩方法进行压缩. python同样内置了tarfile库用于处理tar文件.

file_list = []  for item in os.listdir():      if fnmatch.fnmatch(item,'*-demo.txt'):          file_list.append(item)  # 创建一个tar包  with tarfile.open('demo.tar.gz',mode='w:gz') as tf:      for file_name in file_list:          tf.add(file_name)  # 读取tar包  with tarfile.open('demo.tar.gz',mode='r:gz') as tf:      for member in tf.getmembers():          print(member.name)  # 解压缩tar包  with tarfile.open('demo.tar.gz',mode='r:gz') as tf:      tf.extract('2-demo.txt',path=r'./d/demo')      tf.extractall(path=r'./d/extractall')

关于打开模式的解释,懒得翻译了.

mode	action
‘r’ or ‘r:*’	Open for reading with transparent compression (recommended).
‘r:’	Open for reading exclusively without compression.
‘r:gz’	Open for reading with gzip compression.
‘r:bz2’	Open for reading with bzip2 compression.
‘r:xz’	Open for reading with lzma compression.
‘x’ or ‘x:’	Create a tarfile exclusively without compression. Raise an FileExistsError exception if it already exists.
‘x:gz’	Create a tarfile with gzip compression. Raise an FileExistsError exception if it already exists.
‘x:bz2’	Create a tarfile with bzip2 compression. Raise an FileExistsError exception if it already exists.
‘x:xz’	Create a tarfile with lzma compression. Raise an FileExistsError exception if it already exists.
‘a’ or ‘a:’	Open for appending with no compression. The file is created if it does not exist.
‘w’ or ‘w:’	Open for uncompressed writing.
‘w:gz’	Open for gzip compressed writing.
‘w:bz2’	Open for bzip2 compressed writing.
‘w:xz’	Open for lzma compressed writing.

shutil库创建存档

shutil库的make_archive()方法同样可以创建归档. shutil.make_archive(base_name, format[, root_dir[, base_dir[, verbose[, dry_run[, owner[, group[, logger]]]]]]])

shutil.unpack_archive(filename[, extract_dir[, format]])

shutil.make_archive(r'.dbackup','tar',r'.d')  shutil.unpack_archive(r'.dbackup.tar')