Linux中文件/文件系统的压缩、打包和备份总结(基于rhel7)

文件/文件系统的压缩、打包

Linux有哪些压缩工具可供选择

按压缩比:xz>bzip2>gzip,按压缩时长:gzip>bzip2>xz,另外还有zip可以选择。

gzip只负责压缩没有打包功能,所以常常和打包工具tar联用,如果单独用gzip要注意两点:①只能对单个文件进行压缩;②默认用压缩后的文件替换原来的文件

我该如何选择这些压缩工具?

这确实是个问题,最优解的压缩工具需要不断的尝试,而且每个人使用压缩工具的目的不甚相同。

比如,经常不读的服务器日志文件,我们就希望尽可能地把它压缩得小一点。如果只考虑体积,自然要选择压缩比较高的工具。但如果我们希望在拥有较小体积的同时还能够用更短的时间完成压缩,我们可能就要选择更厉害的程序,同时用更高的算力提供支持。

如果只是一般应用,我觉得gzip和tar命令连用完全能够满足大多数需求。

Linux打包命令tar

打包并压缩:tar -cvzf filename.tar.gz

查询包中的文件:tar -vtzf filename.tar.gz

解压缩 tar -xzvf filename.tar.gz  # 解压缩后的文件放在哪取决于你当前的工作目录。如果你不想在工作目录下解压缩文件请用 -C参数指定解压缩的路径!

强烈建议 -f参数放在最后,如果是不太熟悉tar命令的朋友甚至可以把 -f参数与之前的几个参数分开写,如:tar -cvz -f  filename.tar.gz 因为系统会认为-f后面接的是要使用的文件名,如果把参数f放在前面,有可能会造成文件名设置不正确的情况。

 

XFS 文件系统的备份与还原

xfsdump和xfsrestore

xfsdump -f filename.dump dir[filesystem]

xfsrestore -f filename.dump 恢复出来的文件所放路径

这两个工具一个负责备份一个负责还原。

xfsdump默认只对整个文件系统(你可以把它看成整个分区,但这种说法并不严谨)进行备份,但可以追加 -s 参数指定备份某个目录(相对路径)或文件。xfsrestore想恢复多个文件或目录可以追加 -i 参数通过互动模式将指定的文件或路径释放到指定的目录。

备份/boot/grub2这个目录,如不指定备份级别系统默认level 0(全量备份)

[root@study_rhel tmp]# xfsdump -f /backups/grub2.dump -l 0 /boot -s grub2  # grub2后面不要加斜杠,否则会报错提示你给的不是相对路径
xfsdump: using file dump (drive_simple) strategy
xfsdump: version 3.1.3 (dump format 3.0) - type ^C for status and control

 ============================= dump label dialog ==============================

please enter label for this dump session (timeout in 300 sec)
 -> grub2-bak
session label entered: "grub2-bak"

 --------------------------------- end dialog ---------------------------------

……略……

 ============================= media label dialog =============================

please enter label for media in drive 0 (timeout in 300 sec)
 -> grub2-bak
media label entered: "grub2-bak"

 --------------------------------- end dialog ---------------------------------

……
xfsdump: dump complete: 13 seconds elapsed
xfsdump: Dump Summary:
xfsdump:   stream 0 /backups/grub2.dump OK (success)
xfsdump: Dump Status: SUCCESS
[root@study_rhel tmp]# ll /backups/
total 7996
-rw-r--r--. 1 root root 8184936 May 12 16:47 grub2.dump

这两个命令有以下限制:

  • 只支持xfs系统
  • 只能在已挂载的文件系统上进行操作
  • 只能以root用户身份操作

它们的特点是支持增量备份(但在创建增备之前需要有至少一个全量备份),增备的好处和劣势都显而易见。

  • 好处:一次全量备份后,每次增备的数据量都不会太大,缩短了备份时间,减小了备份体积。
  • 劣势:恢复数据时,需要按顺序先恢复全量备份,再由远及近按顺序恢复增备1、增备2……恢复数据比较麻烦。

然而这种劣势可以通过定期的全量备份缓解,比如一个星期定期全量备份一次,在两次全量备份之间用增量备份。

已知的问题:我不知道与xfsdump相关的备份删除工具,只能通过rm命令删除备份文件,造成xfsdump备份时写入/var/lib/xfsdump/inventory的信息无法同步更新,输入xfsdump -I 仍旧能够看到已不存在的备份信息。谁知道这个问题该怎么规避希望不吝赐教!

dd命令

dd if=”input_file” of=”output_file” bs=”block_size” count=”number”

dd是一个非常有意思的命令,它默认是一个扇区一个扇区读写的。如果用它来备份一个文件系统,它会把没有用到的扇区也读取写入备份中,这就会使备份的文件和原来的文件一模一样。这种“忠实”使得它可以不考虑文件系统,读到什么就写什么。

观察/dev/sda1文件系统大小(其实就挂载在/boot目录上),在虚拟机中新添加一个硬盘/dev/sdb,容量不小于前者的大小,用dd将/sda1完整地备份至新硬盘中

[root@study_rhel Desktop]# df -h
Filesystem             Size  Used Avail Use% Mounted on
/dev/mapper/rhel-root   18G  3.6G   14G  21% /
……
/dev/sda1              497M  129M  369M  26% /boot
……

……添加一块硬盘,大小1G,设备文件名称/dev/sdb……

[root@study_rhel Desktop]# dd if=/dev/sda1 of=/dev/sdb
1024000+0 records in
1024000+0 records out
524288000 bytes (524 MB) copied, 11.3339 s, 46.3 MB/s    # 这个新硬盘事先没有分区、格式化或挂载,竟然可以直接写入,神奇!
[root@study_rhel Desktop]# xfs_repair -L /dev/sdb
Phase 1 - find and verify superblock...
Phase 2 - using internal log
……
Phase 7 - verify and correct link counts...
done
[root@study_rhel Desktop]# uuidgen
4809b0ee-d934-4bdb-a901-f0fd82d0d049
[root@study_rhel Desktop]# xfs_admin -U 4809b0ee-d934-4bdb-a901-f0fd82d0d049 /dev/sdb    # dd命令把所有数据原原本本的复制过来,甚至包括文件系统的UUID!为了不造成冲突,我们需要生成新的UUID给这个硬盘使用
Clearing log and setting UUID
writing all SBs
new UUID = 4809b0ee-d934-4bdb-a901-f0fd82d0d04
[root@study_rhel Desktop]# mount /dev/sdb /backups/
[root@study_rhel Desktop]# df -h
Filesystem             Size  Used Avail Use% Mounted on
……
/dev/sda1              497M  129M  369M  26% /boot
/dev/sdb               497M  129M  369M  26% /backups    # 两者一模一样,但新硬盘是1G大小啊,怎么回事?
[root@study_rhel Desktop]# parted /dev/sdb print    # parted读到的信息没有错
Model: VMware, VMware Virtual S (scsi)
Disk /dev/sdb: 1074MB
Sector size (logical/physical): 512B/512B
Partition Table: loop
Disk Flags: 

Number  Start  End     Size    File system  Flags
 1      0.00B  1074MB  1074MB  xfs
[root@study_rhel Desktop]# xfs_growfs /backups/    # 把文件系统放大就不会出现上面的问题了
meta-data=/dev/sdb               isize=256    agcount=4, agsize=32000 blks
……
data blocks changed from 128000 to 262144
[root@study_rhel Desktop]# df -h /boot /backups/
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1       497M  129M  369M  26% /boot
/dev/sdb       1021M  129M  893M  13% /backups

最后的tips:文件的后缀名对于Linux系统来说没任何意义,但对人来说是有意义的。我们可以根据文件的后缀名了解文件是什么类型的,该用什么命令对这个文件进行操作。

比如,tar.gz告诉我们这个包是用tar命令生成并用gzip压缩的,解压缩的时候一定要选用正确的程序,否则就会出错。