7.shell脚本编程
1.shell 脚本语言的基本用法
1.1shell 脚本创建
1.格式要求：首行shebang机制
#!/bin/bash
#!/usr/bin/python
#!/usr/bin/perl
2.添加执行权限，在命令行上指定脚本的绝对或者相对路径，也可以运行脚本解释器直接运行脚本
1.2脚本的注释规范
1、第一行一般为调用使用的语言
2、程序名，避免更改文件名为无法找到正确的文件
3、版本号
4、更改后的时间
5、作者相关信息
6、该程序的作用，及注意事项
7、最后是各版本的更新简要说明
1.3脚本的执行方式
[root@centos8 data]# cat shell.sh
#!/bin/bash
ls
[root@centos8 data]# chmod +x shell.sh
#相对路径执行
[root@centos8 data]# ./shell.sh
a.txt b.txt linxu.txt message passwd shell.sh systeminfo.sh test vimrc
#bash执行
[root@centos8 data]# bash shell.sh
a.txt b.txt linxu.txt message passwd shell.sh systeminfo.sh test vimrc
#执行远程主机的shell脚本
[root@centos8 data]# #curl -s //10.0.0.8/hello.sh|bash
[root@centos8 ~]#wget -qO - //www.wangxiaochun.com/testdir/hello.sh |bash
1.4shell脚本调试
脚本常见的3种错误：
- 语法错误，后续的命令不继续执行
- 命令错误，默认后续的命令还会继续执行，用bash -n 无法检查出来 ，可以使用 bash -x 进行观察
- 逻辑错误，只能使用 bash -x 进行观察
bash命令
bash -n：只检测脚本中的语法错误，但无法检查出命令错误，但不真正执行脚本
bash -x：调试并执行脚本
1.5变量
1.5.1 shell变量类型
内置变量，如：PS1，PATH，UID，HOSTNAME，$$，BASHPID，PPID，$?，HISTSIZE
用户自定义变量
1.5.2 变量的定义和引用
- 普通变量：生效范围为当前shell进程；对当前shell之外的其它shell进程，包括当前shell的子shell 进程均无效
- 环境变量：生效范围为当前shell进程及其子进程
- 本地变量：生效范围为当前shell进程中某代码片断，通常指函数
变量赋值
#变量的赋值可以是以下多种形式
直接字串：name='root'
变量引用：name="$USER"
命令引用：name=`COMMAND` 或者 name=$(COMMAND)
变量引用
$name
${name}
范例
[root@centos8 data]# name='xiaoming'
[root@centos8 data]# echo $name
xiaoming
[root@centos8 data]# user='yonghu'
[root@centos8 data]# name="$user"
[root@centos8 data]# echo $name
yonghu
[root@centos8 data]# name=`ls -l /data/`
[root@centos8 data]# echo $name
total 8 -rw-r--r-- 1 root root 403 Jan 2 17:39 systeminfo.sh -rw-r--r-- 1 root root 110 Jan 3 10:17 test
[root@centos8 data]# echo "$name"
total 8
-rw-r--r-- 1 root root 403 Jan 2 17:39 systeminfo.sh
-rw-r--r-- 1 root root 110 Jan 3 10:17 test
范例：变量追加值
[root@centos8 data]# echo $user
yonghu
[root@centos8 data]# user+=:xiaoming
[root@centos8 data]# echo $user
yonghu:xiaoming
显示和删除变量
#set查看所有变量
#unset <name>删除指定变量
#使用上述方式设置变量是临时保存于内存当中，当退出终端就会销毁
1.5.3 环境变量
说明
- 子进程（包括孙子进程）可以继承父进程的变量，但是无法让父进程使用子进程的变量
- 一旦子进程修改从父进程继承的变量，将会新的值传递给孙子进程
- 一般只在系统配置文件中使用，在脚本中较少使用
环境变量的声明和赋值：
#声明并赋值
export name=VALUE
declare -x name=VALUE
#或者分两步实现
name=VALUE
export name
变量引用：
$name
${name}
显示所有环境变量：
env
printenv
export
declare -x
删除变量
unset
bash的内建环境变量
PATH
SHELL
USER
UID
HOME
PWD
SHLVL #shell的嵌套层数，即深度
LANG
MAIL
HOSTNAME
HISTSIZE
_ #下划线 表示前一命令的最后一个参数
1.5.4 只读变量
只能声明定义，但后续不能修改和删除，即常量；退出当前终端可以销毁声明的只读变量
声明只读变量：
readonly name
declare -r name
查看只读变量
readonly [-p]
declare -r
1.5.5 变量位置
在bash shell中内置的变量, 在脚本代码中调用通过命令行传递给脚本的参数
$1, $2, ... 对应第1个、第2个等参数，shift [n]换位置
$0 命令本身,包括路径
$* 传递给脚本的所有参数，全部参数合为一个字符串
$@ 传递给脚本的所有参数，每个参数为独立字符串
$# 传递给脚本的参数的个数
#清空所有位置变量
set --
范例
[root@centos8 data]# cat arg.sh
#!/bin/bash
echo "arg1 is $1"
echo "arg1 is $2"
echo "arg1 is $3"
echo "the number of arg is $#"
echo "all args is $*"
echo "all args is $@"
echo "the script name is `basename $0`"
[root@centos8 data]# bash arg.sh {1..5}
arg1 is 1
arg1 is 2
arg1 is 3
the number of arg is 5
all args is 1 2 3 4 5
all args is 1 2 3 4 5
the script name is arg.sh
rm命令修改
#用户使用rm命令时不删除文件而是移动到/tmp文件夹
[root@centos8 data]# cat rm.sh
COLOR="echo -e \E[1;31m"
END="\E[0m"
DIR=/tmp/`date +%F_%H-%M-%S`
mkdir $DIR
mv $* $DIR
$COLOR move $* to $DIR $END
1.5.6 退出状态码
$?
$?的值为0，代表成功
$?的值是1到255 #代表失败
注意：
- 如果未给脚本指定退出状态码，整个脚本的退出状态码取决于脚本中执行的最后一条命令的状态码
1.5.7 脚本安全和 set
$- 变量
[root@centos8 data]# echo $-
himBHs
h：hashall，打开选项后，Shell 会将命令所在的路径hash下来，避免每次都要查询。通过set +h将h选 项关闭
i：interactive-comments，包含这个选项说明当前的 shell 是一个交互式的 shell。所谓的交互式shell, 在脚本中，i选项是关闭的 m：monitor，打开监控模式，就可以通过Job control来控制进程的停止、继续，后台或者前台执行等
B：braceexpand，大括号扩展
H：history，H选项打开，可以展开历史列表中的命令，可以通过!感叹号来完成，例如“!!”返回上最近的 一个历史命令，“!n”返回第 n 个历史命令
set 命令
-u 在扩展一个没有设置的变量时，显示错误信息， 等同set -o nounset
-e 如果一个命令返回一个非0退出状态值(失败)就退出， 等同set -o errexit
-o option 显示，打开或者关闭选项
显示选项：set -o
打开选项：set -o 选项
关闭选项：set +o 选项
1.6 printf
printf：格式化要输出的数据
printf FORMAT [ARGUMENT]...
常用格式替换符
-
%s 字符串
-
%f 浮点格式
-
%b 相对应的参数中包含转义字符时，可以使用此替换符进行替换，对应的转义字符会被转 义
-
%c ASCII字符，即显示对应参数的第一个字符
-
%d,%i 十进制整数
-
%o 八进制值
-
%u 不带正负号的十进制值
-
%x 十六进制值（a-f）
-
%X 十六进制值（A-F）
-
%% 表示%本身
-
%s 中的数字代表此替换符中的输出字符宽度，不足补空格，默认是右对齐，%-10s表示10个字 符宽，- 表示左对齐
常用转义字符
- \a 警告字符，通常为ASCII的BEL字符
- \n 换行
- \r 回车
- \t 水平制表符
- \v 垂直制表符
范例
[root@centos8 data]# printf "%d\n" 123 321 123
123
321
123
[root@centos8 data]# printf "(%s) " 1 2 3
(1) (2) (3) [root@centos8 data]#
[root@centos8 data]# printf "(%s) " 1 2 3;echo
(1) (2) (3)
[root@centos8 data]# printf "(%s) " 1 2 3;echo ""
(1) (2) (3)
[root@centos8 data]# printf "%10s" name;echo
name
1.7算术运算
shell 支持算术运算，但只支持整数，不支持小数
shell运算符
+
-
*
/
% 取模，即取余数，示例：9%4=1，5%3=2
** 乘方
实现算数运算的方式
1. let var=算数表达式
2. （（var=算数表达式））
3. var=$[算数表达式]
4. var=$((算数表达式))
5. delare -i var = 数值
6. echo '算术表达式' | bc
7. var=$(expr arg1 arg2 arg3 ...)
范例
#生成 1 - 50 之间随机数
[root@centos8 data]# echo $[RANDOM%50+1]
12
增强型赋值：
+= i+=10 相当于 i=i+10
-= i-=j 相当于 i=i-j
*=
/=
%=
++ i++,++i 相当于 i=i+1
-- i--,--i 相当于 i=i-1
范例
#i++和++i
[root@centos8 ~]#unset i j ; i=1; let j=i++; echo "i=$i,j=$j"
i=2,j=1
[root@centos8 ~]#unset i j ; i=1; let j=++i; echo "i=$i,j=$j"
i=2,j=2
#使用计算器实现浮点运算
[root@centos8 data]# echo "scale=3;20/3" | bc
6.666
1.8逻辑运算
与：&：和0相与，结果为0，和1相与，结果保留原值
1 与 1 = 1
1 与 0 = 0
0 与 1 = 0
0 与 0 = 0
或：|：和1相或结果为1，和0相或，结果保留原值
1 或 1 = 1
1 或 0 = 1
0 或 1 = 1
0 或 0 = 0
非：！
! 1 = 0 ! true
! 0 = 1 ! false
异或：^
相同为假，不同为真。
1 ^ 1 = 0
1 ^ 0 = 1
0 ^ 1 = 1
0 ^ 0 = 0
范例
#注意区分逻辑运算的二进制值与$?的返回值含义刚好相反
#利用异或可以实现两个变量的数值交换
[root@centos8 data]# x=30;y=20;x=$[x^y];y=$[x^y];x=$[y^x];echo "x=$x y=$y"
x=20 y=30
短路运算
-
短路与
CMD1 短路与 CMD2
第一个CMD1结果为假 (0)，总的结果必定为0，因此不需要执行CMD2
-
短路或
CMD1 短路或 CMD2
第一个CMD1结果为真 (1)，总的结果必定为1，因此不需要执行CMD2
1.9条件测试命令
若真，则状态码变量 $? 返回0
若假，则状态码变量 $? 返回1
条件测试命令：
- test EXPRESSION
- [ EXPRESSION ] #和test 等价，建议使用 [ ]
- [[ EXPRESSION ]]
查看帮助
[root@centos8 data]# help [
[root@centos8 data]# help test
选项
-a FILE True if file exists.
-b FILE True if file is block special.
-c FILE True if file is character special.
-d FILE True if file is a directory.
-e FILE True if file exists.
-f FILE True if file exists and is a regular file.
-g FILE True if file is set-group-id.
-h FILE True if file is a symbolic link.
-L FILE True if file is a symbolic link.
-k FILE True if file has its `sticky' bit set.
-p FILE True if file is a named pipe.
-r FILE True if file is readable by you.
-s FILE True if file exists and is not empty.
-S FILE True if file is a socket.
-t FD True if FD is opened on a terminal.
-u FILE True if the file is set-user-id.
-w FILE True if the file is writable by you.
-x FILE True if the file is executable by you.
-O FILE True if the file is effectively owned by you.
-G FILE True if the file is effectively owned by your group.
-N FILE True if the file has been modified since it was last read.
String operators:
-z STRING True if string is empty.
-n STRING
STRING True if string is not empty.
STRING1 = STRING2
True if the strings are equal.
STRING1 != STRING2
True if the strings are not equal.
STRING1 < STRING2
True if STRING1 sorts before STRING2 lexicographically.
STRING1 > STRING2
True if STRING1 sorts after STRING2 lexicographically.
Other operators:
#变量测试
-o OPTION True if the shell option OPTION is enabled.
-v VAR True if the shell variable VAR is set.
-R VAR True if the shell variable VAR is set and is a name
reference.
! EXPR True if expr is false.
EXPR1 -a EXPR2 True if both expr1 AND expr2 are true.
EXPR1 -o EXPR2 True if either expr1 OR expr2 is true.
#数值测试
arg1 OP arg2 Arithmetic tests. OP is one of -eq, -ne,
-lt, -le, -gt, or -ge.
Arithmetic binary operators return true if ARG1 is equal, not-equal,
less-than, less-than-or-equal, greater-than, or greater-than-or-equal
than ARG2.
1.9.1变量测试
范例
#判断 NAME 变量是否定义
[ -v NAME ]
#判断 NAME 变量是否定义并且是否引用
[ -R NAME ]
[root@centos8 data]# echo $name
[root@centos8 data]# [ -v name ]
[root@centos8 data]# echo $?
1
[root@centos8 data]# name="xiaoming"
[root@centos8 data]# [ -v name ]
[root@centos8 data]# echo $?
0
[root@centos8 data]# [ -R name ]
[root@centos8 data]# echo $?
1
[root@centos8 data]# [ -v name ]
[root@centos8 data]# echo $?
0
1.9.1数值测试
范例
[root@centos8 data]# i=10;j=20;
[root@centos8 data]# [ i -eq j ]
-bash: [: i: integer expression expected
[root@centos8 data]# [ $i -eq $j ]
[root@centos8 data]# echo $?
1
1.9.2字符串测试
范例
[root@centos8 data]# echo $name
[root@centos8 data]# [ -z $name ]
[root@centos8 data]# echo $?
0
[root@centos8 data]# unset name
[root@centos8 data]# [ -z $name ]
[root@centos8 data]# echo $?
0
[root@centos8 data]# name=xiaoming
[root@centos8 data]# [ -z "$name" ]
[root@centos8 data]# echo $?
1
[ ]用法
[[]] 用法，建议，当使用正则表达式或通配符使用，一般情况使用 [ ]
== 左侧字符串是否和右侧的PATTERN相同
注意:此表达式用于[[ ]]中，PATTERN为通配符
=~ 左侧字符串是否能够被右侧的正则表达式的PATTERN所匹配
注意: 此表达式用于[[ ]]中；扩展的正则表达式
范例
[root@centos8 data]# NAME=linux
[root@centos8 data]# [[ "$NAME" == linu\* ]]
[root@centos8 data]# echo $?
1
[root@centos8 data]# [[ "$NAME" == linu* ]]
[root@centos8 data]# echo $?
0
#结论：[[ == ]] == 右侧的 * 做为通配符，不要加“”，只想做为*, 需要加“” 或转义
1.9.3 文件测试
范例
[root@centos8 data]# [ -a /data/test ]
[root@centos8 data]# echo $?
0
[root@centos8 data]# ![ -a /data/test ]
[ -a /data/test ] -a /data/test ]
-bash: [: too many arguments
[root@centos8 data]# ! [ -a /data/test ]
[root@centos8 data]# echo $?
1
[root@centos8 data]# [ -w /etc/shadow ]
[root@centos8 data]# echo $?
0
1.10 () 和 {}
（CMD1;CMD2;…）和 { CMD1;CMD2;…; } 都可以将多个命令组合在一起，批量执行。使用man bash可以查看帮助
区别
( list ) 会开启子shell,并且list中变量赋值及内部命令执行后,将不再影响后续的环境
{ list; } 不会启子shell, 在当前shell中运行,会影响当前shell环境
范例
[root@centos8 data]# echo $BASHPID
164220
[root@centos8 data]# ( echo $BASHPID;sleep 100)
164450
sshd(976)───sshd(164206)───sshd(164219)───bash(164220)─┬─bash(164449)───sleep(164450)
[root@centos8 data]# echo $BASHPID
164220
[root@centos8 data]# { echo $BASHPID;}
16422
1.11 组合测试条件
1.11.1 第一种方式
[ EXPRESSION1 -a EXPRESSION2 ] 并且，EXPRESSION1和EXPRESSION2都是真，结果才为真
[ EXPRESSION1 -o EXPRESSION2 ] 或者，EXPRESSION1和EXPRESSION2只要有一个真，结果就为 真
[ ! EXPRESSION ] 取反
范例
[root@centos8 data]# FILE=/data/test
[root@centos8 data]# [ -f $FILE -a -x $FILE ]
[root@centos8 data]# echo $?
1
[root@centos8 data]# chmod +x /data/test
[root@centos8 data]# ll
total 20
-rw-r--r-- 1 root root 0 Jan 9 22:28 a.log
-rw-r--r-- 1 root root 181 Jan 4 18:29 arg.sh
-rw-r--r-- 1 root root 1 Jan 6 19:17 lx.txt
-rw-r--r-- 1 root root 116 Jan 5 15:50 rm.sh
-rw-r--r-- 1 root root 403 Jan 2 17:39 systeminfo.sh
-rwxr-xr-x 1 root root 110 Jan 3 10:17 test
[root@centos8 data]# [ -f $FILE -a -x $FILE ]
[root@centos8 data]# echo $?
0
1.11.2 第二种方式
COMMAND1 && COMMAND2 并且，短路与，代表条件性的AND THEN 如果COMMAND1 成功,将执行COMMAND2,否则,将不执行COMMAND2
COMMAND1 || COMMAND2 或者，短路或，代表条件性的OR ELSE 如果COMMAND1 成功,将不执行COMMAND2,否则,将执行COMMAND2
! COMMAND #非,取反
范例
[root@centos8 data]# test "A" = "B" && echo "string are equal"
[root@centos8 data]# test "A" = "A" && echo "string are equal"
string are equal
[root@centos8 data]# ll
-rw-r--r-- 1 root root 110 Jan 3 10:17 test.sh
[root@centos8 data]# [ -f $FILE ] && [[ $FILE =~ \.sh$ ]] && chmod +x $FILE
[root@centos8 data]# ll
-rwxr-xr-x 1 root root 110 Jan 3 10:17 test.sh
&&与||组合使用
[root@centos8 data]# NAME=user;id $NAME && echo "$NAME is exist" || echo "$NAME is not exist"
uid=1001(user) gid=1001(user) groups=1001(user)
user is exist
#注意：如果&& 和 || 混合使用，&& 要在前，|| 放在后。否则会出现逻辑错误
1.12 read命令
read：使用read来把输入值分配给一个或多个shell变量，read从标准输入中读取值，给每个单词分配一个变 量，所有剩余单词都被分配给最后一个变量，如果变量名没有指定，默认标准输入的值赋值给系统内置 变量REPLY
read [options] [name ...]
常用选项
- -p 指定要显示的提示
- -s 静默输入，一般用于密码
- -n N 指定输入的字符长度N
- -d ‘字符’ 输入结束符
- -t N TIMEOUT为N秒
范例
[root@centos8 data]# read
username
[root@centos8 data]# echo $REPLY
username
[root@centos8 data]# read NAME SEX
xiaoming boy
[root@centos8 data]# echo $NAME $SEX
xiaoming boy
[root@centos8 data]# read -p "please input your name:" NAME
please input your name:daxiong
[root@centos8 data]# echo $NAME
daxiong
面试题 read和输入重定向
[root@centos8 data]# echo 1 2 | read x y;echo $x $y
[root@centos8 data]# echo 1 2 | (read x y;echo $x $y)
1 2
#Each command in a pipeline is executed as a separate process (i.e., in a subshell)
#管道符把每个命令执行都在独立的子进程中，所以第一种情况父进程无法读取子进程的变量
2 bash的配置文件
2.1 配置文件分类
全局生效配置文件
/etc/profile
/etc/profile.d/*.sh
/etc/bashrc
个人用户生效配置文件
~/.bash_profile
~/.bashrc
2.2 配置文件加载顺序
2.2.1 交互式登录顺序
- 直接通过终端输入账号密码登录
- 使用 su – UserName 切换的用户
配置文件加载顺序
/etc/profile.d/*.sh
/etc/bashrc
/etc/profile
/etc/bashrc #此文件执行两次
.bashrc
.bash_profile
2.2.2 非交互式顺序
- su UserName
- 图形界面下打开的终端
- 执行脚本
- 任何其他的bash实例
配置文件加载顺序
/etc/profile.d/*.sh
/etc/bashrc
.bashrc
2.3 配置文件分类
2.3.1 Profile类
为交互式登录的shell提供配置
全局：/etc/profile, /etc/profile.d/*.sh
个人：~/.bash_profile
用途：
1）用于定义环境变量
2）运行脚本或命令
2.3.2 Bashrc类
为非交互式和交互式登录的shell提供配置
全局：/etc/bashrc
个人：~/.bashrc
用途：
1）定义命令别名和函数
2）定义本地变量
2.3.3 配置文件生效方式
- 重新启动shell进程
- source|. 配置文件
3.流程控制
3.1 条件判断if
格式
if: if COMMANDS; then COMMANDS; [ elif COMMANDS; then COMMANDS; ]... [ else COMMANDS; ] fi
范例
#BMI指数
[root@centos8 script]# cat bmi.sh
#!/bin/bash
#
#********************************************************************
#Author: yuanyuan
#QQ: 1136132605
#Date: 2021-01-11
#FileName： bmi.sh
#URL: //www.bestvae.cn
#Description： The test script
#Copyright (C): 2021 All rights reserved
#********************************************************************
read -p "请输入身高（单位m）" HIGH
if [[ ! "$HIGH" =~ ^[0-2]\.?[0-9]{,2}$ ]];then
echo "输入身高错误"
exit 1
fi
read -p "请输入体重（单位kg）" WEIGHT
if [[ ! "$WEIGHT" =~ ^[0-9]{1,3}$ ]];then
echo "输入体重错误"
exit 1
fi
BMI=`echo $WEIGHT/$HIGH^2|bc`
if [ "$BMI" -le 18 ];then
echo "你太瘦了多吃点"
elif [ "$BMI" -lt 24 ];then
echo "你的身材很棒"
else
echo "你太胖了，加强运动"
fi
3.2 条件判断 case 语句
格式
case: case WORD in [PATTERN [| PATTERN]...) COMMANDS ;;]... esac
Execute commands based on pattern matching.
#case支持全局通配符
*: 任意长度任意字符
?: 任意单个字符
[]：指定范围内的任意单个字符
|: 或，如 a或b
范例
#运维表
#!/bin/bash
echo -en "\E[$[RANDOM%7+31];1m"
cat <<EOF
1)备份数据库
2）清理日志
3）软件升级
4）软件回退
5）删库跑路
EOF
echo -en '\E[0m'
read -p "请输入上面的数字：" MENU
if [[ ! "$MENU" =~ ^[1-5]$ ]];then
echo "你的输入有误"
exit 1
fi
case $MENU in
1)
echo "备份成功";;
2)
echo "清理日志";;
3)
echo "清理日志";;
4)
echo "清理日志";;
5)
echo "清理日志";;
esac
练习
1、编写脚本 createuser.sh，实现如下功能：使用一个用户名做为参数，如果指定参数的用户存在，就 显示其存在，否则添加之。并设置初始密码为123456，显示添加的用户的id号等信息，在此新用户第一 次登录时，会提示用户立即改密码，如果没有参数，就提示：请输入用户名
[root@centos8 script]# cat creatuser.sh
#!/bin/bash
if [ -z "$1" ];then
echo "请输入用户名字格式为$0 username"
exit 1
else
getent passwd $1 > /dev/null
if [ "$?" -eq 0 ];then
echo "$1 is exist"
echo `getent passwd $1`
exit 1
else
useradd $1
echo '123456' | passwd --stdin $1 > /dev/null
passwd -e $1 > /dev/null
echo -e "$1用户创建成功初始密码为123456\n`getent passwd $1`"
fi
fi
2、编写生成脚本基本格式的脚本，包括作者，联系方式，版本，时间，描述等
[root@centos8 script]# cat /root/.vimrc
set ts=4
set expandtab
set ignorecase
set cursorline
set autoindent
set showcmd
autocmd BufNewFile *.sh exec ":call SetTitle()"
func SetTitle()
if expand("%:e") == 'sh'
call setline(1,"#!/bin/bash")
call setline(2,"#")
call setline(3,"#********************************************************************")
call setline(4,"#Author: yuanyuan")
call setline(5,"#QQ: 1136132605")
call setline(6,"#Date: ".strftime("%Y-%m-%d"))
call setline(7,"#FileName： ".expand("%"))
call setline(8,"#URL: //www.bestvae.cn")
call setline(9,"#Description： The test script")
call setline(10,"#Copyright (C): ".strftime("%Y")." All rights reserved")
call setline(11,"#********************************************************************")
call setline(12,"")
endif
endfunc
autocmd BufNewFile * normal G
