shell-編寫shell腳本所需的基礎語法

2019 年 10 月 4 日
筆記

本文鏈接：https://blog.csdn.net/CSDN___LYY/article/details/100584638

在公司項目的開發過程中，需要編寫shell腳本去處理一個業務，在編寫過程中發現自身對shell腳本的知識不夠完善，顧整理一下其基本語法，本文章主要內容來自菜鳥教程 , 也添加了一些知識點

看完這邊文章應該就可以獨立完成大部分腳本得編寫，複雜腳本還需要一些其他不常用的操作，到時候自行google吧

shell腳本？

在說什麼是shell腳本之前，先說說什麼是shell。

shell是外殼的意思，就是作業系統的外殼。我們可以通過shell命令來操作和控制作業系統，比如Linux中的Shell命令就包括ls、cd、pwd等等。總結來說，Shell是一個命令解釋器，它通過接受用戶輸入的Shell命令來啟動、暫停、停止程式的運行或對電腦進行控制。

shell 是一個應用程式，它連接了用戶和 Linux 內核，讓用戶能夠更加高效、安全、低成本地使用 Linux 內核，這就是 Shell 的本質。

shell 本身並不是內核的一部分，它只是站在內核的基礎上編寫的一個應用程式。

那麼什麼是shell腳本呢？

shell腳本就是由Shell命令組成的執行文件，將一些命令整合到一個文件中，進行處理業務邏輯，腳本不用編譯即可運行。它通過解釋器解釋運行，所以速度相對來說比較慢。

shell腳本中最重要的就是對shell命令的使用與組合，再使用shell腳本支援的一些語言特性，完成想要的功能。

注釋

「# 」開頭的就是注釋，被編譯器忽略

單行注釋： #
多行注釋： :<<EOF … EOF 或者 :<<! … ! （:<< 標識多行注釋開始，並指定一個標識符作為開始結束的標誌）

變數

變數類型 運行shell時，會同時存在三種變數：

局部變數：局部變數在腳本或命令中定義，僅在當前shell實例中有效，其他shell啟動的程式不能訪問局部變數。
環境變數：所有的程式，包括shell啟動的程式，都能訪問環境變數，有些程式需要環境變數來保證其正常運行。必要的時候shell腳本也可以定義環境變數。
shell變數：shell變數是由shell程式設置的特殊變數。shell變數中有一部分是環境變數，有一部分是局部變數，這些變數保證了shell的正常運行

變數操作

創建普通變數： name=「test」（=兩邊不可有空格）
創建只可函數體中使用的局部變數： local name=「test」（使用local修飾的變數在函數體外無法訪問，並且local只能在函數體內使用）
使用變數： echo $name 或者 echo ${name} （推薦使用大括弧版）
變數重新賦值： name=「new_test」（將原值覆蓋）
只讀變數： name=「only_read」 -> readonly name （使用readonly標識後的變數，不可被修改）
刪除變數： unset name; （刪除之後不可訪問，刪除不掉只讀變數）

字元串變數 1）單引號

單引號變數var='test' ，只能原樣輸出，變數無效
單引號中不能出現一個單獨的單引號，轉義也不可以

2）雙引號

雙引號變數var="my name is ${name}"，變數有效
可出現轉義符

3）拼接字元串

中間無任何+，之類的字元
name=「this is」" my name"; name=「this is my name」; name=「this」 is 「my name」等效
name=『this is』』 my nam』; name=『this is my name』; name=『this』 is 『my name』等效

4）獲取字元串長度

在${}中使用「#」獲取長度
name=「test」;
echo ${#name}; # 輸出為4

5）提取子字元串

1:4 從第2個開始往後截取4個字元
::4 從第一個字元開始往後截取4個字元
name=「this is my name」;
echo ${name:1:4} #輸出 is i
echo ${name::4} #輸出 this

數組

bash只支援一維數組，不支援多維數組

定義數組：array_name=(li wang xiang zhang) （小括弧做邊界、使用空格分離）
單獨定義數組的元素： array_para[0]=「w」; array_para[3]=「s」（定義時下標不連續也可以）
賦值數組元素：array_name[0]=「zhao」;
獲取數組元素：
- array_name[0]=「li」
- array_name[3]=「zhang」
- echo ${array_name[0]} # 輸出"li"
- echo ${array_name[1]} # 輸出" "
- echo ${array_name[3]} # 輸出"zhang"
- echo ${array_name[@]} # 輸出"li zhang" 輸出數組所有元素，沒有元素的下標省略
取得元素個數：${#array_name[@]} 或者 ${#array_name[*]}
取得單個元素長度：${#array_name[1]}

參數傳遞

獲取參數值：
- $0 ：固定，代表執行的文件名
- $1 ：代表傳入的第1個參數
- $n ：代表傳入的第n個參數
$#：參數個數
$*：以一個單字元串顯示所有向腳本傳遞的參數。如"$*「用「」」括起來的情況、以"$1 $2 … $n"的形式輸出所有參數
$@：與$*相同，但是使用時加引號，並在引號中返回每個參數。
$$：腳本運行的當前進程號
$！：後台運行的最後一個進程的ID
$?：顯示最後命令的退出狀態。0表示沒有錯誤，其他任何值表明有錯誤。
$* 與 $@ 區別
- 相同點：都是引用所有參數。
- 不同點：只有在雙引號中體現出來。假設在腳本運行時寫了三個參數 1、2、3，，則 " * " 等價於「1 2 3」（傳遞了一個參數），而「@」等價於「1」「2」「3」（傳遞了三個參數）。

運算符

算數運算

+ 、-、*、：乘號前必須加進行轉義才可以進行乘法運算
加法運算
- val=`expr 2 + 2` （使用linux命令expr進行輔助運算）
- val=$[2+2] （4個空格不是必要的，不同於條件判斷）
- val=$((2+2))

數字關係運算符 關係運算符只支援數字，不支援字元串，除非字元串的值是數字。下面假定變數 a 為 10，變數 b 為 20

-eq ：檢測兩個數是否相等，相等返回 true。 [ $a -eq $b ] 返回 false。
-ne：檢測兩個數是否不相等，不相等返回 true。 [ $a -ne $b ] 返回 true。
-gt：檢測左邊的數是否大於右邊的，如果是，則返回 true。 [ $a -gt $b ] 返回 false。
-lt ：檢測左邊的數是否小於右邊的，如果是，則返回 true。 [ $a -lt $b ] 返回 true。
-ge：檢測左邊的數是否大於等於右邊的，如果是，則返回 true。 [ $a -ge $b ] 返回 false。
-le ：檢測左邊的數是否小於等於右邊的，如果是，則返回 true。 [ $a -le $b ] 返回 true。

字元串運算符 下表列出了常用的字元串運算符，假定變數 a 為「abc」，變數 b 為「efg」：

= ：檢測兩個字元串是否相等，相等返回 true。 [ $a = $b ] 返回 false。
!= ：檢測兩個字元串是否相等，不相等返回 true。 [ $a != $b ] 返回 true。
-z ：檢測字元串長度是否為0，為0返回 true。 [ -z $a ] 返回 false。
-n ：檢測字元串長度是否為0，不為0返回 true。 [ -n 「$a」 ] 返回 true。
$ ：檢測字元串是否為空，不為空返回 true。 [ $a ] 返回 true。

布爾運算符 下表列出了常用的布爾運算符，假定變數 a 為 10，變數 b 為 20：

! ：非運算，表達式為 true 則返回 false，否則返回 true。 [ ! false ] 返回 true。
-o ：或運算，有一個表達式為 true 則返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
-a ：與運算，兩個表達式都為 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。

邏輯運算符 以下介紹 Shell 的邏輯運算符，假定變數 a 為 10，變數 b 為 20:

&& ：邏輯的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false
|| ：邏輯的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true

文件運算符

-b file ：檢測文件是否是塊設備文件，如果是，則返回 true。 [ -b $file ] 返回 false。
-c file ：檢測文件是否是字元設備文件，如果是，則返回 true。 [ -c $file ] 返回 false。
-d file ：檢測文件是否是目錄，如果是，則返回 true。 [ -d $file ] 返回 false。
-f file ：檢測文件是否是普通文件（既不是目錄，也不是設備文件），如果是，則返回 true。 [ -f $file ] 返回 true。
-g file ：檢測文件是否設置了 SGID 位，如果是，則返回 true。 [ -g $file ] 返回 false。
-k file ：檢測文件是否設置了粘著位(Sticky Bit)，如果是，則返回 true。 [ -k $file ] 返回 false。
-p file ：檢測文件是否是有名管道，如果是，則返回 true。 [ -p $file ] 返回 false。
-u file ：檢測文件是否設置了 SUID 位，如果是，則返回 true。 [ -u $file ] 返回 false。
-r file ：檢測文件是否可讀，如果是，則返回 true。 [ -r $file ] 返回 true。
-w file ：檢測文件是否可寫，如果是，則返回 true。 [ -w $file ] 返回 true。
-x file ：檢測文件是否可執行，如果是，則返回 true。 [ -x $file ] 返回 true。
-s file ：檢測文件是否為空（文件大小是否大於0），不為空返回 true。 [ -s $file ] 返回 true。
-e file ：檢測文件（包括目錄）是否存在，如果是，則返回 true。 [ -e $file ] 返回 true。

執行相關

命令替換 命令替換與變數替換差不多，都是用來重組命令行的，先完成引號里的命令行，然後將其結果替換出來，再重組成新的命令行。執行命令：

`ls /etc` ：反引號（所有的unix系統都支援）
$(ls /etc) ： $+() （部分unix系統不支援）多個嵌套使用時，從內向外執行

for file in s /etc 或 for file in $(ls /etc) 循環中使用 `dirname $0` 獲取腳本文件所在的目錄 path=$(cd `dirname $0`;pwd) ：獲取腳本當前所在目錄，並且執行cd命令到達該目錄，使用pwd獲取路徑並賦值到path變數

算術運算

$[ ] : 加減乘除,不必添加空格
$(( )) ：加減乘除等,不必添加空格

邏輯判斷

[ ] ：中括弧旁邊和運算符兩邊必須添加空格（可以使用，不推薦）
[[ ]]：中括弧旁邊和運算符兩邊必須添加空格（字元串驗證時，推薦使用）
(()) ：中括弧旁邊和運算符兩邊必須添加空格（數字驗證時，推薦使用）
[[]] 和 (()) 分別是[ ]的針對數學比較表達式和字元串表達式的加強版。
使用[[ … ]]條件判斷結構，而不是[ … ]，能夠防止腳本中的許多邏輯錯誤。比如，&&、||、<和> 操作符能夠正常存在於[[ ]]條件判斷結構中，但是如果出現在[ ]結構中的話，會報錯。比如可以直接使用if [[ $a != 1 && $a != 2 ]], 如果不適用雙括弧, 則為if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。 [[ ]]中增加模式匹配特效； (( ))不需要再將表達式裡面的大小於符號轉義，除了可以使用標準的數學運算符外，還增加了以下符號

輸出

echo 僅用於字元串的輸出，沒有使用printf作為輸出的移植性好，建議使用printf

printf

printf 不會像 echo 自動添加換行符，我們可以手動添加 n 無大括弧，直接以空格分隔

格式：printf format-string [arguments...] 其中（format-string: 格式控制字元串、arguments: 參數列表）
案例：printf "%-10s %-8s %-4.2fn" 郭靖男 66.1234
%s %c %d %f 都是格式替代符
- d：Decimal 十進位整數對應位置參數必須是十進位整數，否則報錯!
- s：String 字元串對應位置參數必須是字元串或者字元型否則報錯
- c：Char 字元對應位置參數必須是字元串或者字元型否則報錯
- f：Float 浮點對應位置參數必須是數字型否則報錯
%-10s ：指一個寬度為10個字元（-表示左對齊，沒有則表示右對齊），任何字元都會被顯示在10個字元寬的字元內，如果不足則自動以空格填充，超過也會將內容全部顯示出來。
%-4.2f ：指格式化為小數，寬度為4個字元，其中.2指保留2位小數。
轉義符：
- a ：警告字元，通常為ASCII的BEL字元
- b ：後退
- c ：抑制（不顯示）輸出結果中任何結尾的換行字元（只在%b格式指示符控制下的參數字元串中有效），而且，任何留在參數里的字元、任何接下來的參數以及任何留在格式字元串中的字元，都被忽略
- f ：換頁（formfeed）
- n ：換行
- r ：回車（Carriage return）
- t ：水平製表符
- v ：垂直製表符
- ：一個字面上的反斜杠字元
- ddd ：表示1到3位數八進位值的字元。僅在格式字元串中有效
- ddd ：表示1到3位的八進位值字元

流程式控制制

和Java、PHP等語言不一樣，sh的流程式控制制不可為空，即if或者else的大括弧中無任何語句 if else

if condition  then      command1      command2      ...      commandN  fi

if else

if condition  then      command1      command2      ...      commandN  else      command  fi

if else-if else

if condition1  then      command1  elif condition2  then      command2  else      commandN  fi

for

for var in item1 item2 ... itemN  do      command1      command2      ...      commandN  done

while

while condition

while condition  do      command  done

while 無限循環

while :  do      command  done

until until 循環執行一系列命令直至條件為 true 時停止。 until 循環與 while 循環在處理方式上剛好相反。

until condition  do      command  done

case Shell case語句為多選擇語句。可以用case語句匹配一個值與一個模式，如果匹配成功，執行相匹配的命令。 case需要一個esac（就是case反過來）作為結束標記，每個case分支用右圓括弧，用兩個分號表示break，其中「;;」不是跳出循環，是不在去匹配下面的模式 case語句格式如下：

case 值 in    模式1)      command1      command2      ...      commandN      ;;    模式2）      command1      command2      ...      commandN      ;;  esac

跳出循環

break ：跳出總循環
continue：跳出當前循環，繼續下一次循環

定義函數

可以帶function fun() 定義，也可以直接fun() 定義,不帶任何參數。

函數定義

[ function ] funname()  {      action;      [return int;]  }

參數傳遞
- 調用函數: fun_name 2 3 4
- 函數中使用：和shell取用函數相同 $n $# $* $? 或者加上{}

funWithParam(){      echo "第一個參數為 $1 !"      echo "第二個參數為 $2 !"      echo "第十個參數為 $10 !"      echo "第十個參數為 ${10} !"      echo "第十一個參數為 ${11} !"      echo "參數總數有 $# 個!"      echo "作為一個字元串輸出所有參數 $* !"}  funWithParam 1 2 3 4 5 6 7 8 9 34 73  echo $?  # 判斷執行是否成功

函數返回值
- return字樣可存在也可不存在
- return 只能為 return [0-255]，此處的返回可作為函數執行的狀態，通過$?獲取的便是這個返回值
- 如果不加return ，則默認最後一條語句的執行狀態所為函數執行狀態的返回值，如果最後一條語句執行成功，則$?為0，否則不為0
使用函數返回值（Janusgraph圖資料庫官方啟動服務腳本片段）
- return返回的數字，只是作為函數執行狀態的返回值，也就是接下來$?獲取的值
- 對於類似於下面的BIN=abs_path“語句，獲取的是函數體內所有的echo、printf輸出組合成的一個字元串

abs_path() {      SOURCE="${BASH_SOURCE[0]}"      while [ -h "$SOURCE" ]; do          DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"          SOURCE="$(readlink "$SOURCE")"          [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE"      done      echo "test"      echo "$( cd -P "$( dirname "$SOURCE" )" && pwd )"      # 此函數的兩個echo輸出會組合成一個字元串作為下述BIN的值  }    BIN=`abs_path` # BIN賦值函數返回值，如果沒有return，則函數中所有的echo、printf輸出組合成一個字元串傳入BIN  path=${BIN}/nodetool # 可直接使用

輸入輸出重定向

一般情況下，每個 Unix/Linux 命令運行時都會打開三個文件：

標準輸入文件(stdin)：stdin的文件描述符為0，Unix程式默認從stdin讀取數據。
標準輸出文件(stdout)：stdout 的文件描述符為1，Unix程式默認向stdout輸出數據。
標準錯誤文件(stderr)：stderr的文件描述符為2，Unix程式會向stderr流中寫入錯誤資訊。

默認情況下，command > file 將 stdout 重定向到 file，command < file 將stdin 重定向到 file。如果希望執行某個命令，但又不希望在螢幕上顯示輸出結果，那麼可以將輸出重定向到 /dev/null：

輸入重定向

bash.sh < file ：將腳本的輸入重定向到file，由file提供參數

輸出重定向

bash.sh > file ：將腳本的輸出數據重定向到file中，覆蓋數據
bash.sh >> file ：將腳本的輸出數據重定向到file中，追加數據
command >> file 2>&1 ：將 stdout 和 stderr 合併後重定向到 file

讀取外部輸入

命令：read arg （腳本讀取外部輸入並賦值到變數上）在shell腳本執行到上述命令時，停止腳本執行並等待外部輸入，將外部輸入賦值到arg變數上，繼續執行腳本

文件引用

引用其他的文件之後，可以使用其變數、函數等等，相當於將引用的文件包含進了當前文件兩種方式：

. file_pathfile_name
source file_pathfile_name

顏色標識

printf  "33[32m SUCCESS: yay 33[0mn";  printf  "33[33m WARNING: hmm 33[0mn";  printf  "33[31m ERROR: fubar 33[0mn";

輸出結果：

長句換行

在shell中為避免一個語句過長，可以使用「」進行換行使用「」換行，在腳本執行過程中還是當做一行一個語句執行，不同於enter直接換行

注意：前添加一個空格。後無空格直接換行。

 /mysql/bin/mysql     -h test_host  -P 000     -u test_user -ptest_password ;

shell操作mysql

下面案例為登錄mysql，並選擇操作資料庫，之後進行導入數據

 /mysql/mysql/bin/mysql     -h test_host  -P 000     -u test_user -ptest_password     -e"use test_database; source data_faile; " # -e 代表執行sql語句

-u 用戶名 -p 用戶密碼 -h 伺服器ip地址 -D 連接的資料庫 -N 不輸出列資訊 -B 使用tab鍵代替分隔符 -e 執行的SQL語句

退出腳本

命令：exit

在退出腳本時使用不同的錯誤碼，這樣可以根據錯誤碼來判斷發生了什麼錯誤。

在絕大多數 shell 腳本中，exit 0 表示執行成功，exit 1 表示發生錯誤。對錯誤與錯誤碼進行一對一的映射，這樣有助於腳本調試。

命令：set -e 或者 set +e set -e表示從當前位置開始，如果出現任何錯誤都將觸發exit。相反，set +e表示不管出現任何錯誤繼續執行腳本。

如果腳本是有狀態的（每個後續步驟都依賴前一個步驟），那麼請使用set -e，在腳本出現錯誤時立即退出腳本。如果要求所有命令都要執行完（很少會這樣），那麼就使用set +e。

案例：

這是es（ElasticSearch）官方啟動服務的腳本，看可不可以理解吧~

#!/usr/bin/env bash    # CONTROLLING STARTUP:  #  # This script relies on a few environment variables to determine startup  # behavior, those variables are:  #  #   ES_PATH_CONF -- Path to config directory  #   ES_JAVA_OPTS -- External Java Opts on top of the defaults set  #  # Optionally, exact memory values can be set using the `ES_JAVA_OPTS`. Note that  # the Xms and Xmx lines in the JVM options file must be commented out. Example  # values are "512m", and "10g".  #  #   ES_JAVA_OPTS="-Xms8g -Xmx8g" ./bin/elasticsearch    source "`dirname "$0"`"/elasticsearch-env    parse_jvm_options() {    if [ -f "$1" ]; then      echo "`grep "^-" "$1" | tr 'n' ' '`"    fi  }    ES_JVM_OPTIONS="$ES_PATH_CONF"/jvm.options    ES_JAVA_OPTS="`parse_jvm_options "$ES_JVM_OPTIONS"` $ES_JAVA_OPTS"    # manual parsing to find out, if process should be detached  if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then    exec       "$JAVA"       $ES_JAVA_OPTS       -Des.path.home="$ES_HOME"       -Des.path.conf="$ES_PATH_CONF"       -cp "$ES_CLASSPATH"       org.elasticsearch.bootstrap.Elasticsearch       "$@"  else    exec       "$JAVA"       $ES_JAVA_OPTS       -Des.path.home="$ES_HOME"       -Des.path.conf="$ES_PATH_CONF"       -cp "$ES_CLASSPATH"       org.elasticsearch.bootstrap.Elasticsearch       "$@"       <&- &    retval=$?    pid=$!    [ $retval -eq 0 ] || exit $retval    if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then      sleep $ES_STARTUP_SLEEP_TIME    fi    if ! ps -p $pid > /dev/null ; then      exit 1    fi    exit 0  fi    exit $?

下面是自己寫的一個腳本（屏蔽了敏感資訊）：

對是否用main函數的問題，有利有弊

#!/usr/bin/env bash  # 用於某介面數據批量回溯  # @author liyangyang  # @time 2019/9/5    init(){      JAVA_HOME=/opt/soft/jdk1.8      # `dirname $0` 用於取得腳本文件所在目錄      path=$(cd `dirname $0` && pwd)      data_path=$1  }    build_classpath(){      # 修改環境變數，只在當前運行該腳本當前運行的shell起效，對子shell或者父shell都無效      printf "JAVA_HOME = ${JAVA_HOME} n"      CLASSPATH=${path}/test_work.jar:${path}/lib:${JAVA_HOME}/lib/rt.jar   # :${JAVA_HOME}/lib/dt.jar      for jar in `ls ${path}/lib`; do          CLASSPATH="${CLASSPATH}":"${path}/lib/${jar}"      done      printf "CLASS_PATH = ${CLASSPATH} n"  }    main(){      init      printf "開始執行文件:$0，源數據文件路徑：${data_path} n"      build_classpath        date +"%Y-%m-%d %H:%M" >>${path}/logs/test_process.log 2>&1      printf "開始進行數據回溯~ n" >> ${path}/logs/test_process.log 2>&1      start_time=$(date +"%s")      /opt/soft/jdk1.8/bin/java -Xms5000M -Xmx5000M  -Xmn256M -XX:+UseParallelGC -XX:+UseParallelOldGC -classpath ${CLASSPATH} com.yoylee.data.findData      end_time=$(date +"%s")      printf "數據回溯結束，花費時間 $((end_time-start_time))s" >> ${path}/logs/test_process.log 2>&1      # 退出腳本      exit 0;  }    if (( $# != 1 )) ; then      printf "請輸入正確參數！參數：需要處理的文件全路徑 n";      exit 1;  fi  # 開始執行  main