一个shell中诡异问题的解决
- 2019 年 12 月 25 日
- 筆記
前两天上线，同事碰见个shell脚本的问题，当时场景，异常诡异。
脚本的判断逻辑很长，为了方便说明，此处只给出关键步骤，
a=`curl ...` (期待返回值是AA) b=BB echo $a$$b (期待输出是AA$BB，实际输出$BB) echo $b$$a (实际输出BB$AA)
其中，变量a是通过curl以及一系列管道操作截取的信息，使用echo打印多个变量的值，非常诡异的是，出现了一些字符没有出现或者从首字符处出现了叠写、相互覆盖、覆写的现象，例如$a$$b，$b重叠到首字母进行覆盖输出，甚至相同的两个变量，互换顺序，结果显示不同。
这个时候，sh命令的-x这个参数，就开始起作用了，他的意思是显示shell执行过程中的命令，通过执行，我们看到了区别，变量a的值，不是期待的AA，而是"AAr"，
+ a='AAr'
不要小瞧r，我们知道Windows下的空行是rn,，但是linux下是n，没有识别r。
n是LF或ASCII中的0x0A(10)，r是CR或ASCII中的0x0D(13)。
问题来了，LF和CR是什么？这就要讲讲“回车”(carriage return)和“换行”(line feed)这两个概念的来历和区别了。
在计算机还没有出现之前，有一种叫做电传打字机(Teletype Model 33)的玩意，每秒钟可以打10个字符。但是有一个问题，就是打完一行换行的时候，要用去0.2秒，正好可以打两个字符。要是在这0.2秒里面，又有新的字符传过来，那么这个字符将丢失。
于是，研制人员想了个办法解决这个问题，就是在每行后面加两个表示结束的字符。一个叫做“回车”，告诉打字机把打印头定位在左边界，另一个叫做“换行”，告诉打字机把纸向下移一行。
这就是“换行”和“回车”的来历，从它们的英语名字上也可以看出一二，CR就是carriage return的缩写，LF是line feed的缩写。
后来，计算机发明了，这两个概念也就被般到了计算机上。那时，存储器很贵，一些科学家认为在每行结尾加两个字符太浪费了，加一个就可以。于是，就出现了分歧。
Unix系统里，每行结尾只有“<换行>”，即“n”，Windows系统里面，每行结尾是“<换行><回车>”，即“nr”，Mac系统里，每行结尾是“<回车>”。一个直接后果是，Unix/Mac系统下的文件在Windows里打开的话，所有文字会变成一行，而Windows里的文件在Unix/Mac下打开的话，在每行的结尾可能会多出一个^M符号。
因此，r就是return回到本行行首，这就会把这一行以前的输出覆盖掉。
$a$$b，其中$a='AAr'，所以$b重叠到首字母进行覆盖输出，就可以解释了。
我们用下面的脚本模拟下，可能会更清晰，
#!/bin/bash a='SEr' b='SA' echo -e $a$b echo -e $a$$b echo -e $b$a echo -e $b$$a
可以看到变量a='SEr'，然后使用echo -e参数，他的作用是enable interpretation of backslash escapes，即启用反斜杠转义功能，
+ a='SEr' + b=SA + echo -e 'SErSA' SA + echo -e 'SEr$SA' $SA + echo -e 'SASEr' SASE + echo -e 'SA$SEr' SA$SE
因为r的存在，$a$b输出的是$b的值，如果是$b$a，因为r放在后面，并未影响，所以是正确的$b$a。
既然明确了问题，解决就很清晰了，可以在curl加个tr -d，就达到了删除r，保证对的换行，
a=`curl ... | tr -d 'r'`
在科学技术上，任何你看到的现象都会有他的原因，所谓存在即合理，诡异的事情，还是因为没看到本质，其实根本不诡异。
