HMM、CTC、RNN-T训练是所有alignment的寻找方法

2020 年 11 月 26 日
笔记
语音识别笔记

1.1 LAS产生label的计算

LAS是可以看做能够直接计算给定一段acoustic feature时输出token sequences的概率，即$p(Y|X)$,LAS每次给定一个acoustic feature就会产生一个token 的概率，将所有的概率乘起来就是token sequences的概率。其实在训练的时候，并不是在每一步都找概率最大的，这样会陷入局部最优，一般会用到beam search来寻找一个最优的概率。在图中，$\hat{Y}$表示的是正确的token sequence ,训练的目标就是要找到一个$\theta$，使得给定一段acoustic features时，输出$\hat{Y}$的概率最大。在测试的时候，就是根据训练找到的$$在给定acoustic features时，找出概率最大的token sequence，就是语音识别的结果。

1.2 CTC和RNN-T的计算

CTC和RNN-T都需要alignment，所以不能像LAS那样直接计算。。其概率是穷举所有的alignment,将所有的alignment的概率加起来，就是token sequence的概率。所以会碰见的几个问题如下图：

怎么计算所有可能的alignment
怎么将所有可能的alignment加起来
怎么训练$\theta$

1.2.1 所有的alignment

HMM中是对token进行重复，CTC是引入了$\phi$,可以插在任何地方，但是其个数和token重复个数的和要等于acoustic features的个数，RNN-T也引入了$\phi$，但是其是作为一个acoustic feature结束，下一个acoustic features开始的间隔，因此，$\phi$的个数就等于acoustic features的个数。

HMM
一个token可以重复$t_{i}$次，但是所有token重复次数的和要等于acoustic features的长度T，即图中灰色部分所描述的公式。表中横轴代表acoustic features，纵轴代表token。从左上角开始一直走到右下角，中间每一步只能有两个方向：向右走或者是向右下走。但是终点一定要是右下角才算是合法的路径。从起点开始一直走到终点的所有合法路径就是所有可能的alignment。下图就是一个非法路径
CTC
CTC在最后合并token的规则是：（1）首先合并重复项（2）去掉token.例如：a a $\phi$ $\phi$ r $\phi$ r$\phi$ s s s $\phi$s，经过第一步的结果是：a$\phi$r$\phi$r$\phi$s$\phi$ s,经过第二步的结果是a r r s s 。下面的合法路径的选择都是基于这个规则下。

CTC中的$\phi$可以插在任何地方，开头，token之间或者结尾。但是$\phi$的个数加上token的个数要等于acoustic features的个数。其中$\phi$的个数可以为0，但是每一个token的个数不能为0。

CTC和HMM不同，在CTC进行的过程中，纵轴是在开头，结尾和每一个token之间都插入一个$\phi$，其合法路径的规则有3个要求
(1)其初始的起点可以有两个，即$x^1$处的状态可以使$\phi$或者是第一个token，这里是C；
(2)其最后的终点也有两个状态，即$x^6$处的状态可以是$\phi$或者是最后一个token,这里是t
(3)当中间状态是token时，且下一个token与之不重复时，其下一步的状态可以有3个，向右走–下一步还是当前的token,向右下方走–下一步就是$\phi$，跨越$\phi$向右下方走（走马步）–下一步就是下一个token，【见图3】
(4) 当中间状态为$\phi$时，下一步只能有2种情况，向右走或者向右下方走。【见图2、图3】
(5) 当中间状态是token时，且下一个token与之重复时，其下一步的状态只能是2个，向右走–下一步还是当前的token,向右下方走–下一步就是$\phi$【见图4】，如果走马步，就会在合并的时候丢失掉一个token,所以不能跨越$\phi$。
下图举例列出了两条合法路径：

RNN-T
在RNN-T的过程中，最后一个token后至少有一个$\phi$，因为他是作为一个acoustic feature和另一个acoustic feature的间隔，当一个单词说完，它肯定要出现$\phi$，不然下一段acoustic features没办法进来。而在token之间则可以有也可以没有。向右走表示，插入$\phi$，可以理解为当前的acoustic feature没有任何东西，什么都没有输出的，我先插入一个$\phi$，你再给我下一个acoustic feature。向下走就表示输出一个token，理解为当前的acoustic feature输出一个token。由于最后一个必须是$\phi$，所以终点在右下角还右边一格。
RNN-T一个acoustic feature可以识别出很多token(参见上面的RNN-T的介绍)，所以可能第一个acoustic features就把想要的东西全部都输出了，后面全部插入$\phi$即可。下图显示了一条非法路径