Python實現語音識別和語音合成
- 2019 年 10 月 3 日
- 筆記
聲音的本質是震動，震動的本質是位移關於時間的函數，波形文件(.wav)中記錄了不同取樣時刻的位移。
通過傅里葉變換，可以將時間域的聲音函數分解為一系列不同頻率的正弦函數的疊加，通過頻率譜線的特殊分布，建立音頻內容和文本的對應關係，以此作為模型訓練的基礎。
案例：畫出語音訊號的波形和頻率分布，（freq.wav數據地址）
# -*- encoding:utf-8 -*- import numpy as np import numpy.fft as nf import scipy.io.wavfile as wf import matplotlib.pyplot as plt sample_rate, sigs = wf.read('../machine_learning_date/freq.wav') print(sample_rate) # 8000取樣率 print(sigs.shape) # (3251,) sigs = sigs / (2 ** 15) # 歸一化 times = np.arange(len(sigs)) / sample_rate freqs = nf.fftfreq(sigs.size, 1 / sample_rate) ffts = nf.fft(sigs) pows = np.abs(ffts) plt.figure('Audio') plt.subplot(121) plt.title('Time Domain') plt.xlabel('Time', fontsize=12) plt.ylabel('Signal', fontsize=12) plt.tick_params(labelsize=10) plt.grid(linestyle=':') plt.plot(times, sigs, c='dodgerblue', label='Signal') plt.legend() plt.subplot(122) plt.title('Frequency Domain') plt.xlabel('Frequency', fontsize=12) plt.ylabel('Power', fontsize=12) plt.tick_params(labelsize=10) plt.grid(linestyle=':') plt.plot(freqs[freqs >= 0], pows[freqs >= 0], c='orangered', label='Power') plt.legend() plt.tight_layout() plt.show()
語音識別
梅爾頻率倒譜係數(MFCC)通過與聲音內容密切相關的13個特殊頻率所對應的能量分布，可以使用梅爾頻率倒譜係數矩陣作為語音識別的特徵。基於隱馬爾科夫模型進行模式識別，找到測試樣本最匹配的聲音模型，從而識別語音內容。
MFCC
梅爾頻率倒譜係數相關API：
import scipy.io.wavfile as wf import python_speech_features as sf sample_rate, sigs = wf.read('../data/freq.wav') mfcc = sf.mfcc(sigs, sample_rate)
案例：畫出MFCC矩陣：
python -m pip install python_speech_features
import scipy.io.wavfile as wf import python_speech_features as sf import matplotlib.pyplot as mp sample_rate, sigs = wf.read( '../ml_data/speeches/training/banana/banana01.wav') mfcc = sf.mfcc(sigs, sample_rate) mp.matshow(mfcc.T, cmap='gist_rainbow') mp.show()
隱馬爾科夫模型
隱馬爾科夫模型相關API：
import hmmlearn.hmm as hl model = hl.GaussianHMM(n_components=4, covariance_type='diag', n_iter=1000) # n_components: 用幾個高斯分布函數擬合樣本數據 # covariance_type: 相關矩陣的輔對角線進行相關性比較 # n_iter: 最大迭代上限 model.fit(mfccs) # 使用模型匹配測試mfcc矩陣的分值 score = model.score(test_mfccs)
案例：訓練training文件夾下的音頻，對testing文件夾下的音頻文件做分類
語音識別設計思路
1、讀取training文件夾中的訓練音頻樣本，每個音頻對應一個mfcc矩陣，每個mfcc都有一個類別（apple）
import os import numpy as np import scipy.io.wavfile as wf import python_speech_features as sf import hmmlearn.hmm as hl # 1. 讀取training文件夾中的訓練音頻樣本，每個音頻對應一個mfcc矩陣，每個mfcc都有一個類別(apple...)。 def search_file(directory): """ :param directory: 訓練音頻的路徑 :return: 字典{'apple':[url, url, url ... ], 'banana':[...]} """ # 使傳過來的directory匹配當前作業系統 directory = os.path.normpath(directory) objects = {} # curdir：當前目錄 # subdirs: 當前目錄下的所有子目錄 # files: 當前目錄下的所有文件名 for curdir, subdirs, files in os.walk(directory): for file in files: if file.endswith('.wav'): label = curdir.split(os.path.sep)[-1] # os.path.sep為路徑分隔符 if label not in objects: objects[label] = [] # 把路徑添加到label對應的列表中 path = os.path.join(curdir, file) objects[label].append(path) return objects # 讀取訓練集數據 train_samples = search_file('../machine_learning_date/speeches/training')
2、把所有類別為apple的mfcc合併在一起，形成訓練集。
訓練集:
train_x：[mfcc1,mfcc2,mfcc3,…],[mfcc1,mfcc2,mfcc3,…]…
train_y：[apple],[banana]…
由上述訓練集樣本可以訓練一個用於匹配apple的HMM。
train_x, train_y = [], [] # 遍歷字典 for label, filenames in train_samples.items(): # [('apple', ['url1,,url2...']) # [("banana"),("url1,url2,url3...")]... mfccs = np.array([]) for filename in filenames: sample_rate, sigs = wf.read(filename) mfcc = sf.mfcc(sigs, sample_rate) if len(mfccs) == 0: mfccs = mfcc else: mfccs = np.append(mfccs, mfcc, axis=0) train_x.append(mfccs) train_y.append(label)
3、訓練7個HMM分別對應每個水果類別。 保存在列表中。
# 訓練模型，有7個句子，創建了7個模型 models = {} for mfccs, label in zip(train_x, train_y): model = hl.GaussianHMM(n_components=4, covariance_type='diag', n_iter=1000) models[label] = model.fit(mfccs) # # {'apple':object, 'banana':object ...}
4、讀取testing文件夾中的測試樣本，整理測試樣本
測試集數據：
test_x： [mfcc1, mfcc2, mfcc3…]
test_y ：[apple, banana, lime]
# 讀取測試集數據 test_samples = search_file('../machine_learning_date/speeches/testing') test_x, test_y = [], [] for label, filenames in test_samples.items(): mfccs = np.array([]) for filename in filenames: sample_rate, sigs = wf.read(filename) mfcc = sf.mfcc(sigs, sample_rate) if len(mfccs) == 0: mfccs = mfcc else: mfccs = np.append(mfccs, mfcc, axis=0) test_x.append(mfccs) test_y.append(label)
5、針對每一個測試樣本：
1、分別使用7個HMM模型，對測試樣本計算score得分。
2、取7個模型中得分最高的模型所屬類別作為預測類別。
pred_test_y = [] for mfccs in test_x: # 判斷mfccs與哪一個HMM模型更加匹配 best_score, best_label = None, None # 遍歷7個模型 for label, model in models.items(): score = model.score(mfccs) if (best_score is None) or (best_score < score): best_score = score best_label = label pred_test_y.append(best_label) print(test_y) # ['apple', 'banana', 'kiwi', 'lime', 'orange', 'peach', 'pineapple'] print(pred_test_y) # ['apple', 'banana', 'kiwi', 'lime', 'orange', 'peach', 'pineapple']
聲音合成
根據需求獲取某個聲音的模型頻域數據，根據業務需要可以修改模型數據，逆向生成時域數據，完成聲音的合成。
案例，（數據集12.json地址）：
import json import numpy as np import scipy.io.wavfile as wf with open('../data/12.json', 'r') as f: freqs = json.loads(f.read()) tones = [ ('G5', 1.5), ('A5', 0.5), ('G5', 1.5), ('E5', 0.5), ('D5', 0.5), ('E5', 0.25), ('D5', 0.25), ('C5', 0.5), ('A4', 0.5), ('C5', 0.75)] sample_rate = 44100 music = np.empty(shape=1) for tone, duration in tones: times = np.linspace(0, duration, duration * sample_rate) sound = np.sin(2 * np.pi * freqs[tone] * times) music = np.append(music, sound) music *= 2 ** 15 music = music.astype(np.int16) wf.write('../data/music.wav', sample_rate, music)
