手把手教你做一個天貓精靈（四）

• 2022 年 10 月 5 日
• 筆記
• Python, 手把手教你做一個天貓精靈, 物聯網相關

上一章講到如何將程式寫入到ESP8266 WiFi模組中，實現物聯網終端對硬體的控制。本章將通過fubuki-iot實現自定義硬體控制。同時給出一個替代百度API的方案。

硬體準備

（無）

自定義語義模型

在第一章的「提醒事項」的例子中，fubuki-iot就展現了語義模型的功能。它將命中語義模型的命令作為參數調用給定的函數，並重定向給ACOUSTICS，從而實現和用戶交互的功能。以此類推，要實現和硬體交互就只需要重定向給MESSAGE，通過MQTT消息實現硬體的操控。

拿智慧洗衣機舉例，假設洗衣機有以下幾個功能：

• 以快洗/漂洗/脫水模式啟動洗衣機
• 預約X分鐘後啟動洗衣機
• 取消預約
• 暫停洗衣機
• 重新啟動洗衣機

這五個功能就會對應五個語義模型。現在拿第一個語義模型舉例，首先在mods內新建一個python文件命名為washing_machine.py，並構建一個語義模型類：

@SemanticsGroup.add_model
class WashingMachineSemanticModel(SemanticsModel):
    code = 'washing_machine'
    frm = SemanticsFromEnum.USER
    topic = ''
    regex = '以(.*)模式啟動洗衣機'
    regex_num = 2
    redirect = SemanticsRedirectEnum.MESSAGE
    func: SemanticsFunc = washing_machine_semanticsss_func

這個模型前三項和之前一樣，正則表達式這次只有一個分組用來確定模式，所以分組數就是2（加上第0個分組，即全文）。然後這次重定向就是消息。處理函數需要返回一個FunctionDeviceModel，函數類似這樣：

def washing_machine_semanticsss_func(*args) -> FunctionDeviceModel:
    mode = args[1]
    # do something here
    return FunctionDeviceModel(
        smt_code='washing_machine',
        topic='wm/mode',
        is_raw=False,
        acoustics=f"好的，洗衣機將會以{mode}模式啟動",
        data={
            'mode': ''
        }

    )

中間處理過程忽略，關鍵在於這個返回值。這次topic欄位必填，表示發送MQTT消息的topic，因為發送的payload是一個JSON數據，所以is_raw為False。這裡的acoustics是返回給用戶的語音提醒，data即payload數據，實際情況會複雜一點。

自定義語音處理模組

在前面的例子中，我們都是利用百度API實現語音識別和語音合成的，這次我們將其替換成PocketSphinx。根據官方文檔，可以直接構造一個AudioFile並遍歷其中的文字資訊，即可獲得語音識別結果。

首先，需要構造一個類繼承AsrProcessor，並實現其中的asr方法。然後在通過工廠類將該類包含進去，比如：

@AsrProcessorFactory.set
class PocketSphinxAsrProcessor(AsrProcessor):
    def asr(self, path: str) -> Optional[str]:
        res = ''
        for word in pocketsphinx.AudioFile(audio_file=path):
            res += word.__str__()
        return res if res != '' else None

在這個方法中就是通過遍歷AudioFile獲取語音識別資訊並返回。最後，在.env文件中表明調用這個類:

ASR_PROCESSOR=PocketSphinxAsrProcessor

注意：默認的PocketSphinx只支援英文識別，你可以在這裡找到不同語音的模型。並替換默認的模型。然後以參數的形式傳給AudioFile，比如:

for word in pocketsphinx.AudioFile(audio_file=path,
                                    hmm=os.path.join(model_path, 'zh-cn'),
                                    lm=os.path.join(model_path, 'zh-cn.lm.bin'),
                                    dict=os.path.join(model_path, 'cmudict-zh-cn.dict')):
            res += word.__str__()

除了ASR_PROCESSOR語音識別模組以外，還有三個模型可供自定義替換，替換方法如下

到本章為止關於fubuki-iot的相關功能大致介紹完了，理論上講也確實能滿足一個基本的物聯網智慧終端（智慧音箱）的功能。但是這個項目除了拿去做科創競賽或者畢業設計似乎用處不大，因為它不能和現實生活中家居打通，下一章將介紹一種轉發家用路由數據的方法實現用戶對智慧家居數據的控制。