AI中台——智能聊天机器人平台的架构与应用（分享实录）

• 2019 年 10 月 3 日
• 笔记

????????????3?????-????|AI??——?????????

??????????AI?????????

?????“??”???????????????????????????????????????????????????“AI??”?????????????????????AI????????????????AI????????????????AI???????——?????????????????????????????????????????????????????????????????????????????????????????????

?????https://v.qq.com/x/page/q0904bcjlkn.html

——————

??????????????AI?????????????????????AI???????????????AI?????????????????????????????????????????????????????????????????

??AI???????????

1.1 ?????????????

????????????????????????????????????-??BI?????????-????????????-??????????????????????????????????????????????????????????????????????????????????

• ????????????????????????????????????????????????
• ?????????????????????????????????????????????????
• ????????????????????????????????

1.2 ??????AI??

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????AI???????

??????????????????????AI????AI?????????????????????????????????????????????????????????????????????????AI?????????????????????????????????????????????

1.3 ?????AI?????

??????????AI??????????????AI?????????

?????AI??????????????????

????????AI??????????????????

• ?????????????????????BI???????????
• AI??????????????????????????????????????????????????????????????????

????????AI??????????????

• AI??????????????????????AI???????????????????????????????????????????????????
• ?????????AI??????????????????????????????BI????????????????BI???????AI?????????????????????????????????????????????????????????????????????????

1.4 AI?????????

?????????????????????????????????????????????????????????????????????????????

????????????

• “???”??????????????????????????
• ????????????????????????????
• ????????????????????????????????
• ????????????????????????????????????????
• ????????????????????????????????????
• ?????????????????????????????

????AI??????????????????????

• ??????????????????????????????????
• ??????????????????????
• ????????????????????????????????
• ??????????????AI????????????????????????????
• ???????????????????????????????
• ?????????????????????????????

???????????????????????????????????????????????AI?????????AI???????????????????????????????

1.5 AI??????

????AI????????

????????????????????????????????????????????????????????AI???????????????????

???????AI??????????

• AIHub??????????????????????????????????????????????????????????????
• AIMon???????????????????????????????????????????????
• AIKit????????????????AI?????AI????????????????????python???????Moonbox?????????????????????????????????????????????????????????
• AIMgt?????AI????????????????????????????????????
• AILab????????????????????????????????????????????????????????????????
• AIAsset????????????????AI???????????
• CUI???UI?????AI?????????????????????????????????????????????????????????????????

1.6 AI???????

????AI???????????????????AI?????????????????????????????????????????????????????AI???????4??

1????

?????????????????????????????????????????????AI????AIlab?????

??????????

• ??????AI???AI??????????AI?????????????????????????????????????????
• ????????????????????AI??????????????????????????????????????????

2?AI???

AI????????AI??????????????????????????????????AI??NLP??????????????????

3?AI???

AI???????AI????????????????????????????????????????????????

AI?????????????AI???????AI???????NLP?CV?????????AI???????AI???????????????????????????????????

????????????????????????????????????????????????????????????????

4????

???????????????????????????????????

????????????????????????????????????????? ???????

??3????AI?????????????????????????????????????????????AI?????????????????????????

1.7 AI???????-???

????????????????AI??????????

AI???????????????????????????????AI???????AI??????????

???????????AI?????????AI??????????????????????????????????AI???????????

???????????AI????????????????????????????????????????AI???????????????????????????????????????????????????????????????????

????AI?????????????????????????????????????????????????AI?????????????????????????????????????????????????????????????????

????????????????????

2.1 ???????

??????????????????????

?????????????????????????????

???????????????????????????????????????????Siri???????

????????????????????????????????????

• ?????????????????????
• ?????????????????????????
• ???????????????????????????

???????????????????????????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????

2.2 ??????????????UI

??????????????UI????UI????????????????????????

???UI???UI???????????

• ??????????????????????????????????????????????????UI????????????????????????????????????
• ?????????????UI??????????????????????????????????????????????????????????????????????????????????????????????????
• ????????????UI???????????????UI?????????????????????????????????????????????????????????????????

????????????Golden Krishna???“???????????”?????????????????????????????????

????????????????????????????????????????

2.3 ??????UI?????

?????UI???????????????????????????????????????????????????????????????????????????????????????????????????????????????????

?????????

• ?????????????????????????????????
• ??????????????????????????
• ????????????????????????????
• ???????????????????NLP??????BI??????????

Gartner???2020??50%??????????????????????????????????????????????????????????????????????35%???50%???

2.4 ???????????

??????????????????

?????????????????????????????????AI????????????????????????????????????????????????????????????????????????

?????????????????????AI??????????????????????????????????????????????????????????????????????AI??????????????????????????????????????????B???????????????????????????????????????AI??????????????????????????????????????????????????AI??????????????

????????????????????????????

?????????????????

2.5 ?????

?????????????????????????????????????????????????????????

• AI??????AI???????AI??????????????????????????????
• ?????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????

2.6 ?????????????

???????????????????????

1????or???

?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

2?????

• ??????????????????????????????????????????????????????
• ???????????????????????????????????????????????????????????????????????
• ??????????????????????????????????????????????????????????????????????????????????????

4?????

• ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
• ?????????????????????????????????????????????????????????????????????????????

2.7 ???????????

??????????????????

• ?????????????????Web?APP?Restful API???????
• ????????????Spring Cloud????????????Eureka?????????????????????????????????????????????????????????????Python???????????Python??????Eureka??????????“?????”??????
• ????????LDAP?SSO?PS??????????PC??APP??????
• ?????Mongo???????HDFS??????Eleastic-Search?????Click-house????????Rabbit mq???????????Redis?

?????????????????????Conductor??????MQTT?????APP??????????

??????????????????

3.1 ????????

??????????????????????????????????????????????

????????????????????????????????(ASR)???????(NLU)?????(DM)???????(NLG) ????????(TTS)?

??????????NLU??????????????????????????????????????????????????????????????????????????????????????

??????NLP???????????????????NLU???????NLG?????????????????????????????????NLU?NLG??NLP????????????????

DM????????????????????????????NLU?DM?

??????????????????????NLP?Natural Language Processing???????????NLP??????????????

??????????????????????????????????????????????????????????????????????(??????????????)?

NLP??????????????????????????????????????????????????????????????

3.2 ?????

??????????????????????????????????????????????????????????????????????

???????????????

• ??ASR?????????????????????????????????????????????????
• ???????/??????????????????????????????????
• ???????????????????????????bot????
• ?????????????QA???-?????????????????????-??????????????????????????-???????????????????????????
• ?????????????????????????
• ?????????????????????TTS??????????

??????????????????????????????????????????????????

3.3 QA???

QA??????????????????Q?QA?????????QA??????????QA????QA??????QQ??????QA??????????????????????????QA? (Qi, Ai)?????????

????1?NN??

?????????RNN?CNN?????????(Decoder)?????????LSTM??????????????????????????????????????

????2????????

??????????????????????????

• ??????????????????tfidf?w2v?
• ????????????????????????

????????????????????

3.4 QA?????(QQ???

???QQ?????QA??????

QQ??????????????????????????

• ???????BoW??????????????????????
• ???????????????????????????
• ?????????????????????????????

???????????????????????

??????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????TF-IDF?????????

TF-IDF???term frequency–inverse document frequency????????????TF-IDF???????????????????????????????????TF-IDF?????????????????????????????????????????????????????????????????????

TF-IDF????????????????IDF?inverse document frequency??????????????????

???????10000????10000???“??”???10???“???”???????“??????”?????????100???“??”??5??“???”??2?)?

?????????“??”????????IDF??????“??”?TF-IDF????????????????????“???”???????????????????????TF-IDF????

???????????????????????????????????????????????????TF-IDF????????????????TF-IDF????????????????TF-IDF????????????????????????TF-IDF????Value??????

???????????????????????????????????????

????????????1??????????????????????????????????????????????????

?????QQ????????????????????????????????????????

???????????

• ????????????????????????
• ????????????????????????????????????????
• ?????????????????????????????????????????????????????????????????

???????????

• ???????????????????????????????????
• ????????????????????????????????
• ?????????????????????????????????????????????????????????????

???????????????????????????????????????????????????????????????KG?????????????????????????????????????????????????????????????????

3.5 ???????

????????????????????????????????????????????????????????????

• ??????????????????
• ???????????????????????

?????????????????????????????????????????????????????????

??????????????????????????????????AIML????????

AIML??Richard Wallace???????????????? A.L.I.C.E.?Artificial Linguistics Internet Computer Entity ?????????????????????????????AIML??????????????????????XML???

AIML????????????????????????????????????????????????

AIML?????????????????????????????????????????????????

??????AIML???????SimpleAIMLEditor?GaitoBotAIMLEditor??

AIML????????????????AIML2.0?

3.6 ???????

??????Task-Bot? ??????????????????? ?????A?“?????????3??4?????????????”???????????????????????????????????????

??????A?????????????-????????????“???????????????”?A?????????????????????????????????????A?

????????????????????????&????????????????

??????????????????????????????

• ??????????????????????????????????????????????????????????
• ??????????????????????????????????????????????????????????????????
• ????????????????????post?get????????????????????????????????????????????????
• ??????????????????????????????

3.7 ???????

??????????????????????????????????????

??????????G??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????????????????????????????

3.8 KG?????

KG??????????????????????????????????????????????????????KG???????????????????????????????

????????????????????????

• ????????????????????????????????????????????????????????????????????,?????????????????????????????????????????
• ??????????????????????????????????????????????????????
• ??????????????????????????????????????????

?????????????????????????????????????????

?????????????????????????-??????????????????????-???????????5????????????????-?????????????????????-????????????????????????????

????????????????????????????????????

?????????????

• ??????????????????????????????????????????????????????????????????????????????
• ??????????????????????????????????????????????????????????????????????
• ?????????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????

3.9 ????

?????????????????????????????????????????????QA??????????????QA??????????????????????????????????????????????/????????????????????

????????????????????????????????????????????

????????????????????????python????????python?????????????????????????????????????????????????????????????????????????????????????????????????????????????

3.10 ?????????

??????????

• ???????????????????????
• ????????????????????????
• ???????????
• ???????????
• ????????????
• ???????????

3.11 ???????

????????????????????

• ?????????????????????????QA?????????????????????????????????????????????????????????????????????
• ??????????????????????????????????????????????????????????????????????
• ???????????????????????????????????QA???
• QA/????????????????????????????????????????????
• ????????????????????????????????????????
• ????????????????????????????????????????
• ??????????????/QA?????????????????????????????????????
• ????????????????????????????????????????
• ????/?????????PS???LDAP???SSO??/?????????

1??????

??????web??????????????????????????????????????????PC??APP???????

????????????????????????????????????????????????????????????????????????“???”?????????????????????????????????????????????????????????????????????????????

????????????????????FAQ???????????????FAQ?????????-??????????????????????????????????????????????????????????????????????????????????????????

2????

???????????????????????????????????????????????????????????????????????????????

3?????

?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????

4?????

?????????????????????????????????????????????????????????????????????????????????????????????????????

5?????

?????????????????????????Davinci???????????????????????????????????????????????????????QA??????????????????????????????????????????

6?????

??????????????????????????????????????????????????????????????????????????

7?????????

?????????????????????????????????????????????????????????????????????????????????????????????????

?????????????????????????????????????????????

3.12 ???????

???????????????????????????????????????????????????????????????????????????????????????CUI????????????????????????????????????

????????????????

4.1 ???????

??????????????????????

??????????????????????????????????????????????????????????????????????????????

• ?????????????????????????????????????????????????????
• ??????????????????????????????????????????????????
• ??????????????????????????????????

????????????80%?????????????20%????????????????????

????????????????????????????????????????????????????????????????0?1??????????????????????

4.2 ?????????

????????????????????????????????????????????????????????????????????????????????????

???????????????????app???????????????????

?????????????????????????????API?????????????????????????

?????????????????????????????????????????????????????????????????????

4.3 ???????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????????????????????????1~3????????????????????????????5???????????????????????????????????????????

4.4 AIOps?????

???????AIOps????????AIOps????????????????????????????????????????????????????????????????????????????AIOps?????????????????????????????????

????????????????

?????????????????????????????????????APP????????????????????????????????????????????????

????????APP???????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????

• ??AI????????????????????????????????????????????????????6???????5?????4?????2?????6??????????3??????
• ???????????????????????????????????????????????????????PC??APP??restful api?????
• ??????????????????????????????????????????????
• ?????????????????????????????????80%?????????5%??(???????)?
• ??????????????????????????????????????????????????????????????????
• ???????????????????????????????????????????????????????????????????

??Q & A

Q1?????????????????????????????????????????????????????????????????????????????????ASR????????????????????????????????????????????????

A??????????????????????????????????????????????????????????????????????

??????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

?????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????

Q2???????similarity?chatbot??????chatbot???intent??????slots???????????

A?????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????NER????????????????NER???????????????????????????????????????ML?DNN??????????????????????????????????????????????????????????????????

Q3?????????intent?slots????????slots???character-level???word-level?????word-level?,????cut-word????????

A?????????????word-level???????????????????????????????????????????????????????????????

???????NER?????????????????????????????????????????????????????task?

Q4????????????????????????????????

A???????????????????????????????????????????????????????????????????????????????????????????????????????????????????6???????????????????????

???????QA????QA???????????????????????????????????????????????????

????????QA?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

?????????