AI之嵌入技術（Embedding techniques)

• 2020 年 2 月 21 日
• 筆記

嵌入技術 （Embedding techniques)

正如我們前面所說的，TFM和TFIDF數值矩陣主要是根據單詞在文本中出現的頻率而得到的，它沒有考慮到詞語之間的相似性。所說的前面的文章是這個：文本數據挖掘（Text Mining).

為了克服這些方法的局限性，Google組提出了一種新的嵌入方法，而他們提出的技術在我看來是屬於革命性的技術。

在2013年，Google組發表了第一篇關於Word2Vec的論文。隨後被科研工作者廣泛的應用在各個領域之中，因為它確實帶來了前所未有的優點和便利。

Word2Vec是一種神經網路模型，它可以把文本中的詞語映射到數值空間中，而詞語成了有意義的數值以後，我們就可以很方便的對其來進行各種操作，用於各種模型之中。

比如網上流傳的著名的 「King - Man + Woman = Queen」，之所以可以對詞語計算是因為，通過Word2Vec技術，他們被轉化成了有意義的空間中的數值向量。有了數值向量以後，我們當然就可以進行加減乘除的運算了。從這一點上來講，Word2Vec技術真的是一個重要的發明和創新。

圖片來自

（https://www.needpix.com/photo/336827/wordcloud-tagcloud-cloud-text-tag-internet-web-online-website）

當然，通過Word2Vec技術而得到向量以後，我們就可以量化詞語之間的相似性。比如可以計算常用的餘弦Cosine相似性， 它主要測量了兩個向量之間的角度。

我們通過Word2Vec技術而得到詞語的嵌入向量之後，可以對得到的向量進行分析來研究事物之間的相似性。而很多時候使用過Word2Vec是為了對數據進行預處理，把得到的嵌入向量作為新的機器學習或者深度學習模型的輸入。

比如，我們從朋友圈裡面得到大量的文字資訊，通過過Word2Vec嵌入技術，得到嵌入向量，而這些向量可以作為預測模型的輸入，然後來預測一個新的朋友用戶在未來一年裡買新車的概率。

基於Word2Vec技術的流行，很多好的包packages也早就已經出來，可以很方便的調用已經寫好的函數。

比如,可以使用Python裡面的gensim，裡面已經有寫好的函數Word2Vec()，我們只需要定義自己需要的參數就行了。建議自己找一些簡單的句子，運行一遍Word2Vec()，就可以看到這裡面的奧妙。

請關注作者公眾號，一位留美AI女博士：