NLP與推薦系統的比較、聯繫與未來
- 2019 年 11 月 27 日
- 筆記
1、NLP與推薦的聯繫與比較
①聯繫
NLP的產出常常是推薦系統的輸入：NLP所做的其實很單純，效果也相對好驗證：比如說文本的情感識別，輸入是文本序列，輸出是對應的情感，是有準確的評價指標的。NLP的產出可以作為特徵：是否積極、是否反動、是否涉黃等等，供推薦模型使用。 ——益達：聊聊NLP和推薦系統的選擇 https://zhuanlan.zhihu.com/p/71938647
(觀眾批駁：nlp有大量缺乏自動評價指標的問題，尤其在生成類nlp問題上十分嚴重，很多問題只能靠人工評估，甚至靠人工都很難做到無偏和信服的評價結論，比如開放域閑聊問題，以及各種可控文本生成問題。)
②比較
宏觀上：
自然語言處理更像是一門學科，而推薦系統更像是一門應用。所以你在學推薦系統的過程中會用到機器學習、數據挖掘可能還會用到自然語言處理的東西，而自然語言處理可能更加有自己的一套理論，不過也會用到機器學習、數據挖掘的技術，但可能不會涉及推薦系統的東西。
（觀眾評論：單論pay推薦攻城獅比較貴，工程難度，從數據流到特徵加工到線上服務，NLP和推薦這種綜合系統不在一個層次上。要錢多好跳槽不要一畢業去NLP，建議去做推薦提高綜合工程能力，如果你有能力直接去搞RTB廣告那就更好了。）
研究與應用大綱上：
NLP 將一段話或者一段序列： 1.分割欄位 2.提取關鍵詞，構建語義向量 3.構建語句的關係 4.深度分析，比如情感分析，分類及構建下文等；常用手段，簡單點，語意相似度，隱馬模型，難點用RNN，LSTM 推薦系統 物以類聚： 1.選擇依據物品還是選擇用戶做 2.提取物品或者用戶特徵 3.構建相關網路 4.深度分析，對用戶相似度，用戶分類，用戶打分。 常用手段，簡單點，特徵相似度，難點機器學習分鐘分類回歸模型 鏈接：NLP自然語言處理、推薦系統、以及電腦視覺哪個就業前景更好一些？https://www.zhihu.com/question/268751628/answer/342223389
崗位需求上：
目前從崗位多少而言，搜索廣告推薦仍然是需求量最多的崗位，不僅體現在崗位數量上，同時也體現在公司上。眾所周知，賣貨廣告作為互聯網公司收入主力軍，各家公司對這塊需求是一直增加的。以北京為例，目前互聯網一線二線公司（即便美團等裁員）這塊仍然在招聘。從崗位品質角度而言，普通工程師需求不少，同時高端崗位由於受到團隊影響往往會出現合適的人找不到崗位，崗位找不到人，同時高端需求比較少，僅僅存在於部分優質公司，呈現出一個蘿蔔一個坑的狀態。 nlp其實目前需求量比較小，可能也是由於坑太大所以做的公司比較少吧哈哈哈。很多nlp的候選人有可能做了底層演算法研究（科學家），有的做了各種業務系統和用戶畫像等等（對話，翻譯等等）（大量的工程師做這個），還有一部分去做搜索推薦了。 鏈接：NLP自然語言處理、推薦系統、以及電腦視覺哪個就業前景更好一些？https://www.zhihu.com/question/268751628/answer/342223389
崗位後續的發展上：
a)NLP崗位其實更適合去做研究。因為其評價指標相對單一，好就是好不好就是不好，並且好的模型效果對演算法實時性沒有推薦系統要求的高。模型fancy，想法work，基本上就是一篇文章。在公司基本上是做基礎功能支援，相比推薦的話，更容易往細緻做，因為nlp評價指標相對穩定，不會出現線下和線上gap很大的情況(我猜測)，更多的精力會投入到細節的深挖上，如果合理利用優勢，我相信在公司也能有不小的收穫。 b)推薦崗位是個更加工程的崗位。有各種的坑需要去踩，也有很多dirty work（目前位置特徵工程仍然佔據非常重要的地位），模型上線之前還需要AB Test，對實時性要求高等等。所以工程能力在推薦系統中仍然是非常重要的。所以說這是個更加「工程」的崗位。 ——益達：聊聊NLP和推薦系統的選擇https://www.zhihu.com/question/268751628/answer/342223389
(觀眾批駁1：文章中有一些事實類錯誤。nlp問題可以歸結為分類，標註和生成這三類問題。部落客應該主要focus到分類問題（匹配也是一種分類）上，所以可能有點以偏概全。nlp中很多典型的分類，匹配問題已經近似求解，而nlp里真正難的序列標註與生成問題，以及疊加一些限制條件（如小樣本，多domain）的分類和匹配問題。這些才是多數nlp研究者focus的地方。)
(觀眾批駁2：多數nlp系統都會充斥大量dirty work，比如任務完成型對話，論dirty work和工程性，是比推薦系統有過之而無不及的。而工業界對nlp業務型人才的需求也是要遠大於研究型人才，說nlp更適合做研究是很不準確的。現階段也沒有幾家公司願意花大力氣做nlp研究，但是花大力氣孵化nlp產品反而是巨頭們現在競爭的一個重點賽道。）
從未來發展來看，提點拙見，目前搜索推薦的業務和技術最最成熟，可以說是最穩的，即便迎來最冷的寒冬；CV泡沫不小，但是正值紅利期，依靠深度學習這門玄學起飛的有點嚴重；由於不懂技術我認為NLP可能五年以為的落地真的比不上CV的，這個好像玄的有點過分，一點也不科學，再加上目前很多公司都是玩票性質所以感覺目前做NLP有點慘（不算那些大牛哈）。所以你要看你的技術和性格，如果你能沉得住氣我相信未來NLP方向收穫不會小的。 鏈接：NLP自然語言處理、推薦系統、以及電腦視覺哪個就業前景更好一些？https://www.zhihu.com/question/268751628/answer/342223389
面試準備側重點上:
益達：聊聊NLP和推薦系統的選擇 https://www.zhihu.com/question/268751628/answer/342223389
(觀眾批駁：論nlp找工作的問題的話，文中談到的這些知識點可能只夠在大廠不太核心的業務部門拿個白菜offer，甚至背景差點的白菜都拿不到。主題模型在nlp里存在感越來越弱，word2vec，elmo這類只能算基礎知識，遠夠不上競爭力。你列出的這些知識點顯然主要是檢索和推薦場景下的，而要想做翻譯，問答，對話，抽取，詞法句法分析這些更典型的nlp問題的話，這些知識點遠遠不夠應聘nlp崗位的。）
其他觀眾評論：
現在還把ctr當作唯一target metric做推薦的話會死很慘的。實習寫toy project的話兩說。。一般的，貴司agenda metric + stickiness 第一項問你們pm，第二項么無外乎ctr，觀看時長，翻頁率，retention之類的primary kpi 取個加權。 妖孽點的，train個rl agent當environment然後隨便你怎麼虐policy network。
先做推薦，再做nlp的表示，錢差不多的情況下，nlp會心態舒服很多，推薦有可能搞了n個月模型，指標不升反降，當然，一切看興趣。
nlp也會有線上線下不一致的情況，而且nlp的標註數據獲取是個頭大的事情，特別是對任務的定義直接關係到後面標註的準確性。nlp里dirty work 太多了…… 沒有人幫標數據的情況，得自己去弄數據來;有人幫標還要對標註結果負責 但是nlp的標註標準本身很難完全劃清界限，經常有那種a也行b也行的情況，連人都很難分，模型就更難搞了…… 沒有做過推薦，但如果做nlp的話，除非有人幫把數據都弄好了，不然清洗數據基本是大頭
鵝廠廣告相關人員，匿了 暫時看來從業務上說廣告是最好的，因為廣告是現金流部門，大部分公司的第一盈利來源都是廣告而且除了鵝廠，廣告收入佔比都非常大，比如facebook，99%收入都是廣告 中國廣告頭號玩家是阿里百度騰訊頭條，也正好有著最強的廣告團隊，阿里媽媽、鳳巢、AMS(前身叫廣點通)都赫赫有名 但從技術上說卻不盡然，所謂成也蕭何敗也蕭何，跟現金掛鉤就要求系統非常穩定並且可解釋，騰訊廣告每天的流水有1.56億RMB，系統不穩定危害比模型能不能提升0.1個點重要多了，所以會有很多規則性的東西，而且大部分人並不是做模型，而是特徵、規則等，再者工程實現比模型優化重要性高得多，非常不fancy 另外，廣告分效果和品牌，效果廣告跟推薦非常相似，做推薦是可以轉的，品牌廣告主要是運籌學，離機器學習較遠更不fancy 而且，其實廣告裡面也有cv nlp，nlp做上下文特徵這個不用說了，cv除了可以提供影像特徵，還可以提供廣告創意構建和推薦、影片廣告替換打碼、影片廣告相關推薦(就是比如你一個電視劇出現了水果場景就給你推水果廣告) 重要的還是打好基礎吧，機器學習都是相通的，而且廣告那一套召回+精排+規則的做法跟推薦搜索又有多大差別，不過是業務不同罷了 再者更重要的是，寫好程式碼
二:似乎目前NLP領域很少出現「獨角獸」企業，也有人說，自然語言處理是個大坑，那麼您認為NLP落地有哪些難點？(interview to張俊林)
A:NLP各種任務更偏向後台技術平台的形式，是一種能力輸出，往往不會是一種業務形態，它一般是支撐某些業務形態的支撐技術。總體而言，跟用戶能夠直接感知到的產品形態比較，整體靠後一些，一般終端用戶很難感知到它的存在。能夠在產品形態方面直接感知到NLP技術的業務領域，其實很少，比如對話機器人，智慧客服等這些算是比較靠前的業務形態，大多數都偏靠後一些。NLP是個技術領域，和產品形態本來也沒必然的關係。所以，我覺得本來就不應該出現NLP領域的「獨角獸」企業這種說法，如果說是某個獨角獸企業，大量應用了NLP技術，可能會更準確一些。當然，這種獨角獸企業確實也很少，因為獨角獸企業本來就很少，攤上用NLP技術的更少，所以也正常。要說落地難點的話，其實本質上就一個：就是技術不夠成熟，不足以支撐好的應用體驗。當然，這個分具體的子領域，有些領域，比如文本分類聚類、NER命名實體識別等一些簡單任務，其實落地效果已經不錯了，也被普遍應用。而對於很多高難度的應用領域，其它問題都是表面問題，本質問題其實是技術不夠成熟。 上面說的這個問題有長期性，不是短期內能夠解決的。如果說NLP落地短期難點的話，比如Transformer和Bert這種效果很好的新技術，可能因為模型比較重，高效的分散式大規模訓練系統以及快速的在線服務，可能是影響大規模應用目前的短期障礙，但是我相信很快會有大公司開源出一些好用的系統的，所以其實問題也不大。 鏈接：對NLP以及推薦系統未來發展趨勢的看法 https://zhuanlan.zhihu.com/p/79677478
三.新浪微博的資訊推薦系統有哪些技術棧？為打造更精準的推薦系統，新浪微博做了哪些工作？有計劃引入一些新的技術嗎？或者說，有在關注哪些新技術？(interview to張俊林)
A: 因為微博的推薦場景是個典型的資訊流業務，所以包含了很多環節。從偏後台的物料品質評估、用戶興趣建模、微博內容理解、圖片影片理解以及多模態融合，到業務前台的推薦系統的召回、粗排以及精排等推薦環節，以及離線及在線的大規模機器學習模型訓練及服務等。算是一個標準的資訊流推薦系統。 A:近兩年來，在推薦系統的召回和排序兩個環節，微博機器學習團隊都進行了大規模的技術升級，並獲得了明顯的業務效果。召回層面，我們目前已經實現了大規模FM統一召回模型，正在逐步替代傳統的多路召回模型，並在各項指標取得了非常明顯的業務效果；排序層面，我們經過了LR、大規模FM、FM+FTRL在線模型等不斷的模型升級，每次大的模型升級都取得了收益，目前也小流量了以DeepFM為基礎的深度學習排序模型。在物料比如微博的理解方面，目前也在嘗試多模態的技術路線，並取得了一定進展。 在業務團隊將新技術不斷升級落地的同時，微博AI Lab也不斷嘗試些推薦領域重要方向的新技術，並推動這些新技術在業務落地。比如我們在18年提出的雙線性FFM模型，在獲得和FFM模型相近效果的情況下，參數規模減少了幾十倍，也提出了幾個新的深度學習排序模型，比如FibiNet以及FAT-FFM模型，這些工作陸續發表在Recsys2019以及ICDM2019等國際會議上。 我個人比較關注統一召回模型技術以及新型的CTR模型上。感覺這兩塊在業界來說，還有很大的優化空間，是值得深入探索的方向。 鏈接：對NLP以及推薦系統未來發展趨勢的看法 https://zhuanlan.zhihu.com/p/79677478
觀眾評論：
推薦的model做不深做不複雜，在線inference時latency的限制是很重要的因素。
個人覺得微博的推薦從用戶體驗上講效果很差，作用很弱。VS看個人吧，我就刷到根本停不下來VS對比下抖音和頭條就能看出差距了
四.2019年已經過半，您認為在未來，推薦系統和NLP領域還有哪些方向值得研究？(interview to張俊林)
A:工業化的推薦系統經過最近幾年的發展，目前已經進化到了深度學習時代，代表性的模型有很多，比如Wide& Deep或者DeepFM模型。但是跟NLP或者影像領域相比，很明顯深度學習在實用化的推薦系統應用場景還未能發揮符合人們期待的效果。並沒有哪個深度學習推薦模型能夠相對傳統模型有非常大的性能提升，這裡面原因可能比較複雜。從模型角度看，我比較看好將Transformer模型應用在推薦領域，大家知道，Transformer在NLP裡面已經大放異彩，而且從機制上，它是比較適合用來做推薦或者CTR模型的。但是可能仍然需要針對推薦領域的特點做些改造，直接應用效果也沒有太體現出來，但是總體而言，我個人比較看好這個模型。當然，從實用化的推薦引擎角度，還有很多值得關注的點，比如多模態融合／多目標、多任務與Transfer Learning以及AutoML的應用等，都是很有前景和值得探索的方向。剛才講的是排序模型和推薦機制，至於推薦領域的另外一個重要環節：召回階段，我覺得採用模型統一召回代替傳統的多路召回是個比較明顯的趨勢。 至於NLP領域，自從Bert的出現，應該說NLP各個應用領域進入了一個新時代。Bert在相當多的NLP應用領域使用後，取得了目前最佳的效果，而且不少領域有大幅度的性能提升。這預示著大量無監督數據開始被NLP真正使用起來，這個如果能用好威力無窮。而且目前看，Bert+Transformer有統一NLP各個子領域的能力和趨勢，這也是非常好的一個進展。當然，因為Bert和Transformer的出現時間還比較短，所以大家其實對這兩者理解還不夠深入，對其中真正發揮作用的因子還沒有整理清楚，所以深刻理解兩者的作用機理，以及針對性的對兩者進行改進，是非常值得深入探索的方向。比如如何將Bert應用在文本生成領域，如何融合多模態的資訊等很多方向都具備很大的挑戰。
