今日 Paper丨sql生成模型;深度樹結構;可變形核;聯合學習等
目錄
一種用於sql生成模型的數據匿名化編碼方法
Drain:一種基於固定深度樹結構的在線日誌解析方法
可變形核
從草圖中深度生成人臉影像
聯合學習知識圖譜中可解釋性的規則進行推薦
神經體系結構搜索的全面調查:挑戰與解決方案
一種用於sql生成模型的數據匿名化編碼方法
論文名稱:Data-Anonymous Encoding for Text-to-SQL Generation
作者:Zhen Dong1 , Shizhao Sun , Hongzhi Liu , Jian-Guang Lou ,Dongmei Zhang
發表時間:2019/11/7
論文鏈接://www.aclweb.org/anthology/D19-1543.pdf
推薦原因
1、 為了優化從文本中生成機器語言(此處是sql語句)的效率,作者提出了一種基於序列標註的兩階段模型對文本進行匿名化(anonymous encoding)的預處理,減少了文本的長度,並且提取了文本的詞與數據表之間的語義關係.為了更高效地進行訓練,作者採用了數據集的一小部分進行人工標註,以此訓練出的模型來初始化最終的模型,對於其他的數據,作者僅從sql中抽取出無序的colname, cell等數據,並提出了一種基於獎勵機制的隱監督(implicit supervision)學習方法來進行訓練。 此外,作者還提及了一種基於變分推斷思路的訓練方法,意圖將文本匿名化模型與用於生成sql的語義解析模型聯合訓練來提供模型的效率
2 、作者提出的匿名化方法無論從效率還是從準確度的角度,相比之前的方法都得到了很大的提高
3 、序列標註,尤其是與bert相結合的序列標註,是一種直觀且有效的訓練模型,需要大量標註良好的數據是其一大軟肋,作者提出的隱監督訓練方案的思路很值得一讀
Drain:一種基於固定深度樹結構的在線日誌解析方法
論文名稱:Drain: An Online Log Parsing Approach with Fixed Depth Tree
作者:Pinjia He , Jieming Zhu , Zibin Zheng , and Michael R. Lyu
發表時間:2017/6/30
推薦原因
1、本文提出了一種高效的樹結構來在線解析日誌數據,將日誌解析工作拆解為5個步驟,即根據具體的業務場景對日誌進行簡單的預處理、根據日誌長度來搜索日誌事件、根據日誌第一個詞來搜索日誌事件、根據句子相似度來搜索日誌事件,匹配日誌事件或者更新日誌事件,與大多數樹結構的方法一樣,作者也設計了一些剪枝的方法
2、 作者提出的方法十分直觀,並且靈活,與其說是一種日誌分析演算法,更多的是一種基於樹結構的日誌分析思路,一些其他基於樹結構的日誌處理方法亦可以很方便的整合到作者的模型中
可變形核
論文名稱:Deformable Kernels: Adapting Effiective receptive fields for Object Deformation
作者:Hang Gao, Xizhou Zhu, Steve Lin, Jifeng Dai
發表時間:2020/2/12
論文鏈接://arxiv.org/abs/1910.02940v2
推薦原因
在可變形卷積思想之後,提出可變形核,來適應對象形變的感受野。其核心為重新取樣原始內核空間來回復對象的形變能力。
從草圖中深度生成人臉影像
論文名稱:Deep Generation of Face Images from Sketches
作者:Chen Shu-Yu,Su Wanchao,Gao Lin,Xia Shihong,Fu Hongbo
發表時間:2020/6/1
論文鏈接://arxiv.org/abs/2006.01047v2
推薦原因
這篇論文被SIGGRAPH 2020接收,考慮的是從草圖中快速生成人臉影像的問題。</span></p><p>現有的影像到影像轉換技術可以實現這個功能,但是往往需要專業的草圖甚至邊緣圖作為輸入。這篇論文提出隱式模擬可信人臉影像的形狀空間,並在這個空間中合成人臉影像,以接近輸入草圖。這篇論文採取的是局部到全局的方法,首先學習關鍵人臉組件的特徵嵌入,並將輸入草圖的相應部分表示為由人臉組件樣本的特徵向量定義的底層分量。由於將輸入的草圖作為軟約束,即使從粗糙或不完整的草圖中也能生成高品質的人臉影像。這篇論文通過定性和定量的評估表明新方法要比現有的技術具有更強的生成能力和可用性。目前這篇論文給出了項目主頁的鏈接//geometrylearning.com/DeepFaceDrawing/,之後也會放出程式碼。
聯合學習知識圖譜中可解釋性的規則進行推薦
論文名稱:Jointly Learning Explainable Rules for Recommendation with Knowledge Graph
作者:Weizhi Ma, Min Zhang, Yue Cao, Woojeong, Jin, Chenyang Wang, Yiqun Liu, Shaoping Ma, Xiang Ren
發表時間:2019/3/9
論文鏈接://arxiv.org/abs/1903.03714v1
推薦原因
作者定義了這樣一個問題,給定用戶、物品、用戶-物品交互資訊、物品之間的聯繫資訊、以及知識庫,同時學習物品之間聯繫的規則與如何向用戶推薦物品。以此問題為框架,作者利用亞馬遜公開的用戶購買行為數據作為推薦系統數據集,將FreeBase作為知識庫,以幾種當時非常優秀的推薦系統模型作為基準,分別進行了規則抽取、物品推薦、和聯合學習等多種不同條件下的實驗,不僅大幅度提升了推薦系統的表現分數,並且從可解釋性的角度分析了分數較高的規則對於物品推薦的作用
作者將知識圖譜中的規則引入到推薦系統中時,不僅考慮了引入物品本身的語義資訊,並且將規則與推薦系統聯合學習,來進一步得到規則與目標關聯性更強的交互資訊,從結果上來看,這種思路是有效的。
神經體系結構搜索的全面調查:挑戰與解決方案
論文名稱:A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions
作者:Pengzhen Ren,Yun Xiao,Xiaojun Chang,Po-Yao Huang,Zhihui Li,Xiaojiang Chen,Xin Wang
發表時間:2020/6/1
論文鏈接://arxiv.org/abs/2006.02903
推薦原因
2020神經架構搜索最新綜述
神經架構搜索Neural Architecture Search (NAS)是深度學習研究熱點。NAS旨在通過使用有限的計算資源,以儘可能少的人工干預的自動化方式設計具有最佳性能的網路架構。西北大學等學者發布了關於神經架構搜索的綜述論文,對NAS進行了全面、系統的綜述。
github://github.com/pzhren/Awesome-NAS
加小助手微信,備註【論文】,進論文討論群