深度学习注意力机制-Attention in Deep learning-附101页PPT

• 2019 年 10 月 7 日
• 筆記

导读

Amazon网络服务机器学习负责人 Alexander J. Smola 在ICML2019会议上做了关于深度学习中的注意力机制的报告，详细展示了从最早的NWE到最新的Multiple Attention Heads的相关内容。

作者 | Alex Smola, Aston Zhang

编译 | Xiaowen

报告主要分为六个部分：

1. Watson Nadaraya Estimator（NWE）：最早的非参数回归（Nonparametric Regression）的工具之一，更具体地说是最早核回归技术（Kernel Regression Technique）由Nadaraya和Watson两人同时于1964年独立的提出。

2. 池化 Pooling

• 单目标 – 从池化 pooling 到注意力池化 attention pooling
• 层次结构 – 分层注意力网络 Hierarchical attention network

3. 迭代池化 Iterative Pooling

• 问答 Question answering / 记忆网络 memory networks

4. 迭代池化与生成器 Iterative Pooling and Generation

• 神经机器翻译

5. 多头注意力网络 Multiple Attention Heads

• Transformers / BERT
• Lightweight, structured, sparse

6. 资源

完整PPT下载

请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“ADL” 就可以获取完整版《Attention in Deep learning》的下载链接~

1. WNE

2. Pooling

3. Iterative Pooling

4. Iterative Pooling and Generation

篇幅有限，仅截取部分内容，完整内容请下载PPT查看。

5. Multiple Attention Heads

篇幅有限，仅截取部分内容，完整内容请下载PPT查看。

6. Resources