参与：杜伟、楚航、罗若天
本周的主要论文包括 ACL 2020 公布的最佳论文、最佳主题论文、最佳 Demo 论文以及其他奖项论文，此外还有 MIT 和喷鼻香港科技大学学者的贝叶斯深度学习综述论文。
目录：
（图片来自网络侵删）Beyond Accuracy: Behavioral Testing of NLP Models with CheckList
Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data
GAIA: A Fine-grained Multimedia Knowledge Extraction System
A Survey on Bayesian Deep Learning
Deep Isometric Learning for Visual Recognition
Data Science: A Comprehensive Overview
Adaptive Graph Encoder for Attributed Graph Embedding
ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）
论文 1：Beyond Accuracy: Behavioral Testing of NLP Models with CheckList
作者：Marco Tulio Ribeiro、Tongshuang Wu、Carlos Guestrin、Sameer Singh
论文链接：https://www.aclweb.org/anthology/2020.acl-main.442.pdf
择要：只管衡量留出（held-out）准确率是评估模型泛化性能的紧张方法，但它常日会高估 NLP 模型的性能，而其他评估模型的替代性方法要么专注于单项任务，要么只看特定行为。
受软件工程中行为测试原则的启示，这项研究提出了一种与任务无关的 NLP 模型测试方法——CheckList。CheckList 不仅包含一些通用措辞能力和测试类型以促进全面的测试，还包括一个软件工具，能够快速天生大量不同测试案例。研究职员在三项任务中测试了 CheckList 的效果，在商业化模型和 SOTA 模型中都创造了严重的问题。
一项用户调查显示，卖力商业化情绪剖析模型的团队在一个经由大量测试的模型中创造了新的 bug。而在另一项用户调查中，利用 CheckList 的 NLP 从业者创建的测试数量是未利用 CheckList 的两倍，创造的 bug 数量是后者的三倍 。
商业情绪剖析模型的 Checklist。
情绪剖析测试。
用户研究结果。
推举：本文斩获 ACL 2020 最佳论文奖。
论文 2：Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data
作者：Emily M. Bender、Alexander Koller
论文链接：https://www.aclweb.org/anthology/2020.acl-main.463/
择要：大型神经措辞模型在许多 NLP 任务上得到成功。但是，在本文中，来自华盛顿大学和萨尔大学的两位研究者创造这些成功有时会被过度浮夸。这些模型常常被描述成「理解」措辞或者捕获措辞的「意义」。
该研究认为，仅接管形式演习的系统不具备学习措辞意义的能力。在 ACL 2020 的主题「Taking Stock of Where We’ve Been and Where We’re Going」下，该研究认为，清晰地理解「形式」与「意义」的差异有助于勾引该领域在自然措辞理解层面有更科学的发展。
研究者利用的示例。
推举：本文斩获 ACL 2020 最佳主题论文奖。
论文 3：GAIA: A Fine-grained Multimedia Knowledge Extraction System
作者：Manling Li、Alireza Zareian、Ying Lin 等
论文链接：https://blender.cs.illinois.edu/paper/aidaacl2020demo.pdf
项目地址：https://github.com/GAIA-AIDA
择要：在本文中，来自 UIUC、哥大等机构的研究者提出了首个综合开源的多媒体知识提取系统，该系统可基于不同的内容源和措辞提取大量非构造化异构多媒体数据，并遵照丰富细粒度本体，创建出连贯且构造化的知识库、索引实体、关系和事宜。
该研究提出的系统 GAIA 可实现繁芜图 query 的无缝搜索，并检索出文本、图像和视频等多媒体证据。GAIA 在近期的 NIST TAC SM-KBP2019 评估中实现了顶级性能。
GAIA 多媒体知识提取的架构。
与以往研究中的粗粒度知识提取系统比较，GAIA 支持细粒度实体、关系和事宜提取。
基于人脸识别、地标识别和国旗识别的视觉实体链接示例。
推举：本文斩获 ACL 2020 最佳 Demo 论文奖。
论文 4：A Survey on Bayesian Deep Learning
作者：Hao Wang、Dit-Yan Yeung
论文链接：https://arxiv.org/pdf/1604.01662.pdf
择要：一个全面的人工智能系统不仅须要通过视觉和听觉平分歧的「感官」来感知环境，还须要对条件乃至因果关系以及相应的不愿定性进行推理。在过去十年里，感知任务已经陆续取得重大进展，比如视觉目标识别以及利用深度学习模型的语音识别。但是，对付更高层次的推理，具有贝叶斯属性的概率图模型（Probabilistic Graphical Model, PGM）仍旧更加强大和灵巧。
近年来，作为一种统一的概率框架，贝叶斯深度学习（Bayesian Deep Learning, BDL）已经紧密结合了深度学习与贝叶斯模型。并且在这个通用框架中，借助深度学习感知文本或图像可以提升更高层次推理的性能。
在本文中，来自麻省理工学院和喷鼻香港科技大学的两位研究者对贝叶斯深度学习进行了全面的先容，综述了贝叶斯深度学习在推举系统、主题模型和掌握等方面的最新运用。此外，研究者还磋商了贝叶斯深度学习与神经网络贝叶斯处理等其他干系主题之间的关系和差异。
贝叶斯深度学习示例的概率图模型构造。
左为协同深度学习（Collaborative Deep Learning, CDL）的图模型，右为退化协同深度学习的图模型。
推举：本文一作王灏（Hao Wang）为 MIT CSAIL 博士后研究员，论文已被 ACM Computing Surveys 吸收。
论文 5：Deep Isometric Learning for Visual Recognition
作者：Haozhi Qi、Chong You、Xiaolong Wang、Yi Ma、 Jitendra Malik
论文链接：https://arxiv.org/pdf/2006.16992.pdf
择要：初始化、归一化和残差连接（skip connection）被认为是演习深度卷积神经网络（ConvNet）并得到最优性能的三大必备技能。
最近，来自加州大学伯克利分校和圣迭戈分校的研究者发布一项研究，提出不该用归一化和残差连接的深度 ConvNet 在标准图像识别基准上也能实现精良的性能。实在现办法是：在初始化和演习期间，令卷积核具备近似保距性（near isometric）；利用 ReLU 激活函数的变体，实现保距性。
研究职员进行了大量实验，结果表明此类近似保距网络与残差连接结合后，在 ImageNet 数据集上的性能与 ResNet 相称，在 COCO 数据集上的性能乃至超过 ResNet。
ISONet 的根本布局块图示。
ISONet 的 Top-1 准确率靠近 ResNet。
不同层数（18、34、50 和 101）时 ISONet 在 ImageNet 上的 top-1 准确率。
推举：靠暴力土豪 trial and error 的办法探求网络构造的风气，该当会很快过去。
论文 6：Data Science: A Comprehensive Overview
作者：Longbing Cao
论文链接：https://arxiv.org/pdf/2007.03606.pdf
择要：在本文中，来自悉尼科技大学的研究者对数据科学的根本知识进行了全面的综述，涵盖数据剖析到数据科学的演化、数据科学的观点、数据科学时期的愿景、数据创新的紧张寻衅和发展方向、数据剖析的实质、数据经济中的新型工业化和做事机遇、数据教诲专业和能力、以及数据科学的未来。
数据科学领域的一些关键术语。
谷歌在线搜索数据科学关键词的逐年变革曲线。
数据科学观点图。
推举：这篇论文首次勾勒出了数据科学领域的全面视图，还供应了关于数据科学和剖析的丰富不雅观察、教训和思考。
论文 7：Adaptive Graph Encoder for Attributed Graph Embedding
作者：Ganqu Cui、Jie Zhou、Cheng Yang、Zhiyuan Liu
论文链接：https://arxiv.org/pdf/2007.01594.pdf
择要：在本文中，来自清华大学等机构的研究者提出了一种新颖的属性图嵌入框架自适应图编码器（Adaptive Graph Encoder, AGE）。该框架由两个模块组成，其一，为了更好地减轻节点特色中的高频噪声，AGE 首次运用了精心设计的拉普拉斯算子平滑滤波器；其二，AGE 采取的自适应编码器能够取得滤波后特色的迭代增强，以实现更好的节点嵌入。
在实验部分，研究者利用四个公共基准数据集进行实验，以验证 AGE 在节点聚类和链路预测任务上的效果。
AGE 框架图。
自适应图编码器算法。
AGE 与其他方法在节点聚类任务上的实验结果比较。
推举：实验结果表明，AGE 在节点聚类和链路预测任务上始终优于当前 SOTA 图形嵌入方法。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的根本上，精选本周更多主要论文，包括NLP、CV、ML领域各10篇精选，并供应音频形式的论文择要简介，详情如下：
本周 10 篇 NLP 精选论文是：
1. Improving Event Detection using Contextual Word and Sentence Embeddings. (from Evangelos Milios)
2. TICO-19: the Translation Initiative for Covid-19. (from Philipp Koehn)
3. On-The-Fly Information Retrieval Augmentation for Language Models. (from David McAllester)
4. Principal Word Vectors. (from Joakim Nivre)
5. Greedy Transition-Based Dependency Parsing with Discrete and Continuous Supertag Features. (from Joakim Nivre)
6. Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion. (from Kun Zhou, Ji-Rong Wen)
7. Interpreting Hierarchical Linguistic Interactions in DNNs. (from Xiaoyi Bao)
8. What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets. (from Louis-Philippe Morency)
9. Learning Neural Textual Representations for Citation Recommendation. (from Massimo Piccardi)
10. KQA Pro: A Large Diagnostic Dataset for Complex Question Answering over Knowledge Base. (from Juanzi Li)
本周 10 篇 CV 精选论文是：
1. Long-term Human Motion Prediction with Scene Context. (from Jitendra Malik)
2. 3D Shape Reconstruction from Vision and Touch. (from Jitendra Malik)
3. LabelEnc: A New Intermediate Supervision Method for Object Detection. (from Xiangyu Zhang, Jian Sun)
4. AutoAssign: Differentiable Label Assignment for Dense Object Detection. (from Jian Sun)
5. End-to-end Interpretable Learning of Non-blind Image Deblurring. (from Jian Sun, Jean Ponce)
6. Video Prediction via Example Guidance. (from Xiaokang Yang, Trevor Darrell)
7. Human Trajectory Forecasting in Crowds: A Deep Learning Perspective. (from Sven Kreiss)
8. Explainable Deep One-Class Classification. (from Klaus-Robert Müller)
9. Dynamic Group Convolution for Accelerating Convolutional Neural Networks. (from Matti Pietikäinen, Li Liu)
10. ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation. (from Joshua B. Tenenbaum)
本周 10 篇 ML 精选论文是：
1. 3D Topology Transformation with Generative Adversarial Networks. (from Albert-László Barabási)
2. Network Embedding with Completely-imbalanced Labels. (from Zheng Wang, Philip S. Yu)
3. Personalized Federated Learning: An Attentive Collaboration Approach. (from Jiangchuan Liu, Jian Pei)
4. Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data. (from Gang Wang, Georgios B. Giannakis)
5. Strong Generalization and Efficiency in Neural Programs. (from Pushmeet Kohli, Oriol Vinyals)
6. Estimating Generalization under Distribution Shifts via Domain-Invariant Representations. (from Antonio Torralba)
7. Deep Partial Updating. (from Lothar Thiele)
8. PinnerSage: Multi-Modal User Embedding Framework for Recommendations at Pinterest. (from Jure Leskovec)
9. Neural Subgraph Matching. (from Jure Leskovec)
10. Semi-Supervised Learning with Meta-Gradient. (from Ming-Ming Cheng, Ming-Hsuan Yang)
