蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
ICLR 2021杰出論文獎出爐！
今年共有2997篇投稿，接收860篇，最后共有8篇獲得杰出論文獎。
這8篇論文中，谷歌成最大贏家，共有4篇論文獲獎（包括DeepMind、谷歌大腦在內）。
除此之外，AWS、Facebook等機構，以及CMU、南洋理工等高校也紛紛上榜。
一起來看看都是哪些論文。
共有8篇論文上榜
1、Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters
來自AWS、Google、南洋理工大學。
這篇論文提出了一種基于四元數的全連接層（Fully-Connected Layers with Quaternions），用四元數的哈密頓乘積（Hamilton products），替代了全連接層中的實值矩陣乘法，節省了1/4的可學習參數。
論文對超復數乘積進行了參數化，允許模型從數據中學習乘法規則，無需在意這些規則是否被預定義。與普通的全連接層方法相比，這種方法只需要使用1/n（n即維度）的可學習參數。
2、Complex Query Answering with Neural Link Predictors
來自UCL、阿姆斯特丹自由大學。
這篇論文提出了一種名為復雜查詢分解 （CQD）的框架，通過在嵌入空間實體集上的推理，來回答相對復雜的邏輯查詢——回答復雜查詢，被簡化為回答每個子查詢，并通過t-norm聚合所得分數。
只需要訓練原子查詢的神經網絡鏈接預測模型，就可利用這一框架，來回答給定的復雜查詢，而不需要用大量生成的復雜查詢進行訓練。
同時，無論查詢的復雜性如何，這一框架還能對查詢回答過程的每一步進行解釋。論文所提出的方法與查詢類型無關，可以在不明確訓練特定類型查詢的情況下進行歸納。
3、EigenGame: PCA as a Nash Equilibrium
來自DeepMind、Google。
這篇論文提出了一種天然并行化的隨機梯度上升方法EigenGame（本征博弈），結合了Oja規則、Krasulina矩陣和Riemannian優化方法的優點，來計算Top-K主成分。
其中，PCA即博弈納什均衡、及序列化全局收斂主成分算法。
這種方法為大規模矩陣的PCA計算提供了一種可擴展方法，可計算出近200 TB的Imagenet的RESNET-200激活矩陣的前32個主成分。
4、Learning Mesh-Based Simulation with Graph Networks
來自DeepMind。
這篇論文介紹了MeshGraphNets，一個用圖神經網絡進行網格仿真學習的框架。這一框架可以精確地預測各種物理系統的動力學，包括空氣動力學、結構力學和織物的形狀等。
這種方法拓寬了神經網絡模擬器可以運行的問題范圍，并有望提高復雜的、科學的建模任務的效率。
5、Neural Synthesis of Binaural Speech From Mono Audio
來自Facebook Reality Lab、CMU。
這篇論文提出了一種雙聲道合成的神經繪制方法，可以實時生成逼真、空間精確的雙聲道聲音。所設計的網絡以單聲道音頻源為輸入，根據聽者相對于聲源的相對位置和方向，將雙聲道雙耳聲音合成為輸出。
論文從理論上分析了原始波形上l2損耗的不足，并介紹了克服這些局限性的改進損耗。
6、Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
來自東京大學。
這篇論文分析了過參數化（overparameterized）的雙層神經網絡回歸問題的平均隨機梯度下降的收斂性。
論文證明，平均隨機梯度下降可以通過利用目標函數的復雜性以及與神經切線核（NTK）相關的再生希爾伯特空間（RKHS），在保證全局收斂的前提下，達到極小極大最優收斂速度。
7、Rethinking Architecture Selection in Differentiable NAS
來自UCLA、理海大學、Amazon。
可微神經結構搜索(differential Neural Architecture Search，NAS)以搜索效率高、搜索過程簡單等優點，成為當前最流行的神經結構搜索(Neural Architecture Search，NAS)方法之一。
這篇論文分析認為，架構參數的大小，并不一定證明操作對貪心超網絡（supernet）性能的貢獻效果，并提出了一種可供選擇的、基于擾動的體系結構選擇，直接測量每個操作對貪心超網絡的影響。
8、Score-Based Generative Modeling through Stochastic Differential Equations
來自斯坦福、谷歌、谷歌大腦。
論文提出了一種基于隨機微分方程(SDEs)的分數式生成模型框架。其中，SDE通過緩慢注入噪聲，平穩地將一個復雜的數據分布轉換為一個已知的先驗分布，相應的逆時SDE通過緩慢去除噪聲將先驗分布轉換回數據分布。
逆時SDE只依賴于擾動數據分布隨時間變化的梯度場(分數)，引入了預測-校正框架來糾正離散逆時SDE演化中的錯誤，推導了與SDE相同的分布采樣的等效神經ODE，使精確的似然計算成為可能，并提高了采樣效率。
關于杰出論文獎評選
ICLR 2021杰出論文獎，主要從四個方向來考察論文質量：技術質量、影響潛力、是否提出新方向、以及是否解決了重要問題。
今年負責評獎的委員會，成員分別來自Facebook、DeepMind、德州奧斯汀分校、斯坦福大學、微軟等各高校和機構。
值得一提的是，雖然ICLR表示：
評分最高的論文也入選了此次獎項。
然而，在這8篇論文中，卻并沒有見到平均分最高的論文身影。
按平均分來看的話，得分最高的論文名為「How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks」，來自MIT、馬里蘭大學、華盛頓大學。
它的論文評分是9、9、8、9，平均分8.75，卻并未入選此次的杰出論文獎。
相比于這篇論文，確實有幾篇入選杰出論文獎的論文，獲得過評委打出的10分。
但這兩篇論文，卻都收到過其他評審6、7分的打分，例如（9、6、6、10）和（7、10、7、7）等。
從打10分的評委評價來看，都是覺得這幾篇論文“提出了開創性的觀點”。
相比之下，評審在給MIT這篇論文打分時用得更多的評價是“有見解、有意思”。
關于ICLR
ICLR（International Conference on Learning Representations）又名“國際學習表征會議”，2013年舉辦第一屆，由Yoshua Bengio和Yann LeCun牽頭創辦。
雖然創立時間較晚，但相比于其他頂會，ICLR推行Open Review公開評審制度，所有論文都會公開學校、姓名等信息，并接受所有同行的評價及提問。
在公開評審結束后，作者也能夠對論文進行調整及修改。
值得一提的是，ICLR歷年會議都只評選過最佳論文獎（Best Papers），今年應該是ICLR首次增加杰出論文獎。
這次ICLR 2021評選的杰出論文獎，國內并沒有高校和研究機構入選，但有3篇論文的1作為華人作者。
