機器之心報道
作者：維度、陳萍、小舟
ICLR 2021 距正式召開還有一個月的時間，今日公布了八篇杰出論文，主題涵蓋復雜查詢應答、圖網絡網格模擬以及基于隨機微分方程的分數生成式建模等。此外，這八篇杰出論文中也有多位華人學者的參與。
機器學習頂會 ICLR 2021 將于當地時間 5 月 3 日至 7 日線上舉行。1 月份，ICLR 2021 放出了本屆會議的論文接收結果：在 2997 篇有效投稿中，共有 860 篇論文被接收，其中 53 篇 Oral，114 篇 Spotlight，其余為 Poster。
本屆 ICLR 會議的接收率為 29%，相較 2020 年的 26.5% 有所提升。另外，值得關注的是，不同于 2020 年的 30 余篇滿分論文，本屆會議只有 15 篇論文獲得了平均 8 分及以上的分數，也沒出現「滿分論文」。
今日，ICLR 2021 官方從 860 篇接收論文中挑選出了八篇杰出論文，研究主題涵蓋利用神經鏈接預測器的復雜查詢應答、通過圖網絡學習網格模擬、將主成分分析視作納什均衡問題以及基于隨機微分方程（SDE）的分數生成式建模等。
此外，在八篇杰出論文中，有多位華人學者的參與，其中一篇《Rethinking Architecture Selection in Differentiable NAS》的一作 Ruochen Wang 曾就讀于上海財經大學，另一篇《Score-Based Generative Modeling through Stochastic Differential Equations 》的一作宋飏（Yang Song）本科畢業于清華大學，還曾是清華計算機科學系朱軍教授的學生。
ICLR 2021 八篇杰出論文
論文 1：Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters
作者：Aston Zhang、Yi Tay、Shuai Zhang、Alvin Chan、Anh Tuan Luu、Siu Hui、Jie Fu
機構：AWS AI、Google Research 等
論文鏈接：https://openreview.net/pdf?id=rcQdycl0zyk
摘要：近來一些研究顯示出超復雜空間中表征學習的成功。具體來說：帶有四元數的全連接層（四元數是指 4D 超復數），其中用四元數的漢密爾頓積代替了全連接層中的實值矩陣乘法，這種方法節省了參數，只有 1/4 的可學習參數，在各種應用中實現了可與之前的方法媲美的性能。但是，這種超復雜空間只以幾種預定義維度（4D、8D 和 16D)存在。這限制了利用超復雜乘法的模型的靈活性。為此，該研究提出了一種對超參數乘法進行參數化的方法，使得模型能夠從數據中學習乘法規則，而無需考慮此類規則是否預先定義。結果，該方法不僅包含漢密爾頓積，而且還學會了在任意 nD 的超復雜空間上運行。與全連接層的對應對象相比，使用任意 1/n 可學習參數可以提供給更大的架構靈活性。在自然語言推理、機器翻譯、文本樣式遷移和主謂詞一致方面對 LSTM 和 transformer 模型進行應用的實驗驗證了該方法的架構靈活性和有效性。
一作 Aston Zhang 為《動手學深度學習》的作者之一，博士畢業于 UIUC，現為亞馬遜高級科學家。
論文 2：Complex Query Answering with Neural Link Predictors
作者：Erik Arakelyan、 Daniel Daza、Pasquale Minervini、 Michael Cochez
機構：倫敦大學等
論文鏈接：https://openreview.net/pdf?id=Mos9F9kDwkz
摘要：神經鏈接預測器對于識別大規模知識圖譜中的缺失邊非常有用。但是對于回答多個域中出現的更復雜查詢，如何使用這些模型尚不清楚，例如使用邏輯合取 (∧)、析取 (∨) 、存在( ) 的查詢，同時還要考慮缺失的邊。該研究提出了一種框架，可以有效地回答不完整的知識圖譜上的復雜查詢。該方法將每個查詢轉換為端到端可微目標，其中每個原子的真值由預訓練的神經鏈接預測器計算。研究者進一步分析了優化問題的兩種解決方案，包括基于梯度的搜索和組合搜索。該研究的實驗表明，該方法比 SOTA 方法的準確率更高，而且無需在大型復雜查詢集上訓練。使用少了幾個數量級的訓練數據，該研究在包含實際信息的幾種知識圖譜中將 Hits@3 從 8% 提升到 40%。最后，該研究解釋了該模型用于每個復雜查詢原子的中間解決方案所得的結果都是可解釋的。
論文 3：EigenGame: PCA as a Nash Equilibrium
作者：Ian Gemp、 Brian McWilliams、Claire Vernade、Thore Graepel
機構：DeepMind
論文鏈接：https://openreview.net/pdf?id=NzTU59SYbNq
摘要：該研究提出了一種新穎的觀點，將主成分分析（principal component analysis, PCA）看作競爭性游戲，其中每個近似本征向量由一個玩家控制，其目的是最大化效用函數。研究者分析了 PCA 游戲的特性以及基于梯度更新的行為，并提出了一種將 Oja 規則中的元素與泛化 Gram－Schmidt 正交化結合起來的算法，該算法通過消息傳遞實現了分散化與并行化。最后，該算法的可擴展性在大型圖像數據集和神經網絡激活的實驗中獲得了驗證。
分散式算法 1 和 2。
論文 4：Learning Mesh-Based Simulation with Graph Networks
作者：Tobias Pfaff、Meire Fortunato、Alvaro Sanchez-Gonzalez、Peter W. Battaglia
機構：DeepMind
論文鏈接：https://openreview.net/pdf?id=roNqYL0_XP
摘要：該研究提出了一個使用圖神經網絡來學習網格模擬的模型 MeshGraphNets。通過訓練，該模型可以在網格圖上傳遞信息，并在前向模擬過程中適應網格離散化。實驗表明，該模型可以準確地預測各種物理系統的動力學，包括有空氣動力學、結構動力學等。該模型的自適應性使其可以學習與分辨率無關的動力學，并能在測試時擴展至更復雜的狀態空間。該研究提出的方法擴展了神經網絡模擬器可以解決的問題范圍，并有望提升復雜科學建模任務的效率。
MeshGraphNets 在球體動力學（SphereDymanic）中的運行演示圖。
論文 5：Neural Synthesis of Binaural Speech from Mono Audio
作者：Alexander Richard、Dejan Markovic、Israel D. Gebru、 Steven Krenn、 Gladstone Alexander Butler、 Fernando Torre、 Yaser Sheikh
機構：Facebook Reality Labs 、Pittsburgh
論文鏈接：https://openreview.net/forum?id=uAX8q61EVRu
摘要：該研究提出了一種用于雙聲道聲音（binaural sound）合成的神經渲染方法，該方法可以實時產生逼真且空間準確的雙聲道聲音。該網絡以單通道音頻源作為輸入進行合成，根據聽者相對于聲源的相對位置和方向，合成兩通道雙聲道聲音作為輸出。研究人員在理論上研究了 l2-loss 對原始波形的影響，并引入了一種改進的損失，克服了這些限制。在經驗評估中，證實該研究提出的方法是首個產生空間準確的波形輸出（由真實記錄測量），無論在定量和感知研究中，優于現有的方法。
論文 6：Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
作者：Atsushi Nitanda、 Taiji Suzuki
機構：東京大學信息科學與技術研究生院等
論文鏈接：https://openreview.net/pdf?id=PULSD5qI2N1
摘要：該研究分析了用于回歸問題的超參數兩層神經網絡的平均隨機梯度下降的收斂性。研究發現，神經正切核 (NTK)在基于梯度方法的全局收斂性方面起著重要作用。然而，在 NTK 機制下，仍有收斂速度分析的空間。該研究證明了通過利用目標函數和與 NTK 相關的 RKHS 的復雜性，平均隨機梯度下降可以達到 minimax 最優收斂速度，并且具有全局收斂保證。
此外，該研究還證明了在一定條件下，通過對 ReLU 網絡的平滑逼近，可以以最優的收斂速度學習由 ReLU 網絡的 NTK 指定的目標函數。
論文 7：Rethinking Architecture Selection in Differentiable NAS
作者：Ruochen Wang、 Minhao Cheng、 Xiangning Chen、 Xiaocheng Tang、Cho-Jui Hsieh
機構：加州大學洛杉磯分校計算機科學系、DiDi AI 實驗室
論文鏈接：https://openreview.net/pdf?id=PKubaeJkw3
摘要：可微神經架構搜索（ (NAS)）是目前最流行的神經架構搜索方法之一，具有搜索效率高、搜索簡單等優點，這種方法通過基于梯度的算法在權重共享的 supernet 中聯合優化模型權重和架構參數來實現。雖然關于 supernet 優化的討論很多，但架構選擇過程卻很少受到關注。該研究根據實驗和理論分析表明，架構參數的多少并不代表對 supernet 性能的貢獻。
該研究提出了一種基于擾動的架構選擇的替代方案，它可以直接測量每個操作對 supernet 的影響。該研究用提出的架構選擇重新評估了幾種可微 NAS 方法，并發現它能夠從底層 supernet 中連續提取顯著改進的架構。此外，研究發現，該研究所提出的選擇方法可以大大改善 DART 的幾種失效模式，這表明 DART 中觀察到的泛化能力差的大部分原因是基于量級的架構選擇失敗，而不是 supernet 的完全優化問題。
論文一作 Ruochen Wang 曾就讀于上海財經大學，現為 UCLA 計算機科學碩士。
論文 8：Score-Based Generative Modeling through Stochastic Differential Equations
作者：Yang Song、Jascha Sohl-Dickstein、Diederik P. Kingma、Abhishek Kumar、Stefano Ermon、Ben Poole
機構：斯坦福大學、谷歌大腦
論文鏈接：https://openreview.net/pdf?id=PxTIG12RRHS
摘要：該研究主要介紹了基于隨機微分方程（SDE）的分數生成式建模。具體地，研究者提出了一個通過緩慢注入噪聲來平滑地將復雜數據分布轉化為已知先驗分布的隨機微分方程，以及通過緩慢地去除噪聲來將先驗分布轉化回數據分布的逆時 SDE。非常重要的一點是，逆時 SDE 只依賴于擾動數據分布隨時間變化的梯度場。通過利用分數生成式建模的進展，該方法可以準確地通過神經網絡估計分數，并使用數值 SDE 求解器來生成樣本。此外，研究者引入了預測器 - 糾正器框架來糾正離散逆時 SDE 演化中出現的誤差，推導出了從與 SDE 相同的分布中采樣的等價神經常微分方程（ODE），從而使得精確的似然計算成為可能，并提升了采樣效率。
論文一作宋飏（Yang Song）本科畢業于清華大學，現為斯坦福大學計算機科學系博士生。
建新·見智 —— 2021亞馬遜云科技 AI在線大會
4月22日 14:00 - 18:00
大會包括主題演講和六大分會場
