查看引用/信息源請點擊：映維網
在保證物理合理性的同時實現了全新的姿態精度。
（映維網 2021年04月21日）從單目視頻精確估計三維人體運動需要建模Kinematics運動學（無物理力的運動）和Dynamics動力學（有物理力的運動）。
為了提高視頻中估計人體運動的物理合理性，最近的研究開始在公式中采用動力學。這種方法首先對運動進行估計，然后利用基于物理的軌跡優化方法對誘導運動的力進行優化。基于軌跡優化的方法存在一定的不足。首先，軌跡優化需要在測試時求解一個高度復雜的優化問題。這可能屬于計算密集型，并且需要對時間窗口甚至整個運動序列進行批處理，從而導致姿態預測的高延遲，并且不適合交互式實時應用程序。
其次，軌跡優化需要簡單可微的物理模型，這可能導致近似誤差較大。最后，將物理應用于基于軌跡優化的方法是作為一個后處理步驟，其將給定的運動投影到物理合理的運動。由于它是基于優化，所以沒有一個學習機制嘗試將優化的運動與ground truth相匹配。所以，軌跡優化所產生的運動在物理上可能合理，但離ground truth相距甚遠，特別是當輸入運動不準確時。
針對上述局限性，Facebook和卡內基梅隆大學的研究人員提出了一種新的方法：SimPoE（Simulated Character Control for Human Pose Estimation；人體姿態估計的模擬特征控制）。
SimPoE將基于圖像的運動學推理和基于物理的動力學建模緊密地集成到一個聯合學習框架中。與軌跡優化不同，SimPoE是一個因果時間模型，帶有一個集成的物理模擬器。
具體來說，SimPoE學習以當前姿態和下一幀圖像作為輸入的策略，并為模擬器內的代理角色生成控件。其中，控件輸出下一幀的姿態估計。為了執行運動學推斷，所述策略包含一個可學習的運動學姿態精化單元，后者使用圖像證據（2D關鍵點）迭代精化運動學姿態估計。精化單元以關鍵點重投影損失梯度作為輸入，對姿態和關鍵點的幾何信息進行編碼，然后輸出運動姿態更新。
基于這種改進的運動學姿態，策略然后計算角色控制動作，如角色的比例驅動（PD）控制器的目標關節角度，從而推進角色狀態并獲得下一幀姿態估計。所述策略設計將運動學姿態精化單元與基于動力學的控制生成單元相結合，并配合強化學習（RL），以保證姿態估計的準確性和物理合理性。在每個時間步驟，根據估計的運動和ground truth之間的相似性來分配獎勵。
為了進一步提高姿態估計精度，SimPoE同時引入了一種新的控制機制meta-PD-control。PD控制器廣泛應用于先前的研究，其主要是將策略產生的動作轉化為控制角色的關節力矩。然而，PD控制器參數通常具有需要手動調整的固定值，這可能產生次優結果。相反，在meta-PD-control中，SimPoE的策略訓練成基于角色的狀態在模擬步驟中動態調整PD控制器參數，以實現對角色運動的更精細控制。
研究人員在兩個大型數據集和一個包含手指運動細節的內部人體運動數據集驗證了SimPoE。團隊比較了SimPoE和最先進的單目3D人體姿態估計方法，包括運動學和基于物理的方法。在這兩個數據集上，SimPoE在基于姿勢和基于物理的度量方面都優于先前的研究。另外，與先前基于物理的方法相比，SimPoe的姿勢精度有顯著提高。
相關論文：
SimPoE: Simulated Character Control for 3D Human Pose Estimation
https://paper.nweon.com/9688
團隊將會在6月舉行的計算機視覺與模式識別大會介紹名為《SimPoE: Simulated Character Control for 3D Human Pose Estimation》的論文。
