作者丨瞎搭積木

編輯丨極市平臺

本文已獲得論文作者授權(quán)解讀

在本文中，來自北京大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、阿里巴巴的研究者們提出了一種基于多假設(shè)Transformer的三維人體姿態(tài)估計新框架MHFormer，來減輕三維人體姿態(tài)估計中的歧義逆問題。性能超越PoseFormer 3%，并在Human3.6M和MPI-INF-3DHP數(shù)據(jù)集上都取得了當(dāng)前最佳的性能。代碼已開源！

• 論文：MHFormer: Multi-Hypothesis Transformer for 3D Human Pose Estimation
• 單位：北京大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、阿里巴巴
• 地址：https://arxiv.org/pdf/2111.12707.pdf
• 代碼：https://github.com/Vegetebird/MHFormer

任務(wù)介紹

三維人體姿態(tài)估計旨在利用計算機視覺技術(shù)，從圖片或視頻中估計出人體關(guān)鍵點在三維空間中的坐標(biāo)。它可廣泛用于虛擬現(xiàn)實、元宇宙、體育比賽中（冬奧運實時動捕、滑雪）。該任務(wù)通常被解耦成2個子任務(wù)：二維姿態(tài)估計和二維到三維姿態(tài)提升（2D-to-3D Pose Lifting）。盡管該方法目前已經(jīng)取得了不錯的性能，但是它還面臨著許多挑戰(zhàn)，例如二維到三維映射的深度模糊性與人體的自遮擋問題。

研究動機

先前的工作嘗試使用時空圖卷積或時空Transformer來利用時空約束來解決該問題。然而，該任務(wù)也是一個存在多個可行解（假設(shè)）的逆問題（inverse problem），具有巨大的歧義性。該問題的產(chǎn)生主要是由于相機成像過程中深度信息的丟失，造成多個三維姿態(tài)投影到二維空間可能存在相同的二維姿態(tài)。從而形成一對多的病態(tài)問題，并且在遮擋的情況下該問題會被進一步放大。這些工作大多忽略了該問題本質(zhì)上是個逆問題，并且只假設(shè)存在一個解，這通常會導(dǎo)致估計出不滿意的結(jié)果（見圖1）。

目前，只有少量的工作提出基于生成多個假設(shè)的方法。他們通常依賴于一對多的映射，將多個輸出頭添加到具有共享特征提取器的現(xiàn)有架構(gòu)中，而未能建立不同假設(shè)特征之間的聯(lián)系。這是一個重要的缺點，因為這種能力對于提高模型的表現(xiàn)力和性能至關(guān)重要。 鑒于三維人體姿態(tài)估計的歧義逆問題，本文認(rèn)為先進行一對多的映射，然后再將生成的多個中間假設(shè)進行多對一的映射更為合理，因為這種方式可以豐富模型的特征并可以合成更精確的三維姿態(tài)。

模型方法

這篇文章的核心思想是通過學(xué)習(xí)多重姿態(tài)假設(shè)的時空表示來合成更準(zhǔn)確的三維姿態(tài)。 為了實現(xiàn)這一點，作者提出了一個三階段框架，叫多假設(shè)Transformer（Multi-Hypothesis Transformer，MHFormer）。如圖2所示，該框架從生成多個初始表示開始，逐漸在它們之間進行通信以合成更準(zhǔn)確的估計。該框架可以有效地建模多假設(shè)的依賴，并在假設(shè)特征之間建立牢固的聯(lián)系。

以下這張圖是本文的具體網(wǎng)絡(luò)結(jié)構(gòu)。這張圖很大，但還是挺好理解的。左上角的圖a是MHFormer的整體框架。輸入是二維姿態(tài)序列，輸出是中間幀的三維姿態(tài)。MHFormer總共包括三個主要模塊：多假設(shè)生成器（右上角圖b），自假設(shè)修正器（左下角圖c），交叉假設(shè)交互器（右下角圖d）和2個輔助模塊：時間嵌入，回歸頭。

多假設(shè)生成

在空間域中，作者通過設(shè)計一個基于Transformer的級聯(lián)架構(gòu)來建模每幀人體關(guān)鍵點的內(nèi)在結(jié)構(gòu)信息，并在網(wǎng)絡(luò)的不同層生成姿態(tài)假設(shè)的不同表示。該模塊命名為多假設(shè)生成器（Multi-Hypothesis Generation，MHG），公式如下：

時間嵌入

MHG在空域?qū)⒍嗉壧卣饕曌髯藨B(tài)假設(shè)的初始表示，然而他們的特征表達能力是比較有限的。考慮到這點，本文接下來對這些特征在時域進行捕獲依賴性并建立特征之間的聯(lián)系以進行信息增強。

那么要想利用時序信息，首先應(yīng)將特征從空域轉(zhuǎn)化到時域。因此，本文首先用了一個矩陣轉(zhuǎn)置操作，來交換矩陣的維度，并對特征進行編碼同時引入幀的位置信息。

自假設(shè)修正

自假設(shè)修正器（Self-Hypothesis Refinement，SHR）對每個假設(shè)表示進行修正，其中每層包含一個多假設(shè)自注意力（multi-hypothesis self-attention，MH-SA）和一個假設(shè)混合MLP（hypothesis-mixing multi-layer perceptron）。

MH-SA包含多個并行的自注意力塊，它獨立地對單假設(shè)依賴進行建模，以形成自我假設(shè)通信：

假設(shè)混合MLP用來交換假設(shè)之間的信息，各個假設(shè)特征首先拼接起來通過MLP來提取特征，然后對其進行切塊來得到修正后的每個假設(shè)表示：

交叉假設(shè)交互

交叉假設(shè)交互器（Cross-Hypothesis Interaction，CHI）對不同假設(shè)的信息進行交互建模，其中每層包含一個多假設(shè)交叉注意力（multi-hypothesis cross-attention，MH-CA）和一個假設(shè)混合MLP。

盡管SHR已經(jīng)修正了表示，但在MH-SA中只傳遞每個假設(shè)的內(nèi)部信息，因此不同假設(shè)之間的聯(lián)系還不夠牢固。因此，作者提出了個包含多個并行交叉注意力塊的MH-CA來同時捕獲多假設(shè)的依賴性，形成交叉假設(shè)通信：

隨后使用假設(shè)混合MLP來交換假設(shè)之間的信息：

回歸頭

在回歸頭模塊中，使用一個線性層來作用于CHI的輸出，來回歸得到最終的3D姿態(tài)。

實驗結(jié)果

與SOTA方法的對比

從表中可見，提出的MHFormer在三維人體姿態(tài)估計最具有代表性的數(shù)據(jù)集Human3.6M上實現(xiàn)了SOTA的性能。作者跟大量的21年最新方法進行了對比，并在平均關(guān)鍵點誤差（MPJPE）上超越PoseFormer（ICCV 2021） 1.3mm，3%的提升。

消融實驗

作者給出了在不同感受野，也就是不同的輸入幀數(shù)下模型的結(jié)果?？梢园l(fā)現(xiàn)隨著幀數(shù)增大，性能得到大幅度提升，但飽和在351幀上。

作者給出了不同模塊對模型的影響。其中Baseline為標(biāo)準(zhǔn)的Transformer結(jié)構(gòu)（ViT）?？梢园l(fā)現(xiàn)所提出的模塊均可提升性能。這些結(jié)果表明，學(xué)習(xí)多假設(shè)時空表示對于三維人體姿態(tài)估計具有重要意義，并且應(yīng)該以獨立（SHR模塊）和交互（CHI模塊）的方式對不同的假設(shè)表示進行建模。

更詳細的結(jié)果與分析見原文。

可視化結(jié)果

作者給出了跟之前的SOTA和Baselie的可視化結(jié)果對比，可見提出的MHFormer取得了更好的結(jié)果。

作者還給出了一些中間假設(shè)姿態(tài)可視化的結(jié)果?？梢娫谝恍┚哂猩疃饶：?、自遮擋和 2D 檢測器不確定性的歧義身體部位，MHFormer可以生成多個合理的3D姿態(tài)解，并通過聚合多假設(shè)信息合成的最終結(jié)果更加合理和精準(zhǔn)。

代碼運行

作者還給出了demo運行（https://github.com/Vegetebird/MHFormer），集成了YOLOv3人體檢測器、HRNet二維姿態(tài)檢測器、MHFormer二維到三維姿態(tài)提升器。只需下載作者提供的預(yù)訓(xùn)練模型，輸入一小段帶人的小視頻，便可一行代碼直接輸出三維姿態(tài)估計demo。

python demo/vis.py --video sample_video.mp4

運行樣例視頻得到的結(jié)果：

小結(jié)

本文針對三維人體姿態(tài)估計存在多個可行性解的逆問題，提出了一種來學(xué)習(xí)姿態(tài)假設(shè)多重表示的多假設(shè)Transformer的新方法。 與大多數(shù)輸出多個預(yù)測的方法不同，本文提出使用一對多對一的三階段框架來有效地學(xué)習(xí)多假設(shè)的時空表示。 它提高了每個假設(shè)的表示能力，同時也增強了多個假設(shè)之間的聯(lián)系。大量實驗表明，所提出的MHFormer與單假設(shè)Transformer相比具有巨大的提升，并在兩個基準(zhǔn)數(shù)據(jù)集上實現(xiàn)了最佳的性能。作者希望MHFormer能夠促進2D到3D姿態(tài)姿態(tài)提升的進一步研究，同時考慮到各種歧義性。

好了，這篇文章的內(nèi)容發(fā)貨聯(lián)盟就和大家分享到這里，如果大家網(wǎng)絡(luò)推廣引流創(chuàng)業(yè)感興趣，可以添加微信：80709525  備注：發(fā)貨聯(lián)盟引流學(xué)習(xí)； 我拉你進直播課程學(xué)習(xí)群，每周135晚上都是有實戰(zhàn)干貨的推廣引流技術(shù)課程免費分享！