論文深入分析了inverted residual block的設(shè)計(jì)理念和缺點(diǎn)，提出更適合輕量級(jí)網(wǎng)絡(luò)的sandglass block，基于該結(jié)構(gòu)搭建的MobileNext。根據(jù)論文的實(shí)驗(yàn)結(jié)果，MobileNext在參數(shù)量、計(jì)算量和準(zhǔn)確率上都有更優(yōu)的表現(xiàn)，唯一遺憾的是論文沒有列出在設(shè)備上的實(shí)際用時(shí)，如果補(bǔ)充一下更好了
來源：曉飛的算法工程筆記 公眾號(hào)
論文: Rethinking Bottleneck Structure for Efficient Mobile Network.pdf
- 論文地址：https://arxiv.org/abs/2007.02269
- 論文代碼：https://github.com/zhoudaquan/rethinking_bottleneck_design
Introduction
?在介紹MobileNext前，先回顧一下bottleneck結(jié)構(gòu)：
- Residual block with bottleneck structure，包含兩個(gè)卷積層用于維度的降低和擴(kuò)大，以及中間的卷積用于提取特征，如圖2a。這個(gè)結(jié)構(gòu)不適用于輕量級(jí)網(wǎng)絡(luò)，因?yàn)橹虚g的卷積的參數(shù)量和計(jì)算量都非常大。
- Depthwise separable convolutions，為了解決標(biāo)準(zhǔn)卷積帶來的參數(shù)量和計(jì)算量問題，將其分解為depthwise卷積和pointwise卷積，前者用于提取單維度的特征，后者用于線性組合多維度特征，大幅降低了計(jì)算量和參數(shù)量。
- Inverted residual block，專為移動(dòng)設(shè)備設(shè)計(jì)，為了節(jié)省計(jì)算量，輸入改為低維度特征，先通過pointwise卷積擴(kuò)大維度，然后通過depthwise卷積提取特征，最后通過pointwise卷積降低維度輸出，如圖2b。這里有兩點(diǎn)不影響準(zhǔn)確率的性能改進(jìn)：1）skip path僅建立在低維度bottleneck間。2）最后一個(gè)pointwise卷積不需要非線性激活。
?盡管Inverted residual block性能不錯(cuò)，但中間需要將特征先降到較低的維度，會(huì)導(dǎo)致以下幾個(gè)問題：
- 降低維度可能不足以保留足夠的有用信息。
- 近期有研究發(fā)現(xiàn)更寬的網(wǎng)絡(luò)結(jié)構(gòu)有助于緩解梯度混淆（不同batch產(chǎn)生的梯度抵消），能夠提升網(wǎng)絡(luò)性能。
- shortcut建立在bottleneck之間，由于bottleneck維度較少，也可能會(huì)阻礙梯度的回傳。
?為了解決上述問題，論文提出了設(shè)計(jì)更優(yōu)的sandglass block，結(jié)構(gòu)如圖3c，基于此搭建了MobileNeXt，在性能和計(jì)算量上都優(yōu)于MobileNetV2。
?論文的主要貢獻(xiàn)如下：
- 重新思考移動(dòng)網(wǎng)絡(luò)的bottleneck結(jié)構(gòu)，發(fā)現(xiàn)inverted residual并不是最優(yōu)的bottleneck結(jié)構(gòu)。
- 研究發(fā)現(xiàn)，shortcut應(yīng)該建立在高維度特征上，depthwise卷積應(yīng)該應(yīng)用在高維度特征空間上學(xué)習(xí)更多樣特征，linear residual是bottleneck結(jié)構(gòu)的關(guān)鍵。
- 基于上述發(fā)現(xiàn)提出sandglass block，更適合移動(dòng)網(wǎng)絡(luò)的搭建。
Method
Sandglass Block
?Sandglass Block的設(shè)計(jì)核心主要基于以下兩個(gè)想法，也是與其他輕量級(jí)結(jié)構(gòu)的主要區(qū)別：
- 為了更好地保留信息的傳遞和梯度的回傳，shortcut應(yīng)當(dāng)建立在高維度特征之間。
- 卷積核較小的depthwise卷積是輕量的，可用于對(duì)高維度特征進(jìn)行進(jìn)一步的特征提取。
- Rethinking the positions of expansion and reduction layers
?inverted residual block先進(jìn)行維度擴(kuò)展，最后再進(jìn)行縮減，根據(jù)設(shè)計(jì)核心將兩個(gè)pointwise卷積的順序互換。定義sandglass block的輸入和輸出為和，則維度變化可表示為：
?和為用于維度擴(kuò)展和縮減的pointwise卷積。這樣的設(shè)計(jì)將bottleneck保持在residual path中間能夠減少參數(shù)量和計(jì)算量，最重要的是，能將shortcut建立在維度較大的特征上。
- High-dimensional shortcuts
?shortcut不再連接低維度的bottleneck，而是連接維度較高的和。能夠更好地傳遞信息和回傳梯度。
- Learning expressive spatial features
?pointwise卷積只能捕捉通道間特征，缺乏空間特征的捕捉能力?？梢韵駃nverted residual block那樣中間使用depthwise卷積來顯示地提取空間特征，如圖3a所示。但由于sandglass block中間是bottleneck，中間添加的depthwise卷積的卷積核數(shù)量很少，只能捕捉少量空間信息。通過實(shí)驗(yàn)也發(fā)現(xiàn)，這樣設(shè)計(jì)的準(zhǔn)確率會(huì)比MobileNetV2下降1%。
?因此，sandglass block將depthwise卷積置于residual path的開頭和結(jié)尾，如圖3b所示，可表示為：
?和代表個(gè)pointwise卷積和depthwise卷積。對(duì)比inverted residual block，由于現(xiàn)在depthwise卷積的輸入為高維度特征，可以提取更豐富的空間信息。
- Activation layers
?有研究發(fā)現(xiàn)，使用線性bottleneck能夠防止特征值變?yōu)榱悖瑴p少信息丟失。根據(jù)這一建議以及實(shí)驗(yàn)結(jié)果，sandglass block僅在第一個(gè)depthwise卷積后面和第二個(gè)pointwise卷積后面添加激活層，其余的均不添加。
- Block structure
?sandglass block的結(jié)構(gòu)如表1所示，當(dāng)輸入和輸出維度不一樣時(shí)，不添加shortcut，depthwise卷積采用卷積核，在需要的地方采用BN+ReLU6的組合。
MobileNeXt Architecture
?基于sandglass block，構(gòu)建了如表2所示的MobileNeXt，開頭是32維輸出的卷積，后續(xù)是sandglass block的堆疊，最后是全局平均池化，將二維的特征圖壓縮為一維，最后再由全連接層輸出每個(gè)類別的分?jǐn)?shù)。
- Identity tensor multiplier
?盡管shortcut連接有助于梯度的回傳，但論文通過實(shí)驗(yàn)發(fā)現(xiàn)，其實(shí)不需要保持完整的特征去跟residual path結(jié)合。為了讓網(wǎng)絡(luò)對(duì)移動(dòng)設(shè)備更友好，論文提出超參數(shù)identity tensor multiplier ，用于控制shortcut傳遞的特征維度。
?定義為residual path的轉(zhuǎn)換函數(shù)，原來的residual block計(jì)算可表示為，加上超參數(shù)后，residual block變?yōu)椋?/span>
?下標(biāo)代表通道，使用較小的有兩個(gè)好處：
- 耗時(shí)的element-wise addition的計(jì)算將會(huì)減少。
- 耗時(shí)的內(nèi)存訪問(MAC)將減少，另外由于需要緩存的tensor變小了，有助于將其緩存在高速內(nèi)存中，可以進(jìn)一步加速。
Experiment
?與MobileNetV2在ImageNet上進(jìn)行對(duì)比。
?與其他網(wǎng)絡(luò)在ImageNet上進(jìn)行對(duì)比。
?不同identity tensor multiplier的對(duì)比。
?作為檢測(cè)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)的對(duì)比。
Conclustion
?論文深入分析了inverted residual block的設(shè)計(jì)理念和缺點(diǎn)，提出更適合輕量級(jí)網(wǎng)絡(luò)的sandglass block，基于該結(jié)構(gòu)搭建的MobileNext。sandglass block由兩個(gè)depthwise卷積和兩個(gè)pointwise卷積組成，部分卷積不需激活以及shorcut建立在高維度特征上。根據(jù)論文的實(shí)驗(yàn)結(jié)果，MobileNext在參數(shù)量、計(jì)算量和準(zhǔn)確率上都有更優(yōu)的表現(xiàn)，唯一遺憾的是論文沒有列出在設(shè)備上的實(shí)際用時(shí)，如果補(bǔ)充一下更好了。
?
?
?
如果本文對(duì)你有幫助，麻煩點(diǎn)個(gè)贊或在看唄～
更多內(nèi)容請(qǐng)關(guān)注 微信公眾號(hào)【曉飛的算法工程筆記】
work-life balance.
好了，這篇文章的內(nèi)容發(fā)貨聯(lián)盟就和大家分享到這里，如果大家網(wǎng)絡(luò)推廣引流創(chuàng)業(yè)感興趣，可以添加微信：80709525 備注：發(fā)貨聯(lián)盟引流學(xué)習(xí)； 我拉你進(jìn)直播課程學(xué)習(xí)群，每周135晚上都是有實(shí)戰(zhàn)干貨的推廣引流技術(shù)課程免費(fèi)分享！
