多目標(biāo)跟蹤（Multiple Object Tracking）
MOT 獲取單個連續(xù)視頻并以特定幀速率 (fps) 將其拆分為離散幀以輸出
- 檢測每幀中存在哪些對象
- 標(biāo)注對象在每一幀中的位置
- 關(guān)聯(lián)不同幀中的對象是屬于同一個對象還是屬于不同對象
MOT的典型應(yīng)用
多目標(biāo)跟蹤（MOT）
- 用于交通控制、數(shù)字取證的視頻監(jiān)控
- 手勢識別
- 機(jī)器人技術(shù)
- 增強(qiáng)現(xiàn)實
- 自動駕駛
MOT 面臨的挑戰(zhàn)
準(zhǔn)確的對象檢測的問題是未能檢測到對象或者為檢測到的對象分配錯誤的類別標(biāo)簽或錯誤地定位已識別的對象：
- ID Switching發(fā)生在兩個相似的物體重疊或混合時，導(dǎo)致身份切換； 因此，很難跟蹤對象 ID。
- 背景失真：復(fù)雜的背景使得在物體檢測過程中難以檢測到小物體
- 遮擋：對象被另一個對象隱藏或遮擋時會產(chǎn)生這個問題。
- 多個空間空間、變形或?qū)ο笮D(zhuǎn)
- 由于運動模糊而在相機(jī)上捕獲的視覺條紋或拖尾
一個好的多目標(biāo)跟蹤器（MOT）
- 通過在每幀的精確位置識別正確數(shù)量的跟蹤器來跟蹤對象。
- 通過長期一致地跟蹤單個對象來識別對象，
- 盡管有遮擋、照明變化、背景、運動模糊等，仍可跟蹤對象。
- 快速檢測和跟蹤物體
常見的 MOT 算法
1、基于質(zhì)心的對象跟蹤
基于質(zhì)心的對象跟蹤利用視頻中兩個連續(xù)幀之間檢測到的對象質(zhì)心之間的歐幾里得距離。
Intersection-over-Union 是另一種對象跟蹤技術(shù)，它通過后續(xù)幀的空間重疊將后續(xù)幀的檢測與軌跡相關(guān)聯(lián)。
Visual IOU Object Tracker 有兩個方向工作； 對象的視覺前向和后向跟蹤有助于合并中斷的軌跡。
2、簡單的在線實時跟蹤 (SORT)
SORT 方法假設(shè)跟蹤質(zhì)量取決于對象檢測性能。SORT 首先使用 Faster Region-CNN (FrRCNN) 檢測對象。
通過預(yù)測其在當(dāng)前幀中的新位置來更新使用卡爾曼濾波框架優(yōu)化解決的目標(biāo)狀態(tài)，將對象檢測與檢測到的邊界框相關(guān)聯(lián)。
為每個檢測分配Cost矩陣來計算與來自現(xiàn)有目標(biāo)的所有預(yù)測邊界框之間的交并聯(lián)合（IOU）距離。 使用匈牙利算法解決分配問題。
SORT算法有助于減少遮擋目標(biāo)，當(dāng)物體運動較小時，Id切換效果很好。 SORT 在具擁擠場景和快速運動的情況下可能會失敗
Deep SORT： Deep SORT 是 SORT 的擴(kuò)展，允許通過更長時間的遮擋進(jìn)行跟蹤，實現(xiàn)簡單并且可以實時運行。
Deep SORT采用單一的傳統(tǒng)假設(shè)跟蹤方法，具有遞歸卡爾曼濾波和使用匈牙利算法的逐幀數(shù)據(jù)關(guān)聯(lián)。
外觀特征描述了給定圖像的所有特征。 Deep SORT 還利用類似于 SORT 的匹配級聯(lián)來對更常見的對象進(jìn)行優(yōu)先級排序。
Deep SORT 減少了 ID 切換和遮擋，從而降低了誤報率。
3、FairMOT（多目標(biāo)跟蹤）
FairMOT 不使用首先檢測對象及其邊界框，然后進(jìn)行對象跟蹤的多任務(wù)方法，如 SORT 和 Deep SORT。 FairMOT 認(rèn)為網(wǎng)絡(luò)偏向于主要檢測任務(wù)，這對 re-ID 或?qū)ο蟾櫲蝿?wù)是不公平的。
在 FairMOT 中，對象檢測和重新識別任務(wù)得到同等對待。
輸入圖像被饋送到編碼器-解碼器網(wǎng)絡(luò)以提取高分辨率特征圖。
FairMOT 然后添加了兩個同質(zhì)分支，用于檢測對象和提取 re-ID 特征，以獲得檢測和 re-ID 之間的良好折衷。
4、BytrTrack 算法
ByteTrack 使用高性能 YOLOX 對視頻執(zhí)行 MOT，并使用 BYTE 執(zhí)行檢測框和軌道之間的關(guān)聯(lián)。
BYTE 保留所有檢測框并將它們分為高分（D????）和低分（D???）。 使用卡爾曼濾波器來預(yù)測 T 中每個軌道的當(dāng)前幀中的新位置。
BYTE 中的第一個關(guān)聯(lián)是在高分檢測框 D???? 與所有 tracklets 之間執(zhí)行的。 第一個關(guān)聯(lián)的相似性是使用 IoU 或檢測框 D???? 與軌道的預(yù)測框 T 之間的 Re-ID 特征距離計算的。
一些 tracklet 無法匹配是因為它們與適當(dāng)?shù)母叻謾z測框 D???? 不匹配，這在發(fā)生遮擋、運動模糊或大小變化時發(fā)生。
第二次關(guān)聯(lián)是在低分檢測框 D??? 與剩余的未匹配軌跡 (T??????) 之間的第一次關(guān)聯(lián)之后執(zhí)行的，這樣可以恢復(fù)低分檢測框中的對象并過濾掉背景。
將不匹配的目標(biāo)保留在 T??-?????? 中，并刪除所有不匹配的低分檢測框，因為它們被視為背景。
MOT評估指標(biāo)
MOT 評估指標(biāo)需要解決 MOT 中的五種錯誤類型。 這五種錯誤類型是假陰性（FN）、假陽性（FP）、碎片化、合并（ID切換）和偏差。
MOT 評估指標(biāo)還應(yīng)該具有單調(diào)性，并且錯誤類型應(yīng)該是可區(qū)分的，以便指標(biāo)具有跟蹤器對五種基本錯誤類型中的每一種的性能。
常用的MOT評估指標(biāo)
1、Track-mAP
Track mAP 在軌跡級別執(zhí)行匹配和關(guān)聯(lián)，它基于置信度排序的潛在跟蹤結(jié)果進(jìn)行操作。 Track-mAP 在檢測中是非單調(diào)的。
2、多目標(biāo)跟蹤精度- MOTA
MOTA 是最廣泛使用的指標(biāo)，可以密切代表人類視覺評估。 在 MOTA 中，匹配是在檢測級別完成的。 在 MOTA 中使用身份切換 (IDSW) 測量關(guān)聯(lián)，當(dāng)跟蹤器錯誤地交換對象身份或軌道丟失并使用不同的身份重新初始化時，就會發(fā)生關(guān)聯(lián)。 MOTA 測量三種類型的跟蹤錯誤：False Positive, False Negative, and ID Switch
3、識別指標(biāo)：IDF1
IDF1 強(qiáng)調(diào)關(guān)聯(lián)準(zhǔn)確性而不是檢測。 IDF1 使用 IDTP（Identity True Positives），其中當(dāng) S ≥ α 的軌跡時，prID 與 grID 匹配。 IDF1 是正確識別的檢測與地面實況和計算檢測的平均數(shù)量之比。 匈牙利算法選擇要匹配的軌跡以最小化 IDFP 和 IDFN 的總和。
IDF1 結(jié)合了 IDP(ID Precision) 和 IDR(ID Recall)。
HOTA：高階跟蹤精度
HOTA 是用于對跟蹤器進(jìn)行排名的統(tǒng)一度量標(biāo)準(zhǔn)。 HOTA 可以分解為對應(yīng)這五種錯誤類型的組件：Detection Recall、Detection Precision、Association Recall、Association Precision 和 Localization Accuracy。因此，HOTA 的錯誤類型是可微的并且是嚴(yán)格單調(diào)的，提供有關(guān)跟蹤器在每種不同基本錯誤類型方面的性能信息
HOTA 跟蹤錯誤分為檢測錯誤、關(guān)聯(lián)錯誤和定位錯誤。
- 當(dāng)跟蹤器預(yù)測到不存在的檢測或未能預(yù)測目標(biāo)的檢測時，就會發(fā)生檢測錯誤。檢測誤差可以進(jìn)一步分為檢測召回率（由 FNs 衡量）和檢測精度（由 FPs 衡量）
- 當(dāng)跟蹤器將相同的 prID 分配給具有不同 gtID 的兩個檢測或?qū)⒉煌?prID 分配給應(yīng)該具有相同 gtID 的兩個檢測時，會發(fā)生關(guān)聯(lián)錯誤。關(guān)聯(lián)誤差進(jìn)一步分為關(guān)聯(lián)召回誤差（由 FNA 測量）和關(guān)聯(lián)精度（由 FPA 測量）
- 當(dāng) prDets 在空間上與 gtDets 不完全對齊時，就會發(fā)生定位錯誤。
MOTA 在局部檢測級別執(zhí)行匹配和關(guān)聯(lián)評分，但強(qiáng)調(diào)檢測精度，而 IDF1 通過強(qiáng)調(diào)關(guān)聯(lián)效果在軌跡級別執(zhí)行。
Track-mAP 類似于 IDF1，因為它在軌跡級別執(zhí)行匹配和關(guān)聯(lián)，并且偏向于測量關(guān)聯(lián)。
HOTA 通過在檢測級別執(zhí)行匹配，同時在軌跡上對關(guān)聯(lián)進(jìn)行全局評分，通過作為檢測分?jǐn)?shù)和關(guān)聯(lián)分?jǐn)?shù)的顯式組合來平衡兩者。
作者：Renu Khandelwal
好了，這篇文章的內(nèi)容發(fā)貨聯(lián)盟就和大家分享到這里，如果大家網(wǎng)絡(luò)推廣引流創(chuàng)業(yè)感興趣，可以添加微信：80709525 備注：發(fā)貨聯(lián)盟引流學(xué)習(xí)； 我拉你進(jìn)直播課程學(xué)習(xí)群，每周135晚上都是有實戰(zhàn)干貨的推廣引流技術(shù)課程免費分享！
