視頻監(jiān)控是安全防范系統(tǒng)的重要組成部分，它是一種防范能力較強(qiáng)的綜合系統(tǒng)。視頻監(jiān)控以其直觀、準(zhǔn)確、及時(shí)和信息內(nèi)容豐富而廣泛應(yīng)用于許多場合。近年來，隨著計(jì)算機(jī)、網(wǎng)絡(luò)以及圖像處理、傳輸技術(shù)的飛速發(fā)展，視頻監(jiān)控技術(shù)也有了長足的發(fā)展。

　　由于單攝像機(jī)的視野域有限，因此在實(shí)際的目標(biāo)跟蹤系統(tǒng)中，更多采用多攝像機(jī)系統(tǒng)。多攝像機(jī)的使用有利于解決遮擋、場景混亂、環(huán)境光照突變情況下的運(yùn)動(dòng)目標(biāo)跟蹤等問題，但它同時(shí)也帶來了一些新難題，包括多攝像機(jī)之間的目標(biāo)匹配、攝像機(jī)協(xié)作、攝像機(jī)之間的自動(dòng)切換和數(shù)據(jù)融合等。

　　1 多攝像機(jī)跟蹤系統(tǒng)構(gòu)架

　　1.1 集中式的系統(tǒng)構(gòu)架

　　在集中式系統(tǒng)結(jié)構(gòu)[1]中，各個(gè)攝像機(jī)采集的視頻數(shù)據(jù)直接被送到融合中心，在那里進(jìn)行數(shù)據(jù)對準(zhǔn)、數(shù)據(jù)相關(guān)、航跡記錄、預(yù)測與綜合跟蹤等，而相機(jī)無自主處理能力。這種結(jié)構(gòu)的特點(diǎn)是信息損失小、高，但其對系統(tǒng)通信要求較高，融合中心計(jì)算負(fù)荷重，系統(tǒng)效率低，實(shí)時(shí)性差。因此該結(jié)構(gòu)的實(shí)用性差，生存能力低。

　　1.2 基于攝像機(jī)的系統(tǒng)構(gòu)架

　　基于攝像機(jī)的系統(tǒng)構(gòu)架[2-4]主要分為傳感器處理單元SPU（Sensor Processing Unit）、中央處理單元CPU（Central Processing Unit）和用戶接口GUI（Graphics User Interface）三部分。系統(tǒng)構(gòu)架如圖1所示。

　　（1）傳感器處理單元。由單個(gè)攝像機(jī)和處理機(jī)組成，攝像機(jī)可以是紅外的或全方位的攝像機(jī)。該模塊有自主處理能力，能夠自動(dòng)獲取視頻數(shù)據(jù)，并進(jìn)行單攝像機(jī)內(nèi)目標(biāo)的檢測、分類、跟蹤等。然后把檢測結(jié)果數(shù)據(jù)，如目標(biāo)類型、位置、速度、時(shí)間戳、攝像機(jī)參數(shù)（位移、旋轉(zhuǎn)、放大倍數(shù)等）等傳遞給CPU.

　　（2）中央處理單元。主要完成SPU間的信息融合，建立SPU間的通信，并進(jìn)行相關(guān)信息的數(shù)據(jù)庫操作。攝像機(jī)的分配調(diào)度是CPU的關(guān)鍵功能，根據(jù)任務(wù)的優(yōu)先級、SPU的負(fù)擔(dān)、攝像機(jī)的可視度因素進(jìn)行分配。

　　中央處理器（英文Central Processing Unit,CPU）是一臺(tái)計(jì)算機(jī)的運(yùn)算和控制。CPU、內(nèi)部存儲(chǔ)器和輸入/輸出設(shè)備是電子計(jì)算機(jī)三大部件。電腦中所有操作都由CPU負(fù)責(zé)讀取指令，對指令譯碼并執(zhí)行指令的部件。其功能主要是解釋計(jì)算機(jī)指令以及處理計(jì)算機(jī)軟件中的數(shù)據(jù)。所謂的計(jì)算機(jī)的可編程性主要是指對CPU的編程。 CPU由運(yùn)算器、控制器和寄存器及實(shí)現(xiàn)它們之間聯(lián)系的數(shù)據(jù)、控制及狀態(tài)的總線構(gòu)成。差不多所有的CPU的運(yùn)作原理可分為四個(gè)階段：提取（Fetch）、解碼（Decode）、執(zhí)行（Execute）和寫回（Writeback）。

　　（3）用戶接口。用戶通過GUI可以獲取目標(biāo)在三維場景和目前地圖中的信息，也可以對檢測跟蹤過程進(jìn)行一定的約束，如通過設(shè)置感興趣區(qū)域（ROI）對特定的區(qū)域進(jìn)行嚴(yán)密監(jiān)控。

　　圖形用戶界面（GraphicalUserInterface,簡稱GUI,又稱圖形用戶接口）是指采用圖形方式顯示的計(jì)算機(jī)操作用戶界面。與早期計(jì)算機(jī)使用的命令行界面相比，圖形界面對于用戶來說在視覺上更易于接受。GUI是一種結(jié)合計(jì)算機(jī)科學(xué)、美學(xué)、心理學(xué)、行為學(xué)，及各商業(yè)領(lǐng)域需求分析的人機(jī)系統(tǒng)工程，強(qiáng)調(diào)人-機(jī)-環(huán)境三者作為一個(gè)系統(tǒng)進(jìn)行總體設(shè)計(jì)。

　　1.3 面向?qū)ο蟮南到y(tǒng)構(gòu)架

　　提出了一種面向?qū)ο蟮亩鄶z像機(jī)結(jié)構(gòu)。系統(tǒng)主要分為檢測代理SDA（Specialized Detection Agency）、處理組單元PRC（Processing Cluster）、群組管理單元CM（Cluster Manager）和用戶接口GUI等。系統(tǒng)構(gòu)架如圖2所示。

　　（1）檢測代理。該模塊與基于攝像機(jī)結(jié)構(gòu)的傳感器處理單元一樣，也是完成單攝像機(jī)下的處理工作，但是增加了與PRC間的接口。

　　（2）處理組單元。系統(tǒng)為每個(gè)跟蹤目標(biāo)分配一個(gè)處理組單元。每個(gè)PRC根據(jù)指定目標(biāo)對象的情況動(dòng)態(tài)控制多個(gè)SDA.動(dòng)態(tài)攝像機(jī)管理單元（DSM）根據(jù)目標(biāo)、SDA的參數(shù)和所估計(jì)的觀測質(zhì)量動(dòng)態(tài)挑選SDA.全部PRC組成SDA和CM間的動(dòng)態(tài)層，是復(fù)雜的處理單元層。PRC的內(nèi)部結(jié)構(gòu)如圖3所示。

　　（3）群組管理單元。負(fù)責(zé)管理動(dòng)態(tài)層的PRC,為每個(gè)目標(biāo)分配的PRC.用戶可通過CM設(shè)置PRC的參數(shù)。

　　（4）用戶接口。該模塊的功能與基于攝像機(jī)結(jié)構(gòu)的GUI一樣，不再重復(fù)。

　　基于攝像機(jī)的結(jié)構(gòu)與集中式結(jié)構(gòu)的區(qū)別在于：前者的每個(gè)攝像機(jī)單元有自主處理能力，送往融合中心的數(shù)據(jù)是經(jīng)過加工的精煉數(shù)據(jù)。相對于集中式系統(tǒng)，此類系統(tǒng)的可靠性高，可以減小通信量，減小帶寬需求，有利于大范圍的目標(biāo)跟蹤作業(yè)。面向?qū)ο蟮南到y(tǒng)構(gòu)架與基于攝像機(jī)的構(gòu)架的不同之處在于它為每個(gè)目標(biāo)對象單獨(dú)設(shè)置一個(gè)處理單元，將多目標(biāo)處理化為多個(gè)單目標(biāo)處理，可擴(kuò)展性強(qiáng)，通信量也較小。集中式的系統(tǒng)構(gòu)架因其效率低、實(shí)時(shí)性差、生存能力低，實(shí)時(shí)跟蹤系統(tǒng)一般不予采用。目前多攝像機(jī)目標(biāo)跟蹤系統(tǒng)架構(gòu)應(yīng)用較多的是分布式結(jié)構(gòu)。

　　2 多攝像機(jī)跟蹤系統(tǒng)的功能模塊

　　2.1 目標(biāo)檢測

　　目標(biāo)檢測，也叫目標(biāo)提取，是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割，它將目標(biāo)的分割和識(shí)別合二為一，其準(zhǔn)確性和實(shí)時(shí)性是整個(gè)系統(tǒng)的一項(xiàng)重要能力。尤其是在復(fù)雜場景中，需要對多個(gè)目標(biāo)進(jìn)行實(shí)時(shí)處理時(shí)，目標(biāo)自動(dòng)提取和識(shí)別就顯得特別重要。著計(jì)算機(jī)技術(shù)的發(fā)展和計(jì)算機(jī)視覺原理的廣泛應(yīng)用，利用計(jì)算機(jī)圖像處理技術(shù)對目標(biāo)進(jìn)行實(shí)時(shí)跟蹤研究越來越熱門，對目標(biāo)進(jìn)行動(dòng)態(tài)實(shí)時(shí)跟蹤定位在智能化交通系統(tǒng)、智能監(jiān)控系統(tǒng)、軍事目標(biāo)檢測及醫(yī)學(xué)導(dǎo)航手術(shù)中手術(shù)器械定位等方面具有廣泛的應(yīng)用價(jià)值。

　　2.1.1 研究現(xiàn)狀

　　目前提出的運(yùn)動(dòng)檢測算法比較多，根據(jù)不同的用途和不同的環(huán)境，每種算法都有其優(yōu)缺點(diǎn)。參考國內(nèi)外文獻(xiàn)，本文將檢測算法分為四大類。

　　（1）基于運(yùn)動(dòng)場的檢測。其基本思想是：用光流矢量場[6-7]估計(jì)出每幀的運(yùn)動(dòng)場，然后根據(jù)每點(diǎn)的運(yùn)動(dòng)矢量分割出運(yùn)動(dòng)區(qū)域。該類方法可得到較好的目標(biāo)邊緣，局部性能好。但該方法要求目標(biāo)的幀間運(yùn)動(dòng)量不能太大，需要很高的采樣率，而實(shí)際的采集系統(tǒng)并不能滿足此要求，且該算法復(fù)雜，計(jì)算量大，很難滿足實(shí)時(shí)性要求。

　　（2）基于變化的檢測。其基本思想是：對視頻幀差圖像進(jìn)行檢測，幀差可以是相鄰幀的幀差或幾幀間的幀差。該方法具有較強(qiáng)的場景變化適應(yīng)能力，抗光照變化和抗噪聲能力強(qiáng)，但容易產(chǎn)生空洞現(xiàn)象，目標(biāo)不完整。VSAM項(xiàng)目提出了一種自適應(yīng)背景減除與三幀差分相結(jié)合的混合算法，能解決空洞現(xiàn)象。

　　（3）基于概率的檢測。其基本思想是：為像素建立概率模型，并可根據(jù)場景設(shè)定概率模型的類型和數(shù)目，從概率論的角度進(jìn)行檢測。該方法的理論基礎(chǔ)扎實(shí)，可以加入先驗(yàn)知識(shí)，檢測效果好。混合高斯法、非參數(shù)法、隱馬爾科夫模型法等是其典型代表。

　　（4）基于模板的檢測。其基本思想是：預(yù)先建立對象模板，采用模板匹配的思想實(shí)現(xiàn)目標(biāo)檢測。該類方法由于加入了對象的先驗(yàn)知識(shí)，對于復(fù)雜的對象檢測效果更好。對象模板可以通過學(xué)習(xí)的方法建立，也可以由人機(jī)交互產(chǎn)生。該類方法需預(yù)先對目標(biāo)進(jìn)行建模，對象模板的優(yōu)劣會(huì)直接影響到檢測結(jié)果，所以該類算法一般適用于特定對象的檢測。

　　2.1.2 存在的問題及發(fā)展趨勢

　　視頻檢測的困難性體現(xiàn)在以下方面：抗光照變化（快或慢）、抗抖動(dòng)、抗背景擾動(dòng)（樹木擺動(dòng)、背景物體消失或出現(xiàn)）、抗陰影、抗顏色相似等。雖然人們研究了各種各樣的檢測方法來解決這些問題，并在某個(gè)方面取得了一定的效果，但目前還沒有一種通用的算法。

　　有人結(jié)合了概率模型和預(yù)測器如卡爾曼濾波器[12]來檢測目標(biāo)；有的人融合了時(shí)域、空域（特別是梯度域），如封春升提出時(shí)域和梯度域相結(jié)合的視頻對象提取算法[10],該方法結(jié)合了背景差分法、幀差分法和梯度域。

　　視頻檢測的研究重點(diǎn)仍是以下幾個(gè)方面：優(yōu)良（如自適應(yīng)）的模型或模板、高效的算法、較好的預(yù)處理和后處理等。就檢測的發(fā)展來看，研究較多的還是變化檢測法和概率模型法，一些預(yù)測技術(shù)、時(shí)空融合技術(shù)的結(jié)合也是研究熱點(diǎn)。

　　2.2 目標(biāo)跟蹤

　　目標(biāo)跟蹤就是對檢測出來的感興趣目標(biāo)進(jìn)行持續(xù)的尾隨觀測，獲得目標(biāo)的狀態(tài)參數(shù)如位置和速度等，以便進(jìn)行下一步的處理分析，如行為分析等。

　　2.2.1 研究現(xiàn)狀

　　從20世紀(jì)80年代到現(xiàn)在，出現(xiàn)了眾多的跟蹤算法，文獻(xiàn)[11]將視頻跟蹤算法分為四類，分別是基于區(qū)域的跟蹤、基于特征點(diǎn)的跟蹤、基于變形模板的跟蹤和基于模型的跟蹤。本文考慮多攝像機(jī)的條件，參考相關(guān)文獻(xiàn)將實(shí)用的跟蹤算法主要分為兩種：基于特征的跟蹤和基于模型的跟蹤。

　　（1）基于特征的跟蹤。其基本思想是：提取目標(biāo)的特征，使用匹配算法、代價(jià)準(zhǔn)則進(jìn)行匹配跟蹤。針對多相機(jī)條件下，同一目標(biāo)在不同視野內(nèi)的觀測值相差較大，故提取的特征應(yīng)與視點(diǎn)無關(guān)。如VSAM項(xiàng)目組采用物體的3D軌跡、歸一化色度直方圖作為特征。

　　該類方法由于采用不變量性質(zhì)的特征，故可以將特征信息傳遞給后續(xù)相機(jī)以實(shí)現(xiàn)持續(xù)跟蹤，而不用考慮攝像機(jī)間的視野交叉與否，因此更符合實(shí)際情況。該類方法的是特征的提取，而大部分工作是單視野內(nèi)的目標(biāo)跟蹤，故可以在單視野內(nèi)使用其他更有效的算法（如區(qū)域相關(guān)法、Snake模板法等）來提高。

　　（2）基于模型的跟蹤。其基本思想是：利用多相機(jī)的交叉視野建立3D模型（汽車、人）來進(jìn)行跟蹤。文獻(xiàn)[12]結(jié)合多源數(shù)據(jù)進(jìn)行3D定位，并利用3D卡爾曼濾波器進(jìn)行預(yù)測跟蹤。該方法先利用先驗(yàn)知識(shí)建立目標(biāo)的結(jié)構(gòu)模型，再根據(jù)實(shí)際觀測值得到模型參數(shù)值。

　　該類方法可得到的3D軌跡，跟蹤可靠性高，但其模型的建立較難，特別是像人這樣的非剛性物體，且因在3D空間上進(jìn)行跟蹤，運(yùn)算量也較大。

　　2.2.2 存在的問題及發(fā)展趨勢

　　上述的兩類方法都或多或少存在缺點(diǎn)。顯然，特征的有效提取是基于特征方法的一大難點(diǎn)，且該類方法在單視野內(nèi)有時(shí)還要解決遮擋問題。相對而言，基于模型的方法一般無遮擋問題，但很難建立一個(gè)通用的模板（如變形模板）。另外如何定義匹配的量度來使跟蹤更又是一大難題。

　　無論哪種方法，魯棒性、準(zhǔn)確性、快速性都是當(dāng)前跟蹤技術(shù)的努力方向[11].融合兩類方法，在建立模型的基礎(chǔ)上提取其不變量是跟蹤算法的發(fā)展趨勢。

　　2.3 數(shù)據(jù)的融合

　　數(shù)據(jù)融合就是根據(jù)給定的融合算法對各個(gè)相機(jī)給出的信息完成數(shù)據(jù)配準(zhǔn)，做出決策并進(jìn)行狀態(tài)更新。數(shù)據(jù)融合可分成三個(gè)部分：數(shù)據(jù)配準(zhǔn)、數(shù)據(jù)關(guān)聯(lián)和決策處理。數(shù)據(jù)配準(zhǔn)就是將不同時(shí)間、不同視角、不同設(shè)備獲得的數(shù)據(jù)變換到同一個(gè)參考框架中，使之具有可比性。大多數(shù)的數(shù)據(jù)配準(zhǔn)方法都由四個(gè)步驟組成：特征點(diǎn)的提取、特征匹配、變換模型估計(jì)和數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)關(guān)聯(lián)就是將配準(zhǔn)后的信息和目標(biāo)建立對應(yīng)關(guān)系。決策處理就是針對每個(gè)目標(biāo)的信息更新狀態(tài)，調(diào)整調(diào)度策略，并給出下一階段的預(yù)測信息。

　　2.3.1 研究現(xiàn)狀

　　由于目標(biāo)跟蹤中處理的數(shù)據(jù)一般是圖像，參考文獻(xiàn)[1],本文把數(shù)據(jù)融合分為3類：像素級融合、特征級融合和決策級融合。

　　（1）像素級融合。該方法融合各個(gè)相機(jī)的信息，再從中提取特征進(jìn)行判斷識(shí)別，屬于較低層的數(shù)據(jù)處理。該方法的優(yōu)點(diǎn)是信息量損失，決策可信度高，但該方法計(jì)算復(fù)雜度高，抗干擾性差，不靈活。文獻(xiàn)[15]結(jié)合多源數(shù)據(jù)進(jìn)行3D定位、預(yù)測處理的方法就是屬于該類方法。

　　（2）特征級融合。該類方法是由每個(gè)相機(jī)自己抽取特征信息，融合中心再進(jìn)行特征分析處理。該方法的數(shù)據(jù)量有了一定的壓縮，有利于實(shí)時(shí)處理，其性能處于像素級和決策級之間。

　　（3）決策級融合。該類方法先由各相機(jī)自主做出決策，然后在融合中心完成決策的融合。該類方法的抗干擾性強(qiáng)，靈活性好，但信息損失量、，一般不宜采用。

　　2.3.2 存在的問題及發(fā)展趨勢

　　上述三類方法各有優(yōu)缺點(diǎn)，像素級融合要解決數(shù)據(jù)的標(biāo)定問題，特征級融合要解決特征的有效提取，而決策級融合要提高就要提高各個(gè)相機(jī)決策的可信度。目前用的多的是特征級融合和像素級融合，而決策級融合因信息損失太大而很少被采用。

　　本文詳細(xì)介紹了基于多攝像機(jī)的目標(biāo)跟蹤系統(tǒng)，對國內(nèi)外的研究現(xiàn)狀進(jìn)行了總結(jié)。描述了多攝像機(jī)目標(biāo)跟蹤系統(tǒng)的系統(tǒng)構(gòu)架并進(jìn)行了對比；詳細(xì)闡述了各模塊的功能，分別就算法研究現(xiàn)狀、存在的問題及發(fā)展趨勢進(jìn)行了分析和總結(jié)。

　　隨著硬件技術(shù)的逐漸成熟，多攝像機(jī)目標(biāo)跟蹤將是監(jiān)控業(yè)未來的重要技術(shù)應(yīng)用，不同的研究方向也有相應(yīng)的研究重點(diǎn)：（1）研究多源數(shù)據(jù)融合。采用光學(xué)傳感器、紅外傳感器等同時(shí)進(jìn)行數(shù)據(jù)的采集，或使用多分辨率的數(shù)據(jù)進(jìn)行跟蹤。這有助于擴(kuò)展時(shí)空的覆蓋范圍，提高系統(tǒng)的魯棒性。（2）研究客觀的評價(jià)標(biāo)準(zhǔn)。系統(tǒng)的性能好壞需要用通用的標(biāo)準(zhǔn)進(jìn)行評定，就目前而言，較多的還是使用主觀的評價(jià)標(biāo)準(zhǔn)，客觀的評價(jià)標(biāo)準(zhǔn)還有待研究。