淺析視頻監控領(lǐng)域圖像處理技術(shù)

一 圖像處理技術(shù)和人眼視覺(jué)的關(guān)系

圖像技術(shù)處理，image signal process，業(yè)內簡(jiǎn)稱(chēng)為ISP技術(shù)。在了解ISP技術(shù)之前，我們要先了解人眼的視覺(jué)感知，這是因為人類(lèi)對圖像信號的處理全部來(lái)源于對人眼的模仿，了解了人眼的視覺(jué)構造，就可以和圖像處理部分的內容一一對應起來(lái)，更好地理解圖像處理的知識。從圖1可以看到人眼的構造，居于眼球璧內層的透明薄膜就是視網(wǎng)膜，它布滿(mǎn)整個(gè)后部?jì)缺?，主要負責感光成像，當我們看東西時(shí)，物體的影像通過(guò)屈光系統，落在視網(wǎng)膜上。

圖1 人眼視覺(jué)

人眼與攝像機有哪些相似之處呢？

首先，晶狀體相當于攝像機的鏡頭透鏡 (lens) ，其作用是聚集光線(xiàn)，在視網(wǎng)膜上形成圖像。

另外，人眼的虹膜相當于攝像機的光圈，虹膜通過(guò)收縮和伸張來(lái)控制進(jìn)入的光線(xiàn)，以達到人眼的亮度均衡。簡(jiǎn)單舉例，當我們突然進(jìn)入一個(gè)高亮的環(huán)境，開(kāi)始人眼是看不清楚東西的，在適應一段時(shí)間后，事物會(huì )逐漸清晰，這個(gè)就是虹膜調整之后的結果，人眼所感知的最后的亮度其實(shí)是一致的。

視網(wǎng)膜是人眼核心的功能，仿照這個(gè)功能，攝像機上有與之對應的傳感器 (sensor)，視網(wǎng)膜表面分布的光接收器產(chǎn)生圖像視覺(jué)信號。

二 圖像處理中的關(guān)鍵技術(shù)

前面提到攝像機都是在模仿人眼的構造來(lái)成像，現在看一下攝像機的成像系統有哪些具體的構成。首先輸入的圖像會(huì )通過(guò)鏡頭傳遞到圖像傳感器上，圖像傳感器感知的數據會(huì )被后面接收，圖像信號處理系統會(huì )對這些數據進(jìn)行處理，通過(guò)一系列的算法，例如降噪、白平衡、CFA、曲線(xiàn)矯正、色彩矯正，從而形成人眼可以看到的正常圖像。圖像信號處理，也叫做ISP（Image Signal Process），其作用是模擬大腦對視網(wǎng)膜上的成像進(jìn)行處理，產(chǎn)生視覺(jué)感知的圖像。

圖2 ISP處理流程圖

低照度

視頻監控領(lǐng)域對圖像的低照度要求很高，需要在很暗的場(chǎng)景下看清楚物體，低照度下為了提升亮度，會(huì )起一些噪聲，所以在研發(fā)過(guò)程中需要花很多精力在降噪上。目前視頻監控產(chǎn)品實(shí)際應用的降噪技術(shù)主要是通過(guò)區分噪聲和圖像本身的細節，以線(xiàn)性或非線(xiàn)性濾波將噪聲從圖像中去除，根據噪聲判決與去除所用與參考的視頻信息的分布維度，降噪技術(shù)可分為空域濾波（Spatial Filter）、時(shí)域濾波（Temporal Filter）、運動(dòng)自適應濾波（Motion Adaptive Filter）和運動(dòng)補償濾波（Motion Compensation Filter）等幾大類(lèi)。

寬動(dòng)態(tài)

大家應該都有過(guò)在逆光環(huán)境下拍照的經(jīng)歷，有些在窗戶(hù)口拍出的照片，人臉都是黑的。圖像里面還有一個(gè)比較關(guān)鍵的技術(shù)是寬動(dòng)態(tài)，也叫HDR，就是用來(lái)解決逆光下圖像處理的問(wèn)題。普通的相機只曝光一次，如果同時(shí)存在亮暗對比很強烈的物體，那么就要看哪部分占得比例大，就會(huì )以這個(gè)亮度來(lái)曝光。比如，室外光線(xiàn)很強，按照這個(gè)亮度來(lái)處理后，人臉看起來(lái)就會(huì )比較暗。

研發(fā)人員想了很多辦法來(lái)擴大傳感器的動(dòng)態(tài)范圍，目前主流的技術(shù)都在曝光強度控制方面想辦法，稱(chēng)為多重曝光。多重曝光的思路是通過(guò)幾次不同時(shí)長(cháng)的曝光來(lái)獲取落在合適范圍內的數據。假設多重曝光技術(shù)用12bit/72db的傳感器首先曝光20毫秒，此時(shí)暗處可獲得足夠細節但亮處會(huì )因飽和而過(guò)曝；再通過(guò)1.25毫秒曝光使亮處所得能量削弱至1/16以落到飽和門(mén)限之下，此時(shí)暗處是曝光不足的。將上述相差16倍的數據合并，即可獲得共16bit即96db的動(dòng)態(tài)范圍——比采用12bit/72db的單次曝光提高了16倍。

圖3 左為普通相機右為HDR相機

三 視頻監控領(lǐng)域圖像的特點(diǎn)

現實(shí)生活中，大家對手機或者數碼相機的圖像更了解一些，視頻監控領(lǐng)域對圖像的要求跟相機有很大的區別的，監控領(lǐng)域要求的是盡量真實(shí)地還原真實(shí)的物體，而手機和數碼相機可能就需要對圖像做一些渲染，讓畫(huà)面更美。比如我們現在常用的美顏相機，就是要刻意遮蓋人臉的細節信息，突出五官，拍出有妝容效果的圖片，而視頻監控卻需要盡量還原人臉的細節信息，盡量呈現真實(shí)的色彩，這樣才能為公安機關(guān)提供有價(jià)值的線(xiàn)索。所以監控的圖像看起來(lái)可能不能像手機或者數碼相機那么絢麗，但是卻是最接近真實(shí)場(chǎng)景的圖像。

攝像機需要捕捉夜視下的清晰圖像，這樣就對攝像機的低照度要求很高，為了看到低光照下的圖像，圖像傳感器通常要將信號放大很多倍，這樣就會(huì )帶來(lái)噪聲，因此就要用到降噪算法。數碼相機在夜晚拍照主要靠閃光燈補光，不會(huì )起很大的噪聲，但是閃光燈對照相距離有要求，不能用到比較大或者遠的場(chǎng)景，而攝像機監控的場(chǎng)景范圍通常比較大，這樣也更加倚重于攝像機的低照度效果。

除此之外視頻監控和手機圖像的不一樣還在于，監控攝像機很多時(shí)候需要在惡劣的條件下工作，比如雨天，霧天，雪天、高溫和低溫，并且是全天候的工作，這就需要保證所有時(shí)刻圖像的正常。所以有時(shí)候為了兼容更多的場(chǎng)景，很多圖像參數都需要做一些差異化的設置。此外，攝像機由于監控需要，非常關(guān)注運動(dòng)的場(chǎng)景，這個(gè)和手機拍照有所有不同，很多時(shí)候手機拍攝的運動(dòng)物體都是模糊的，而攝像機卻需要不管是白天還是晚上，都要看到清晰的運動(dòng)物體，這個(gè)對圖像處理技術(shù)的要求是非常高的，運動(dòng)物體的細節不僅涉及到圖像技術(shù)里面的色彩校正、銳化、降噪、插值等模塊，還跟編碼相關(guān)，特別是低照度下的運動(dòng)物體，更是多領(lǐng)域協(xié)同作戰的結果。

四 ?？低晥D像處理的優(yōu)勢

?？低曌⒅匮邪l(fā)創(chuàng )新，每年的研發(fā)投入很大，在圖像技術(shù)上，10年前就設立了專(zhuān)門(mén)的圖像處理團隊，對圖像處理過(guò)程的每一步算法進(jìn)行過(guò)深入的研究，并且不斷在創(chuàng )新。

?？低暤男枪庀盗袛z像機，能在星光的場(chǎng)景下拍出清晰如白天的效果，帶給用戶(hù)極大的使用體驗，推出至今得到了市場(chǎng)的廣泛認可。這其中就用到了?？低曌灾餮邪l(fā)的細節增強算法和3D降噪算法，其將人眼的主觀(guān)感受和自適應細節增強和降噪技術(shù)相結合，基于圖像內容，將增益作為參量進(jìn)行自適應調節，追求各種照度下的圖像信噪比最優(yōu)化，在低照度場(chǎng)景中效果尤為明顯。下圖就是?？低曅枪庀盗袛z像機和iphone6s的低光照下圖像對比，由圖4可見(jiàn)?？低曅枪庀盗袛z像機的效果是非常震撼的。

圖4 攝像機和手機低光照圖像對比

五 結束語(yǔ)

隨著(zhù)編解碼技術(shù)的發(fā)展，特別是?？低曅峦瞥龅腍265和Smart 265技術(shù)的高清產(chǎn)品，針對多數的監控應用場(chǎng)景，可以較大幅度的降低監控系統的存儲成本。未來(lái)的監控領(lǐng)域的圖像一定會(huì )朝著(zhù)更高清更低照度的方向發(fā)展，現在200分辨率已經(jīng)成為主流，300萬(wàn)、500萬(wàn)、800萬(wàn)分辨率也正在飛速的發(fā)展，后續分辨率更高、低照度更好的圖像一定會(huì )給視頻監控帶來(lái)更多可能。