結構化分析檢索決定智慧安防平臺未來(lái)

　　近年來(lái)，隨著(zhù)計算機技術(shù)和互聯(lián)網(wǎng)的飛速發(fā)展、各種數據采集存儲設備的廣泛使用以及多媒體工具技術(shù)與社交網(wǎng)絡(luò )的普及，從社會(huì )資源和互聯(lián)網(wǎng)獲取的數據量呈現出爆炸性增長(cháng)，內容涵蓋了文本、圖像、音頻和視頻，質(zhì)量更加精準細致，形式更加多樣化，用戶(hù)獲取信息的渠道更加豐富，生活更加便捷。

　　在海量數據中，視頻因形式直觀(guān)內容豐富，已成為一種極為重要的數據形式。據統計，在人類(lèi)各種感知世界的方式中，視覺(jué)感知占據了80%以上。隨著(zhù)視頻采集設備價(jià)格更加低廉，視頻質(zhì)量越來(lái)越高，圖像已被廣泛應用到社會(huì )的各方各面。其中，來(lái)自安防系統的監控視頻是一個(gè)極為重要的組成部分。如今，視頻攝像頭在生活中已經(jīng)隨處可見(jiàn)，無(wú)論是室內還是室外，小區還是商場(chǎng)，各種社會(huì )公安安全場(chǎng)所都有監控系統在發(fā)揮作用，尤其是在維護穩定、反恐處突、治安防范、偵查破案、服務(wù)群眾等工作實(shí)踐中，視頻監控技術(shù)在構筑全天候全方位治安防控體系中具有強大的優(yōu)勢。視頻監控技術(shù)通過(guò)實(shí)時(shí)顯示監控區域現場(chǎng)圖像和回放歷史場(chǎng)景的功能，具有發(fā)現犯罪、預防犯罪、威懾犯罪和鎖定目標、提供線(xiàn)索、固定證據等重要作用，已經(jīng)成為繼刑偵、技偵、網(wǎng)偵技術(shù)之后的“第四大技術(shù)支柱”。

　　從2004年開(kāi)始，我國就開(kāi)始了平安城市的建設，通過(guò)以點(diǎn)帶面的監控系統建設，實(shí)現攝像機之間的聯(lián)網(wǎng)和視頻數據的共享，為城市安防等提供信息支撐和保障，這要求監控系統實(shí)現網(wǎng)絡(luò )化和智能化。

　　技術(shù)方向

　　在智能化的視頻監控系統當中，除了基本的人工監視和數據記錄以外，更重要的是對監控視頻進(jìn)行智能化的處理，需要對視頻當中的人、車(chē)和其他重要事物進(jìn)行識別、檢索和行為分析，并根據結果提供適當的提示。在對視頻的智能處理當中，視頻檢索技術(shù)顯得尤為基礎和重要，面對日益龐大的視頻數據，想要快速準確地找到用戶(hù)感興趣的內容十分困難。

　　在目前公安視頻聯(lián)網(wǎng)共享平臺的基礎上，引入智能視頻應用相關(guān)技術(shù)，將自動(dòng)提取視頻特征與人工標識相結合，關(guān)聯(lián)現有信息綜合資源庫，與刑偵、技偵、網(wǎng)安、情報等部門(mén)信息結合起來(lái)，進(jìn)行大數據處理，建設高效實(shí)用的圖偵平臺，提升視頻監控圖像在增加識別、智能化感知、主動(dòng)預警等方面的應用水平，已經(jīng)成為公安實(shí)戰應用平臺的發(fā)展趨勢。安防平臺的核心和基礎是運用大數據和信息技術(shù)，建立基礎數據平臺，達到資源共享和信息共用，才能實(shí)現跨區域跨部門(mén)的信息分析，為科學(xué)決策提供依據。

　　技術(shù)路線(xiàn)

　　面向內容的視頻檢索技術(shù)

　　從組成來(lái)看，視頻是一系列圖像的一個(gè)特定排列，每一幅圖像稱(chēng)為幀，幀是視頻的基本視覺(jué)單位。攝像機一次拍攝所形成的幀序列，通常作為視頻編輯的基本單位。場(chǎng)景也叫做片段，是由多個(gè)語(yǔ)義相關(guān)的鏡頭組成。關(guān)鍵幀是由目標引申出來(lái)的某一幀或多幀圖像。視頻檢索是在單個(gè)或多個(gè)視頻里面尋找用戶(hù)感興趣的內容并進(jìn)行定位，找到特定人物所在的視頻、人物在對應視頻中的位置(如幀信息和時(shí)間等)或對應的圖像序列。

　　基本框架及相關(guān)技術(shù)：在基于內容的視頻檢索中，由于視頻往往長(cháng)度較大，內容分布存在重復和分散的情況，因此在檢索當中往往會(huì )先對視頻進(jìn)行處理，通過(guò)關(guān)鍵傾定位、鏡頭分割和場(chǎng)景分割等等進(jìn)行切分，然后提取不同層次的內容，如視覺(jué)特征、語(yǔ)義特征等等，再存儲特征到數據庫中，最后根據用戶(hù)的查詢(xún)輸入直接和數據庫中的特征進(jìn)行比對，得到結果以后再獲取相應的視頻信息返回檢索結果給用戶(hù)。整個(gè)過(guò)程覆蓋了多方面技術(shù)，如在視頻處理模塊涉及：關(guān)鍵帖提取、鏡頭邊緣檢測、場(chǎng)景分類(lèi)、視頻優(yōu)化等。在特征處理模塊涉及：內容分類(lèi)、目標檢測、目標跟蹤、目標匹配、行為分析、數據管理等。在用戶(hù)查詢(xún)模塊涉及：檢索方法、反饋方法等。

　　視頻結構化模型

　　為了實(shí)現計算機智能化處理視頻，需要對視頻及其內容建立數據模型。視頻的數據模型描述了視頻的分割信息和內容信息，是對視頻中記錄的客觀(guān)事物及其聯(lián)系的一種數據表示。視頻數據模型應該滿(mǎn)足：多層次——視頻是連續的圖像表示，在不同層次上的劃分具有不同的含義表達，因此視頻數據模型應該能在多層次上對視頻流進(jìn)行抽象表達。時(shí)空性——視頻具有時(shí)空兩種特性，其記錄的客觀(guān)事物也應具有時(shí)空特性。獨立性——獨立性是視頻模型的基本要求，在進(jìn)行數據庫存儲時(shí)，獨立的數據模型才可能實(shí)現共享和重用。模型索引——視頻數據模型應有特定的索引以滿(mǎn)足檢索要求?，F有的視頻數據模型從處理內容上可以分為兩類(lèi)：一、視覺(jué)內容模型，通過(guò)記錄視頻的時(shí)空信息、圖像視覺(jué)特征等進(jìn)行表示，包括時(shí)間線(xiàn)模型、顏色紋理模型、代數模型等；二、語(yǔ)義內容模型，通過(guò)對視頻中的客觀(guān)事物進(jìn)行語(yǔ)義關(guān)系表達來(lái)對視頻進(jìn)行表示，提供語(yǔ)義查詢(xún)的接口，包括對象模型、事件模型等。例如人物結構化表示模型，它是面向對象的視頻模型，其建立過(guò)程是提取基本視覺(jué)特征，并進(jìn)一步組合和語(yǔ)義化，實(shí)現高層語(yǔ)義表達。在檢索當中，重要的一環(huán)是如何對人物結構化表示模型進(jìn)行匹配，這種匹配主要是計算人物結構化表示模型當中的視覺(jué)特征的差異程度來(lái)實(shí)現。

　　從形式上看，數據可以分為結構化數據和非結構化數據。大數據時(shí)代，絕大部分數據是非結構化的圖像和視頻數據，大數據在一定程度上就是意味著(zhù)視頻大數據。視頻大數據具有5V的特點(diǎn)：Volume（海量）、Variety（多樣）、Velocity（高速處理）、Veracity（可信）、Value（有價(jià)值）。

　　Hadoop是為解決大數據存儲的重要解決方案，它是一個(gè)能夠處理海量數據的分布式軟件框架，由多個(gè)元素組成，最基本的是HDFS文件系統和MapReduce處理引擎。Hadoop具有高可靠性、高擴展性、高效性、高容錯性和低成本等優(yōu)點(diǎn)。HDFS文件系統實(shí)現了文件的創(chuàng )建、刪除、移動(dòng)和重命名等操作，它由提供元數據服務(wù)的NameNode和提供存儲塊服務(wù)的DataNode兩大節點(diǎn)組成。MapReduce是針對大數據集的并行計算模型，基于HDFS分布式文件系統實(shí)現，主要包括Map（映射）階段和Reduce（收集）階段。

　　應用契機

　　為增強打防管控的系統性、整體性和協(xié)同性，切實(shí)發(fā)揮治安防控的整體效能，2015年初，中辦國辦先后印發(fā)了《關(guān)于加強社會(huì )治安防控體系建設的意見(jiàn)》，國家發(fā)改委、中央綜治辦、公安部等9部委聯(lián)合印發(fā)了《關(guān)于加強公共安全視頻監控建設聯(lián)網(wǎng)應用工作的若干意見(jiàn)》，要求進(jìn)一步加大視頻監控網(wǎng)建設力度，擴大視頻監控覆蓋范圍，加強視頻圖像領(lǐng)域的關(guān)鍵技術(shù)攻關(guān)，針對提升視頻圖像信息應用效能等方面提出了明確要求。通過(guò)聯(lián)網(wǎng)整合各類(lèi)視頻監控資源的公安實(shí)戰平臺，實(shí)現對人流、車(chē)流、物流的軌跡掌控和相關(guān)事件的動(dòng)態(tài)管理，進(jìn)一步拓寬城市管理和社會(huì )治理的渠道，對各級政府部門(mén)進(jìn)一步提高社會(huì )管理和公共服務(wù)水平，提升大數據條件下打防管控能力，全面構建城市立體化社會(huì )治安防控體系提供重要技術(shù)支撐。目前公安實(shí)戰應用平臺的建設重心主要包括：前置智能分析和結構化數據上傳、構建圖像信息數據庫、強化視頻偵查/態(tài)勢分析/指揮調度等業(yè)務(wù)，其中第一點(diǎn)尤為重要。

　　視頻作為基礎資源，提供了大量的圖像信息，但存在如下問(wèn)題：1）民警主要關(guān)注的是圖像中的人、車(chē)、物、事件等基礎情報信息，而實(shí)際上監控圖像資源中包含大量冗余的數據信息。目前缺少自動(dòng)提取與挖掘關(guān)鍵信息的手段。2）視頻圖像占存儲空間大，監控視頻數據通常只存儲一個(gè)月，關(guān)鍵信息無(wú)法得到長(cháng)時(shí)間保存。前置智能分析技術(shù)可以提供基于人車(chē)目標的特征提取，實(shí)現基于事件的信息挖掘，將結構化數據寫(xiě)入H.264或H.265視頻流中回傳到中心平臺，將圖像信息轉換成有價(jià)值數據，形成視頻線(xiàn)索，協(xié)助民警快速辦案。

　　星卡口技術(shù)是前置智能分析的最佳應用

　　針對城市道路監控系統前端攝像機的泛卡口技術(shù)，是面向城市治安防控和交通管理的融合型應用。在滿(mǎn)足常規道路監控系統對道路斷面全覆蓋的視頻監控需求以及全天候的高清錄像需求的同時(shí)，實(shí)現了全畫(huà)面視頻檢測、視頻跟蹤、車(chē)牌識別等多種技術(shù)應用，讓道路監控攝像機，不僅采集視頻，還可以檢測抓拍車(chē)輛通行軌跡、自動(dòng)識別提取車(chē)輛特征屬性（車(chē)牌號碼、車(chē)牌顏色、車(chē)身顏色等）。以天地偉業(yè)推出的星卡口系列智能道路監控攝像機為例，具備如下特點(diǎn)：

　　·具備視頻監控、卡口功能，一機多用，支持H.265、H.264HP/MP/BP、M-JPEG編碼，適用場(chǎng)景廣泛，

　　·采用星光級CMOS傳感器，超低照度，無(wú)需專(zhuān)用的補光燈可得到清晰的抓拍效果，降低了系統建設成本·相比標準卡口視野更廣，無(wú)需正對車(chē)道即可有較高的抓拍率和識別率，安裝方式同監控相機立桿，布點(diǎn)方便，施工成本低·支持結構化語(yǔ)義，支持智能識別功能：內置車(chē)牌識別功能、車(chē)牌顏色識別功能、車(chē)身顏色識別功能、車(chē)型識別功能、車(chē)流量統計；支持機非人抓拍·抓拍率：白天三車(chē)道（從近到遠）分別為90%/90%/80%，夜間三車(chē)道（從近到遠）分別為90%/80%/80%·識別率：白天為90%，夜間為80%

　　星卡口技術(shù)解決了傳統的視頻監控系統中，針對海量視頻錄像，投入大量人力進(jìn)行人工查證的問(wèn)題，實(shí)現了事后查證到事前防控的轉變。它適用于城市道路、主干道、次干道、支路等城市道路環(huán)境，主要用于次干道及支路的道路路面監控。建議單臺泛卡口攝像機覆蓋視場(chǎng)不大于3條車(chē)道及以下道路斷面。一般有路燈情況時(shí)使用自帶補光燈即可實(shí)現夜間車(chē)輛的檢測。例如：雙向4車(chē)道道路斷面/兩臺泛卡口抓拍單元

　　星卡口系列智能監控抓拍攝像機在滿(mǎn)足日常視頻監控需求的基礎上，通過(guò)實(shí)時(shí)智能識別、軌跡跟蹤，準確記錄過(guò)往車(chē)輛經(jīng)過(guò)的信息，清晰辨別車(chē)身、車(chē)牌號、車(chē)型等特征，包括機動(dòng)車(chē)經(jīng)過(guò)的地點(diǎn)、行駛方向、經(jīng)過(guò)時(shí)間、號牌號碼、號牌顏色、車(chē)輛類(lèi)型等內容。同時(shí)自動(dòng)對車(chē)輛牌照進(jìn)行識別，包括車(chē)牌號碼、車(chē)牌顏色和車(chē)型等，通過(guò)對運動(dòng)車(chē)輛的運行軌跡分析、視頻跟蹤，達到準確抓拍。車(chē)牌識別支持大角度識別，在斜視角度下能提高識別準確率，并具備視頻測速功能。傳統的車(chē)牌識別，車(chē)牌字符能夠正確分割的前提是車(chē)牌圖像能夠水平，以至于水平投影和垂直投影能夠正常進(jìn)行，泛卡口產(chǎn)品通過(guò)智能車(chē)牌角度檢測、傾斜矯正和圖像旋轉等高科技手段，達到準確識別出車(chē)牌信息的效果。此外，該產(chǎn)品具備非機動(dòng)車(chē)、行人的檢測功能，記錄信息更全面，這些實(shí)時(shí)記錄的信息，直接傳到公安實(shí)戰應用平臺，實(shí)現視頻結構化數據存儲，減少了人工查詢(xún)海量視頻錄像的壓力，能夠快速檢索特征信息，定位到指定時(shí)間段的視頻，提高了公安、交警查辦案件的效率。

　　展望

　　現有視頻監控網(wǎng)絡(luò )存在著(zhù)缺乏深度應用的模式。其應用的瓶頸是視頻信息如何高效提取，如何同其他信息系統進(jìn)行標準數據交換、互聯(lián)互通及語(yǔ)義互操作。解決這一問(wèn)題的核心技術(shù)即是視頻結構化描述，通過(guò)視頻結構化分析技術(shù)和大數據、云計算等技術(shù)，實(shí)現以機器自動(dòng)處理為主的視頻信息處理和分析，快速提取實(shí)時(shí)監控視頻或監控錄像中的視頻信息，使得安防平臺能夠對監控區域的錄像文件進(jìn)行特征分析（如人、車(chē)、物、顏色、大小、方向、時(shí)間、地點(diǎn)等），使原來(lái)需要數小時(shí)查看的文件，以十幾倍的速度快速瀏覽查看。不僅在公安實(shí)戰系統，視頻結構化在其他領(lǐng)域應用也可大顯身手，比如社會(huì )民生服務(wù)應用：例如路況態(tài)勢發(fā)布、安監監測、應急調度、大型活動(dòng)預案指揮等。路況態(tài)勢主要實(shí)現了對各轄區當前路況狀態(tài)的統計、不同轄區路況在地圖上的分布顯；能夠選擇不同統計方式、統計時(shí)間進(jìn)行轄區、路段擁堵數據統計、擁堵趨勢顯示，包括擁堵高發(fā)區域、擁堵高發(fā)路段、區域擁堵高峰時(shí)段、路段擁堵高峰時(shí)段；安監監測是對每個(gè)油、氣、危、化重點(diǎn)存儲、運輸地點(diǎn)和車(chē)輛路線(xiàn)的監控，可有效進(jìn)行提前告警，消除安全隱患，及時(shí)處理，為應急決策提供可靠依據；大型活動(dòng)特勤管理一般用于協(xié)助其他單位在舉行大型活動(dòng)時(shí)的交通組織、建立特殊運輸通道（如消防、超限、危險品車(chē)輛運輸等）、要人來(lái)訪(fǎng)時(shí)的車(chē)隊開(kāi)道和沿途交通組織以及突發(fā)事件的交通組織等。此外還可以進(jìn)行車(chē)輛尾號限行管理和通行證管理。

　　視頻檢索主要有兩種方式：

　　基于文本的檢索——通過(guò)對視頻進(jìn)行人工標注，將圖像信息轉換成文本標注（相當于增加標簽），通過(guò)文本檢索的相關(guān)技術(shù)如關(guān)鍵字技術(shù)進(jìn)行檢索，這種方式對視頻信息內容進(jìn)行了壓縮，簡(jiǎn)化了查詢(xún)的流程，提高了檢索速度，減少了檢索的數據量和時(shí)間成本，一般對視頻信息內容會(huì )有語(yǔ)義上的概括，比較適合利用主題查詢(xún)的場(chǎng)景。但是人工標注耗時(shí)較長(cháng)，受標注者主觀(guān)影響較大，用戶(hù)有時(shí)并不能準確描述其所想搜索內容的主題，關(guān)鍵字提取困難，而且由于標簽難以完全概括視頻內容，導致查詢(xún)的準確度并不高，檢索結果差強人意，這也導致了傳統的基于文本的視頻檢索方式越來(lái)越不能滿(mǎn)足用戶(hù)需要。

　　基于內容的檢索——用戶(hù)希望的是有形式更為豐富的輸入，如不僅限于關(guān)鍵字等，可以利用圖例、草圖、語(yǔ)音描述等等來(lái)作為搜索輸入條件。而檢索的內容也不限于視頻的主題，而可能是視頻中某一個(gè)場(chǎng)景的故事，某個(gè)鏡頭是否發(fā)生了某種事件等等。因此，綜合利用數字圖像處理、模式識別、圖像理解和機器學(xué)習等多種技術(shù)，通過(guò)對視頻內容進(jìn)行語(yǔ)義上的理解，結合視頻的前后時(shí)段信息，組合用戶(hù)的各種檢索條件實(shí)現快速檢索，已經(jīng)成為目前視頻檢索領(lǐng)域研究和發(fā)展的重點(diǎn)。

　　在監控視頻系統中，用戶(hù)往往希望能夠精確判斷出視頻里是否有某個(gè)人物，同時(shí)能夠精確地定位到該人物所在的視頻片段。例如在小區中，如果老人走失，就可以根據老人的照片在小區周邊的監控視頻中根據服飾特征進(jìn)行檢索，及時(shí)獲取老人走失的時(shí)間和最后位置，能夠給找到老人帶來(lái)極大幫助。