求多且求精 準確率是大數據應用的首要難關(guān)

[摘要] 科達告訴你，公安大數據應用的構建方式與難點(diǎn)，及公安大數據應用的市場(chǎng)競爭點(diǎn)。

公安行業(yè)一直是安防技術(shù)應用的前沿市場(chǎng)，在安防領(lǐng)域，目前對于公安大數據的應用方式，可以分為以下三個(gè)層次：

1、統計查詢(xún)：這是對大數據最基本的應用方式，主要面向歷史與現狀，回答已經(jīng)發(fā)生了什么事情，如流動(dòng)人口分區域統計、實(shí)有車(chē)輛歸屬地統計、各類(lèi)案件的數量分布和趨勢。

2、數據挖掘：是目前大數據的核心應用方式，其重點(diǎn)不在于發(fā)現因果，而是發(fā)現數據之間的關(guān)聯(lián)關(guān)系。這種關(guān)系可能可以直觀(guān)解釋?zhuān)部赡懿荒荞R上發(fā)現其中的深層次原因，但對工作具有一定指導意義，比如季節氣候與某些類(lèi)型案件的關(guān)聯(lián)關(guān)系、車(chē)輛活動(dòng)范圍、活動(dòng)習慣與黑車(chē)的關(guān)聯(lián)關(guān)系。

3、預測預判：是大數據應用未來(lái)的發(fā)展方向，在數據統計、分析、挖掘的基礎上，建立起合適的數據模型，從數據的關(guān)聯(lián)關(guān)系入手，推導出因果關(guān)系，能夠對一定時(shí)期內的趨勢走向做出預測，對危險信號做出預警，指導預防工作的走向。

這三個(gè)層次具體到實(shí)際業(yè)務(wù)系統，包括圖偵、車(chē)輛特征分析系統、人員特征分析系統、視頻偵查系統等等。這些系統以普通視頻監控、車(chē)輛/人員卡口、智能IPC等監控前端獲取的視頻、圖片、結構化描述為基礎，通過(guò)大數據平臺的智能分析，實(shí)現如以圖搜圖、語(yǔ)義搜圖、車(chē)輛/人員布控、疑似案件對比、詳細特征分析等等深度大數據應用，幫助公安能夠快速、科學(xué)地偵破案件。

公安大數據應用于不同警種，由于其實(shí)際應用需求的區別，解決的問(wèn)題也有所區別。如智能交通領(lǐng)域，目前大數據主要應用于車(chē)輛的疏導，比如基于不同道路、路口車(chē)流量的統計（時(shí)、日、月統計等），根據這些統計可以分析不同時(shí)段某條道路實(shí)時(shí)的車(chē)流密度、發(fā)展方向和趨勢等。這些應用目前已在很多大城市落地，比如平時(shí)大家在公交上看到移動(dòng)電視里播放的上下班高峰路段實(shí)時(shí)畫(huà)面，就是基于大數據的技術(shù)分析所得。

公安大數據應用的構建方式與難點(diǎn)

以車(chē)輛分析系統為例，介紹如何在平安城市大數據平臺上構建應用：

1、數據的來(lái)源與構成

基于大數據平臺的車(chē)輛分析系統，其數據可分為靜態(tài)數據與動(dòng)態(tài)數據。靜態(tài)數據主要來(lái)源于車(chē)駕管庫、盜搶庫、布控車(chē)輛庫、涉案車(chē)輛庫等公安業(yè)務(wù)系統的資源情報類(lèi)數據庫，這些數據構成了車(chē)輛數據倉庫的核心庫。動(dòng)態(tài)數據主要是來(lái)源于卡口聯(lián)網(wǎng)平臺，其數據可分為結構化的卡口通行數據與非結構化的卡口過(guò)車(chē)圖片，這些數據隨著(zhù)時(shí)間的推移而不斷增長(cháng)，構成了車(chē)輛數據倉庫的中心庫。來(lái)自于其他設備如槍機、球機等視頻監控設備抓拍或截取的車(chē)輛圖片，來(lái)自于系統外的車(chē)輛圖片，構成了車(chē)輛數據倉庫的外圍庫。

2、數據的存儲

對于核心庫的車(chē)輛靜態(tài)數據，通常都是存儲于關(guān)系型數據庫中。對于中心庫的卡口通行數據，則存放在面向列的高可靠高性能分布式數據庫HBase中，其中實(shí)時(shí)過(guò)車(chē)記錄部分，因其查詢(xún)量大且更新速度快，放置在內存中以?xún)?yōu)化吞吐量，降低系統I/O負荷。外圍庫的車(chē)輛圖片數據，則存儲在類(lèi)似于IPSAN這樣的普通存儲空間內。

3、數據的結構化與搜索查詢(xún)

對于卡口過(guò)車(chē)圖片這樣的海量非結構化數據而言，為了實(shí)現數據的檢索，必須通過(guò)智能分析技術(shù)對其進(jìn)行結構化并入庫，從卡口圖片中提取出車(chē)牌顏色、車(chē)身顏色、車(chē)標、細分車(chē)型等傳統卡口前端不能提供的結構化信息并存儲在HBase中。

在對數據進(jìn)行結構化以后，系統設計的大數據搜索引擎可以提供多種條件的簡(jiǎn)單檢索和復合檢索，這些條件包括時(shí)間、地點(diǎn)、車(chē)標、細分車(chē)型庫等等；同時(shí)，基于車(chē)輛號牌的模糊搜索、混淆搜索（如“B”和“8”、“V”和“U”、”2”和”Z”等）功能為車(chē)輛分析系統的后續應用奠定了基礎；此外，通過(guò)與核心庫數據的對接，在查詢(xún)過(guò)程中可以自動(dòng)調出車(chē)輛關(guān)聯(lián)的車(chē)主信息、駕駛員信息、事故/ 違法信息等。

4、數據的挖掘分析與應用

在經(jīng)過(guò)數據的結構化后，結合平臺提供的GIS引擎，我們可以方便的對其進(jìn)行各種類(lèi)型的統計，為交通、刑偵等部門(mén)提供服務(wù)。這些統計報表包括路段路口的流量統計、車(chē)輛歸屬地統計、路段平均行程時(shí)間統計、路網(wǎng)交通流量統計、車(chē)輛出行規律統計等等。

利用卡口圖片結構化的成果以及與車(chē)輛核心庫的對接，系統可以提供一套達到實(shí)戰水平的假套**應用。該應用可以進(jìn)行假牌、套牌、輪換車(chē)牌等涉牌違法行為的分析，同時(shí)可以區分套牌車(chē)輛與被套牌車(chē)輛，更加精準地打擊違法車(chē)輛。

利用卡口通行數據的挖掘分析，結合公安干警多年工作經(jīng)驗的智慧結晶，系統提供一系列的卡口技戰法，供用戶(hù)在不同場(chǎng)景下使用。這些技戰法包括：車(chē)輛尾隨跟蹤分析、團伙車(chē)輛分析、晝伏夜出車(chē)輛分析、區域徘徊車(chē)輛分析、區域車(chē)輛頻次分析、車(chē)輛活動(dòng)區域分析、路徑匹配分析、頻次變化分析等十多種。

5、數據的展示

利用平安城市大數據平臺所提供的展示框架，車(chē)輛分析系統的應用功能既可以整合在平臺框架中，與其他系統構成一套完整的平安城市解決方案，提供統一的訪(fǎng)問(wèn)界面與接口，也可以作為現有卡口聯(lián)網(wǎng)應用系統的功能增強模塊單獨部署，提供單獨的訪(fǎng)問(wèn)界面與接口。

準確率與適用性，公安大數據應用的市場(chǎng)競爭點(diǎn)

誠然，如人臉識別、車(chē)輛識別等大數據技術(shù)已在安防市場(chǎng)中有所應用，通過(guò)對視頻進(jìn)行智能分析、有效信息的結構化數據提取，讓視頻監控的使用者真正告別人工安防，走進(jìn)自動(dòng)安防的新時(shí)代也是目前安防行業(yè)共同的追求。但是，公安大數據的應用還遠未成熟，準確率與適用性將決定誰(shuí)在不久的未來(lái)脫穎而出。

先是準確率，以人臉?lè )治黾夹g(shù)為例。所謂人臉識別的“準確率”，是指基于全世界最權威的人臉數據庫LFW進(jìn)行比對測試的成績(jì)。LFW由美國馬薩諸塞大學(xué)阿默斯特分校管理，可以認為是一個(gè)考察深度學(xué)習系統人臉識別能力的“題庫”，它從互聯(lián)網(wǎng)上提取6000張不同朝向、表情和光照環(huán)境下的人臉照片作為考題，可以讓任何系統在里面“跑分”。跑分過(guò)程如下：LFW給出一組照片，詢(xún)問(wèn)測試中的系統兩張照片是不是同一個(gè)人，系統給出yes或no的答案。99%的準確率，意味著(zhù)在測試的所有題目中，人臉識別系統答對了99%的題目。

問(wèn)題的關(guān)鍵是LFW以及類(lèi)似數據庫FDDB等，只是一個(gè)純粹實(shí)驗室級別、學(xué)術(shù)性質(zhì)的測試工具，在樣本量可能達到十萬(wàn)級、百萬(wàn)級的實(shí)際商業(yè)場(chǎng)景下，測試得分高的系統不一定能保持已有成績(jì)，其誤識率將直線(xiàn)上升，甚至可能根本沒(méi)法用。部分真實(shí)復雜場(chǎng)景測試中，十萬(wàn)分之一的誤識率下，98%的人臉識別準確率會(huì )直線(xiàn)下降到70%左右。借助人臉識別等智能分析技術(shù)，將非結構化數據轉化為結構化數據是后續大數據應用的基礎，所以，從目前的智能分析水平而言，準確率仍將是很長(cháng)一段時(shí)間內安防業(yè)共同的追求。

其次是適用性，這里的適用性主要指安防廠(chǎng)商對用戶(hù)的了解程度，涉及到應用建設的設計到實(shí)現的各個(gè)方面，各個(gè)功能模塊是否是用戶(hù)真正的關(guān)注點(diǎn)、系統操作方式是否真正方便用戶(hù)等等，直接決定了用戶(hù)對應用系統的體驗感，這主要取決于安防廠(chǎng)商的行業(yè)、實(shí)際項目積累。當然，無(wú)論是準確率還是適用性，都無(wú)法改變大數據應用成為公安業(yè)務(wù)應用未來(lái)的方向。