摘要:隨著(zhù)智慧城市建設的不斷深入,城市數據呈爆炸式增長(cháng),我們有理由相信,我們正在從信息化時(shí)代向數據化時(shí)代演進(jìn),“一切以數據說(shuō)話(huà)”,這句話(huà)將逐漸深入人心并變?yōu)楝F實(shí)。城市數據中,視頻數據占據80%以上,是體量最大的一類(lèi)數據,然而當前我們對視頻數據的利用度并不高?;诖髷祿?,我們能夠將視頻數據更加有效地利用起來(lái),在智慧城市建設中發(fā)揮其更大的價(jià)值。
關(guān)鍵詞:智慧城市 數據化時(shí)代 視頻 大數據
一、什么是視頻大數據?
基于這個(gè)問(wèn)題,我們可以從幾個(gè)方面來(lái)理解。首先,大家都知道,大數據有“4V”特征:Volume(數據規模)、Variety(數據類(lèi)型)、Velocity(處理速度)、Value(數據價(jià)值)。一、數據規模,城市數據中大部分是視頻數據,一個(gè)中等城市,3000路高清視頻,4Mbps碼流,90天將產(chǎn)生10.8PB的數據量,所以,視頻數據基本是PB級別以上,體量足夠大;二、數據類(lèi)型,單就視頻來(lái)說(shuō)就一種類(lèi)型,其實(shí)不然,視頻中有各種各樣的內容信息,有人、車(chē)、物等信息,有各種行為信息。同時(shí),視頻可以有多種來(lái)源,可來(lái)自城市管理、公共安全、企業(yè)、家庭等多種領(lǐng)域。所以說(shuō),視頻內容其實(shí)是非常豐富的,當然,首先我們需要將視頻內容信息提取出來(lái),將“死”的視頻數據轉化成“活”的結構化數據;三、處理速度,當前,以Hadoop為代表的大數據處理技術(shù)發(fā)展非常迅速,能夠針對海量的結構化、半結構化、非結構化數據提供非常高的處理效率;四、數據價(jià)值,應該說(shuō)這是今后需要不斷提高的一個(gè)點(diǎn),視頻大數據能夠真正體現價(jià)值的地方,就是將視頻數據全面利用起來(lái),為城市的建設、管理、安全做出貢獻。
其次,在《大數據時(shí)代》一書(shū)中,指出大數據的精髓在于我們分析數據時(shí)的三個(gè)轉變,同樣的,視頻大數據也吻合這三個(gè)轉變:一、分析數據的全集而非數據的采樣。針對視頻數據,由于體量太大,而存儲空間有限,往往視頻數據的存儲周期較短(比如3個(gè)月)。當然,視頻數據中大部分是無(wú)效數據,也是無(wú)需長(cháng)期保存的,而視頻中的內容數據卻是有價(jià)值的。所以,如何將視頻中的內容數據提取出來(lái)并沉淀,是構建視頻大數據的基礎;二、不追求精確性,由于數據非常多,即使出現一些不精確的數據,也不會(huì )影響分析結果;三、更加關(guān)心相關(guān)關(guān)系,而非因果關(guān)系,大數據的優(yōu)勢就在于數據的關(guān)聯(lián)分析,在關(guān)聯(lián)分析中能夠得到很多有用的結果。
再次,從整個(gè)大數據的生態(tài)來(lái)看,數據是基礎,技術(shù)是關(guān)鍵,服務(wù)是核心。一、數據,我們當前有的是海量的視頻數據,但這些數據更多的是無(wú)用的數據,而我們真正需要的是視頻中的內容數據,越多越豐富越好;二、技術(shù),當前的分布式存儲、分布式計算、內存計算、圖計算、全文檢索、機器學(xué)習等技術(shù)都有全面的發(fā)展,只要能夠將這些技術(shù)運用到視頻大數據中就能夠產(chǎn)生效用;三、數據服務(wù),怎樣讓數據產(chǎn)生價(jià)值,這才是核心,也是以后發(fā)展的關(guān)鍵,所以說(shuō)今后數據工程師將是最吃香的行業(yè)。
綜上所述,視頻大數據并不只是擁有海量的視頻數據,它需要提取海量的視頻內容信息,基于專(zhuān)業(yè)的技術(shù)工具,挖掘出價(jià)值信息,并為用戶(hù)提供更好的服務(wù)。
二、視頻大數據發(fā)展現狀
在互聯(lián)網(wǎng)及IT領(lǐng)域,大數據的發(fā)展已相當成熟。然而,在視頻監控領(lǐng)域,大數據還處于起步階段。當然,隨著(zhù)智慧城市的發(fā)展,視頻大數據會(huì )逐漸發(fā)展成熟并發(fā)揮越來(lái)越重要的作用。
首先,隨著(zhù)智慧城市建設的不斷深入,視頻大數據的需求越來(lái)越強烈。比如:一個(gè)區縣一年的卡口數據能夠達到十億級別,一個(gè)地級市一年的卡口數據甚至能夠達到百億級別,一個(gè)省的數據就更大了,面對如此龐大的數據,傳統的系統或工具顯得束手無(wú)策,即使一條簡(jiǎn)單的查詢(xún)命令,響應時(shí)間也會(huì )變得非常慢,更不要說(shuō)分析、統計等功能了。同時(shí),越來(lái)越多的用戶(hù)對業(yè)務(wù)提出了更高的要求,比如公安業(yè)務(wù),要求能夠從事后分析向事前預測轉變。面對這些問(wèn)題及需求,必須采用大數據來(lái)解決。所以,在智慧城市建設中,大數據已被推到了風(fēng)口浪尖上。
其次,越來(lái)越多的視頻監控企業(yè)正在接觸大數據,并有了初步的探索和應用。當前的一些大數據產(chǎn)品及應用主要有:一、視頻云存儲,針對海量的視頻、圖像數據,提供百PB的集中存儲能力。這類(lèi)產(chǎn)品已有較多的廠(chǎng)商提供,其中,安防行業(yè)龍頭企業(yè)??低暰驮谝曨l云存儲領(lǐng)域占據一席之地;二、云分析,針對實(shí)時(shí)視頻圖像、歷史視頻圖像,提供分布式的視頻結構化能力。這類(lèi)產(chǎn)品當前還未在市面上看到;三、數據應用。交通卡口大數據應用,針對海量的卡口數據進(jìn)行快速檢索、智能研判、統計分析,部分研判功能可用于刑事案件的偵察及預警。視頻圖像信息數據庫,針對海量的案事件數據進(jìn)行快速檢索、分析研判。這類(lèi)產(chǎn)品也有較多的廠(chǎng)商在預研并進(jìn)行試點(diǎn)。
三、視頻大數據核心技術(shù)分析
在互聯(lián)網(wǎng)行業(yè)中,大數據的分析對象主要是日志、用戶(hù)行為信息、網(wǎng)頁(yè)索引等數據,是計算機可以識別的結構化數據;而視頻監控行業(yè)中,大數據需要分析的對象主要是視頻、圖片、音頻等非結構化數據。所以,相比互聯(lián)網(wǎng)大數據,視頻大數據有諸多不同的地方,當然也有諸多可參考借鑒的地方,畢竟技術(shù)是相通的??v觀(guān)視頻大數據,其主要包含以下核心技術(shù):
一、視頻結構化。前面講到,可以被計算機識別的結構化數據是基礎,然而視頻不屬于這類(lèi)數據,所以視頻結構化是需要首先解決的關(guān)鍵點(diǎn),這也是區別于互聯(lián)網(wǎng)大數據的主要特征。所謂視頻結構化,就是采用智能分析技術(shù),從視頻圖像中提取出人、車(chē)、物、事件等內容信息,這些內容信息是可以通過(guò)結構化語(yǔ)言來(lái)描述、可以被計算機識別的信息。當積累了大量的視頻內容信息,就有了視頻大數據的基礎,可通過(guò)專(zhuān)業(yè)的大數據處理工具進(jìn)行分析、研判、統計,從中提取出價(jià)值信息。
二、大數據處理技術(shù)。當前主流的大數據處理技術(shù)是以Hadoop為代表的分布式軟件,而且在互聯(lián)網(wǎng)及IT領(lǐng)域,這些技術(shù)得到了很好的應用。同樣的,在視頻大數據領(lǐng)域,可以借鑒這些成熟的處理技術(shù),具體的技術(shù)包括分布式文件系統、分布式數據庫、分布式計算、內存計算、圖計算、流計算、全文檢索等等。
三、數據分析模型。有了海量的數據而無(wú)法提取其中的價(jià)值,那么這就是一堆沒(méi)用的數據。所以說(shuō),在大數據時(shí)代,數據分析工程師的地位將變得越來(lái)越重要。數據分析工程師需要深入了解業(yè)務(wù),構建數據分析模型,從海量數據中挖掘出價(jià)值信息。數據分析模型將是其中的核心要點(diǎn),是實(shí)現業(yè)務(wù)深度應用的關(guān)鍵。
四、視頻大數據面臨的問(wèn)題
隨著(zhù)大數據的發(fā)展,許多問(wèn)題逐漸暴露出來(lái),主要表現在以下幾點(diǎn):
(1)智能分析技術(shù)不夠成熟?;谥悄芊治黾夹g(shù)的視頻結構化是實(shí)現大數據分析的基礎,當前,交通卡口的車(chē)輛信息提取技術(shù)較為成熟,但是,像人體信息提取、物體信息提取、人臉比對等技術(shù)還不夠成熟。
(2)數據應用不夠深入。當整合足夠多的數據后,如何構建數據分析模型,如何契合業(yè)務(wù)應用挖掘價(jià)值信息,當前還處于萌芽階段。當然,其中也有一些可以借鑒的例子,比如卡口大數據系統,它可以對過(guò)車(chē)數據進(jìn)行深度的智能研判:區域碰撞、軌跡分析、跟車(chē)研判等,基于這些研判功能,有助于刑偵破案效率的大幅提升。
(3)數據共享不夠廣泛。特別是政府、公安、交通等部門(mén)中,信息孤島普遍存在,這主要是由于體制問(wèn)題造成的,并不是技術(shù)上的問(wèn)題,很難由企業(yè)來(lái)改變這個(gè)現狀,只能由相關(guān)部門(mén)貫徹推行并作出改變。
(4)標準化建設不夠全面。這主要是由于大數據還處于起步階段,還需要更深入的探索和嘗試。在標準化建設方面,如數據標準規范、互聯(lián)互通標準規范、數據應用模式標準規范等,需要不斷進(jìn)行總結,并逐漸標準化。
五、視頻大數據發(fā)展趨勢
在視頻監控行業(yè)未來(lái)的發(fā)展中,大數據勢必會(huì )占據越來(lái)越重要的地位。面對發(fā)展過(guò)程中出現的問(wèn)題,需要不斷加以解決并完善。
(1)技術(shù)創(chuàng )新。首先,視頻結構化,通過(guò)智能化技術(shù),能夠從視頻圖像中提取出人、車(chē)、物等特征信息,通過(guò)提取并整合這些信息,能夠方便的對視頻數據進(jìn)行檢索、以圖搜圖、深度關(guān)聯(lián)分析。當這些技術(shù)得以實(shí)現,視頻數據的應用效率會(huì )大幅提升,而且可以為視頻數據的深入應用奠定基礎。其次,大數據處理技術(shù)。視頻數據結構化后,成為可以被計算機識別的數據,當越來(lái)越多的數據匯集之后,傳統的技術(shù)或系統已無(wú)法進(jìn)行有效處理,此時(shí),必須采用大數據技術(shù)才能對這些海量的數據進(jìn)行處理。大數據技術(shù)包括分布式文件系統、分布式數據庫、全文搜索引擎、分布式計算、內存計算、流計算等,具備優(yōu)異的可靠性、擴展性及處理性能,能夠針對海量數據進(jìn)行快速分析、挖掘,為用戶(hù)提供更好的服務(wù)。
(2)業(yè)務(wù)創(chuàng )新。有了經(jīng)過(guò)結構化后的海量視頻數據,通過(guò)大數據技術(shù),可以對這些海量數據進(jìn)行深度挖掘,可以做到預測及趨勢分析,當然相關(guān)的數據分析模型還需要不斷探索和創(chuàng )新。如公安部門(mén),視頻偵查在當前來(lái)說(shuō)只能是一種輔助手段,如果采用大數據技術(shù)后能夠進(jìn)行預測預警,那么視頻偵查將會(huì )成為一種非常重要的手段,通過(guò)視偵技術(shù),能夠減少案件發(fā)生率、提高破案率。
(3)體制改善。更多的數據能夠產(chǎn)生更大的價(jià)值,為了能夠整合更多的數據,必須消除信息孤島,而這一現象在政府部門(mén)是客觀(guān)存在的一個(gè)難題。當然,在智慧城市的推動(dòng)下,這一局面已有所改觀(guān),越來(lái)越多的政府部門(mén)意識到數據共享的重要性。但是,要真正實(shí)現大數據的集中和共享,還有很長(cháng)的路要走。
(4)標準完善。海量數據的整合離不開(kāi)標準化的過(guò)程,在標準化過(guò)程中,需要重點(diǎn)考慮以下幾點(diǎn):一、數據結構化標準規范,包括哪些數據需要結構化、結構化的數據如何表示、如何設計字典規范、如何設計數據庫表等等,通過(guò)標準的結構化數據,所有系統都能夠識別并處理;二、數據互聯(lián)互通標準規范,包括平臺與前端之間如何互聯(lián)互通、平臺與平臺之間如何互聯(lián)互通等。前端可以對視頻數據進(jìn)行結構化,后臺也可以對視頻數據進(jìn)行結構化,前端和后臺需要相互協(xié)作,那么前端如何告知后臺哪些數據已經(jīng)結構化了,哪些數據還需進(jìn)一步結構化,就需要標準來(lái)規范;三、數據應用的標準規范,包括數據的服務(wù)模式、類(lèi)型、規則等等。如大數據平臺對海量數據進(jìn)行清洗分類(lèi)、深度挖掘之后,需要對上層的業(yè)務(wù)應用提供服務(wù),這種服務(wù)就需要通過(guò)標準化的接口提供出去。
六、視頻大數據對智慧城市的作用
視頻大數據的建設對智慧城市的作用主要體現在以下幾個(gè)方面:
一、民生服務(wù)。在我們城市的大街小巷、商場(chǎng)、飯店等地方,布滿(mǎn)了大大小小的攝像頭,基于這么多監控點(diǎn)位產(chǎn)生的海量數據,可以選擇性的開(kāi)放一些數據給公眾,為城市公民提供更好的“衣食住行”相關(guān)的服務(wù),比如實(shí)時(shí)的交通路網(wǎng)信息、商場(chǎng)的實(shí)時(shí)人流狀況以及“透明廚房”等等。
二、城市安全。視頻監控系統是平安城市建設的重要組成部分,視頻大數據使平安城市向“智慧型”轉變。隨著(zhù)視頻大數據的逐漸發(fā)展,在治安防控、刑偵辦案中出現了更多創(chuàng )新型的應用。首先,辦案效率極大提升。當前,我們更多的是通過(guò)人工查看的方式在視頻中尋找線(xiàn)索,效率低,人力消耗大;而通過(guò)視頻大數據,我們可以像“百度”等搜索引擎一樣快速搜索線(xiàn)索,可基于視頻圖像中的人員信息、車(chē)輛信息、物體信息、行為信息,或者基于以圖搜圖的方式快速搜索嫌疑目標。所以,在智慧型平安城市的視頻監控系統建設中,已經(jīng)從原先高清系統的“看得清、看得明”向基于大數據的“找得快、找得準”轉變。其次,事后取證向事前預防轉變。我們當前擁有了大量的視頻,但都是用于事后取證,顯然無(wú)法對犯罪預防起到積極的作用。而基于視頻大數據,可以對城市的犯罪做出趨勢研判、預測分析,基于這些分析結果,可以有目的的部署警力,這樣可以在有限的人力下有效降低城市的犯罪率。
三、可視化管理。視頻監控系統發(fā)展到今天,可視化管理變得愈發(fā)重要。在交通、金融、電力、能源、校園、醫療等等領(lǐng)域,可視化管理都變成了不可或缺的一部分。當然,當前的可視化管理更多地還是靠人工在后臺實(shí)時(shí)監看,效率并不高?;谝曨l大數據,可以將可視化管理提升一個(gè)高度,使前端的那些“眼睛”變得更加智慧,實(shí)現自動(dòng)監看,釋放人力。同時(shí),區域內的監控點(diǎn)位可實(shí)現智慧聯(lián)動(dòng),提升管理效率。
總之,在智慧城市建設中,視頻大數據的數據共享更加廣泛、深度應用更加豐富。
七、結語(yǔ)
視頻大數據能夠為用戶(hù)構建更加智慧的系統,提供更具價(jià)值的服務(wù)。在智慧城市中,快速增長(cháng)的視頻圖像數據、不斷涌現的用戶(hù)需求,預示著(zhù)對視頻大數據的訴求越來(lái)越強烈,同時(shí),也有越來(lái)越多的企業(yè)涉足大數據,并有了初步的積累和應用。視頻大數據不同于互聯(lián)網(wǎng)領(lǐng)域的大數據,它對智能分析技術(shù)有著(zhù)更高的要求,智能分析技術(shù)是實(shí)現視頻大數據的基礎,此外,大數據處理技術(shù)可借鑒互聯(lián)網(wǎng)領(lǐng)域的成功經(jīng)驗,業(yè)務(wù)的深度理解及數據分析模型的構建對數據工程師提出了更高的要求,數據分析模型是實(shí)現大數據應用價(jià)值的核心關(guān)鍵。當然,視頻大數據目前還處于起步階段,面臨著(zhù)諸多問(wèn)題,包括智能分析技術(shù)不夠成熟、數據應用不夠深入、數據共享不夠廣泛、標準化建設不夠全面等。在未來(lái)的發(fā)展中,需要不斷解決這些問(wèn)題并加以完善,包括技術(shù)創(chuàng )新、業(yè)務(wù)創(chuàng )新、體制改善、標準完善。只有更加成熟的視頻大數據,才能體現出更多的優(yōu)勢,發(fā)揮更大的價(jià)值。隨著(zhù)視頻大數據的不斷發(fā)展成熟,它必將給智慧城市發(fā)展建設帶來(lái)質(zhì)的提升。