大華股份張瑋：圖數融合 深耕大模型 賦能城市治理

2024年1月19日，在大數據模型日益成為社會(huì )熱潮的當下，大模型開(kāi)啟數智安防新時(shí)代——第十屆智慧城市建設創(chuàng )新發(fā)展大會(huì )暨深圳市智慧安防品牌推介會(huì )在深圳圓滿(mǎn)舉辦。浙江大華技術(shù)股份有限公司智慧城市首席架構師張瑋先生現場(chǎng)分享了“圖數融合 深耕大模型 賦能城市治理”主題演講。

浙江大華技術(shù)股份有限公司智慧城市首席架構師張瑋

以下是張瑋現場(chǎng)演講實(shí)錄，部分內容智慧安防網(wǎng)做了不改變原意的修改。

各位領(lǐng)導，各位嘉賓，大家上午好！非常感謝有這次機會(huì )，和大家分享一下大華在最近幾年在智慧城市行業(yè)里面的一些實(shí)踐和思考，這么多專(zhuān)家都在座，我今天也是拋磚引玉。

我們智慧城市行業(yè)持續發(fā)展，技術(shù)和業(yè)務(wù)就像兩個(gè)輪子，共同推動(dòng)我們行業(yè)的進(jìn)步。在早期，這主要體現在行業(yè)信息化方面，隨著(zhù)大數據業(yè)務(wù)和技術(shù)的發(fā)展，我們開(kāi)始嘗試實(shí)現“最多跑一次”的政務(wù)服務(wù)改革，這實(shí)際上是業(yè)務(wù)對技術(shù)提出了新的要求。而物聯(lián)網(wǎng)和視圖智能的發(fā)展，又進(jìn)一步推動(dòng)了城市的精細化管理的發(fā)展，上海提到城市治理要像繡花針一樣精細，其實(shí)這些都是技術(shù)和業(yè)務(wù)的進(jìn)步在不斷推動(dòng)這個(gè)行業(yè)向前發(fā)展。

隨著(zhù)大模型、人工智能等技術(shù)的不斷發(fā)展，業(yè)務(wù)與技術(shù)之間的火花愈發(fā)絢爛?；厥走^(guò)去，技術(shù)與業(yè)務(wù)相互推動(dòng)，為智慧城市的建設留下了寶貴的財富。這些財富正是行業(yè)中積累的多樣化數據，這些數據的多樣性、規模性以及隱私性，都為數據處理帶來(lái)了巨大的挑戰，尤其是對于視頻、物聯(lián)網(wǎng)等行業(yè)而言，我們需要進(jìn)行視圖計算和挖掘，同時(shí)還要嘗試將這視頻物聯(lián)數據和政務(wù)數據進(jìn)行聯(lián)動(dòng)，以釋放數據的最大價(jià)值。

在城市管理和治理中，視圖智能確實(shí)能發(fā)現一些事件和個(gè)體。這些事件和個(gè)體背后的執法、服務(wù)處理邏輯卻是各異的，因為人的背景據是不同的。以流動(dòng)攤販為例，他們背后可能有各種原因。對于這些人，我們的執法或服務(wù)手段不能一概而論。我們一直在思考如何讓治理更貼近老百姓，更具人文關(guān)懷。這就是我們長(cháng)期以來(lái)的挑戰，也是我今天要重點(diǎn)探討的主題——雙數融合。如何實(shí)現政務(wù)數據與視頻物聯(lián)數據的融合，讓治理更加人性化，是我們需要深入探討的問(wèn)題。

在2021年，我們發(fā)布了公司的戰略規劃，其中包括兩大引擎：數字引擎與視圖引擎。同時(shí)，我們明確了兩個(gè)主要的發(fā)展賽道，分別是城市和企業(yè)?；诂F在數據要素的新的要求，以及在大模型層面的積累，我們嘗試在架構上做一個(gè)升級去適應這一新的挑戰。

在數據資源化層面，我們建立了一體化的底層數據平臺，為數據采集提供了堅實(shí)的基礎。這一平臺不僅整合了傳統數據、物聯(lián)和視頻等多維度數據，還使其采集過(guò)程變得標準化和程序化。

2023年10月，我們發(fā)布了星漢大模型，很快我們便將視圖智能引擎融合了“星漢”大模型能力，突破傳統視覺(jué)認知方式，可實(shí)現全場(chǎng)景自主解析，具有更強的泛化能力和更高的準確性，為很多行業(yè)的拓展和場(chǎng)景的落地打開(kāi)了想象的空間。

此外，在數據計算層面，我們將傳統的數據計算和視圖數據計算進(jìn)行了整合，不僅僅是物理層面的，在治理、建模、計算等多個(gè)層面，我們基于雙數融合的理念對數據智能引擎進(jìn)行了升級。。

基于這兩大引擎，我們針對政府城市管理和企業(yè)場(chǎng)景開(kāi)發(fā)了天機和天衍等平臺。我們希望更多的廠(chǎng)商和合作伙伴能夠利用這些平臺進(jìn)行應用和服務(wù)創(chuàng )新。

與2021年的1.0版本相比，我們現在所展示的是全新的2.0架構版本，代表了我們在技術(shù)和業(yè)務(wù)方面進(jìn)行了升級。

我們先來(lái)看一下我們視圖智能引擎，通過(guò)多個(gè)項目實(shí)踐，我們發(fā)現視圖智能實(shí)時(shí)檢測過(guò)程中普遍會(huì )遇到兩個(gè)問(wèn)題。第一個(gè)問(wèn)題是如何合理調配和平衡計算力。由于很多現場(chǎng)的算力設備相當復雜，涉及邊設備、端設備和中心設備等各種形態(tài)，因此如何確保算法和任務(wù)在合適的設備上運行是一個(gè)問(wèn)題。

第二個(gè)問(wèn)題是如何讓算法在從實(shí)驗室轉移到現場(chǎng)后快速適應環(huán)境，從而提高其準確性。這也是我們在數字引擎升級過(guò)程中一直關(guān)注的問(wèn)題。

如何更有效地平衡算力，在這一點(diǎn)上，我們嘗試借鑒大數據處理的實(shí)現路徑，算力池化，不僅關(guān)注中心智能的算力情況，還致力于實(shí)現邊緣智能和端智能的算力池化。通過(guò)一個(gè)任務(wù)來(lái)管理所有的端、邊和云的算力資源，形成一個(gè)完整的資源池，根據任務(wù)運行狀態(tài)和網(wǎng)絡(luò )狀況，我們可以靈活地調配算力資源。

另外，我們也嘗試在任務(wù)中心加載一些智能模型，以便進(jìn)行靈活的調配。對于一些簡(jiǎn)單的、機械性的處理任務(wù)，我們可以將其放在邊緣端處理；而對于一些復雜的、涉及聯(lián)動(dòng)和不同方位的計算或檢測任務(wù)，則放在云端運行，我們嘗試通過(guò)這樣的分層方式來(lái)構建一體化、智能化的算力體系。這是我們的第一個(gè)嘗試。

第二個(gè)嘗試是如何解決算法問(wèn)題，我相信許多公司都遇到過(guò)類(lèi)似的問(wèn)題。我們在2023年10月份發(fā)布了星漢大模型的能力。通過(guò)將其疊加到系統中，我們可以在預先使用大模型對現場(chǎng)大量數據進(jìn)行運算調整，這樣可以快速提升算法的準確性和性能。同時(shí)，我們利用本地大模型加載，使引擎在現場(chǎng)進(jìn)行訓練和本地算法的優(yōu)化。這樣做能夠快速實(shí)現算法的本地優(yōu)化。由于環(huán)境對檢測技術(shù)結果有很大影響，通過(guò)大模型的加載，我們可以逐步提高算法的準確性。這是我們正在嘗試解決的問(wèn)題。

大模型的加載在操作層面上確實(shí)帶來(lái)了簡(jiǎn)化。在傳統的檢測過(guò)程中，我們經(jīng)常需要大量地調整規則配置以提升精確性。但有了大模型加載后，我們甚至不需要為每個(gè)攝像頭單獨配置算法,大模型全場(chǎng)景自主解析，系統自動(dòng)識別，這大大降低了配置的難度。

我們在視圖智能引擎方面做了許多嘗試，包括算力的合理調配、模型加載以簡(jiǎn)化操作，以及提升算法穩定性。另外，我們嘗試使用算力池化來(lái)統一管理云、邊、端所有的算法層面的問(wèn)題，并結合大模型進(jìn)行迭代。

在實(shí)踐過(guò)程中，我們遇到的一個(gè)重要問(wèn)題是如何將事件檢測的數據更好地應用到實(shí)際場(chǎng)景中。為了解決這一問(wèn)題，我們提出了圖數融合的方法。我們將傳統的數據計算引擎進(jìn)行擴展，讓政務(wù)數據和視頻物聯(lián)數據在同一個(gè)引擎中運行。這樣，我們可以通過(guò)一系列的算法工具直接關(guān)聯(lián)兩種數據，這在整個(gè)操作層面帶來(lái)了更簡(jiǎn)潔的邏輯。

另一個(gè)嘗試是解決數據全流程質(zhì)量的問(wèn)題。很多時(shí)候，終端檢測到事件，但由于點(diǎn)位治理的問(wèn)題，如位置標識不準確，導致任務(wù)無(wú)法圍繞事件進(jìn)行傳導。我們從數據的采集到治理，再到價(jià)值的計算，都需要做好全流程數據質(zhì)量的工作。我們也嘗試使用智能手段對采集到的數據進(jìn)行治理，通過(guò)標簽化數據結合智能模型判斷數據質(zhì)量，我們可以反向推動(dòng)數據采集源頭的改進(jìn)。這是我們在數據智能領(lǐng)域需要完成的一個(gè)重要環(huán)節。

同時(shí)，在數據系統中，我們也嘗試使用人、地、事物、管理對象和配套資源等關(guān)鍵要素來(lái)關(guān)聯(lián)整個(gè)系統節點(diǎn)。我們還建立了城市事件中心，以城市管理為核心事件，基于事件發(fā)現發(fā)生的規律，我們可以更好地指導或輔助城市管理的提質(zhì)和增效。我們開(kāi)發(fā)了最新的數據探索平臺，通過(guò)拖拉拽的方式，它能夠直觀(guān)地展示以人、地、組織為核心的各種信息關(guān)聯(lián)，不僅包括視頻數據，還包括傳統的政務(wù)數據。同時(shí)，我們也支持12種開(kāi)發(fā)語(yǔ)言進(jìn)行底層開(kāi)發(fā)，這樣更加靈活。

結合大模型和圖數融合技術(shù)，我們推出了政府天機系列能力平臺，包括行業(yè)模型智算引擎、孿生場(chǎng)景生成引擎、數據資產(chǎn)管理服務(wù)、數據要素運營(yíng)中心四大核心能力支撐，并且我們積累了200多個(gè)能夠快速構建起具備綜合管理決策能力的數字孿生應用場(chǎng)景。

在早期的智慧城市和一網(wǎng)統管項目中，按照客戶(hù)的要求來(lái)實(shí)施項目，需要經(jīng)歷反復的需求確認過(guò)程，整個(gè)過(guò)程相對漫長(cháng)，在客戶(hù)應用從模糊到清晰的過(guò)程中，我們會(huì )浪費一些時(shí)間。因此，我們思考如何將我們的傳統能力標準化，或者將管理模型標準化。這是我們在這些場(chǎng)景中考慮的重要問(wèn)題。

以行業(yè)計算為例，我們在行業(yè)計算中積累了固定的行業(yè)內部管理模型。例如，在渣土車(chē)管理中，從工地到路面再到渣土投放點(diǎn)，有一套完整的管理模型。當我們沉淀這樣的模型后，就可以得出一個(gè)經(jīng)驗：要實(shí)現這樣的模型，必須有相應的設備安裝和數據采集，以及對應的數據一二三。

隨著(zhù)這些模型的沉淀和積累，我們可以開(kāi)發(fā)出一個(gè)成熟的、可復制的產(chǎn)品。這也是我們從技術(shù)角度嘗試推動(dòng)業(yè)務(wù)發(fā)展的方式。通過(guò)標準化我們的能力和管理模型，我們可以更高效地滿(mǎn)足客戶(hù)需求，并加速項目的實(shí)施過(guò)程。

此外，我想談?wù)剶底謱\生這一新技術(shù)。有人可能會(huì )質(zhì)疑傳統視頻廠(chǎng)商涉足這一領(lǐng)域是否恰當。但實(shí)際上，我們一直在思考如何解決城市大場(chǎng)景和局部小場(chǎng)景結合中的一些難題。數字孿生為我們提供了一個(gè)解決方案。

我們知道，傳統的視頻監控場(chǎng)景中，我們可能會(huì )使用高點(diǎn)AR和視頻標簽來(lái)疊加數據、進(jìn)行實(shí)時(shí)監測等。這種手段在固定場(chǎng)景中很有效，但如果應用到整個(gè)城市，數字孿生技術(shù)則更為適用。

通過(guò)數字孿生技術(shù)，我們可以為城市或區域建立模型，并在其上疊加已有的政務(wù)數據、人、地、事、物等結構化數據，以及視頻數據。將這些數據加載到數字孿生模型中，可以帶來(lái)更直觀(guān)的管理體驗，提高整個(gè)管理的效率。

在傳統的高點(diǎn)AR無(wú)法完全覆蓋的重點(diǎn)部位，我們通過(guò)視頻與三維模型的拼接，將視頻直接貼合到已建好的三維模型上，生成完整的視頻實(shí)景圖。通過(guò)自動(dòng)巡航任務(wù)或腳本，幫助現場(chǎng)管理人員解決各種問(wèn)題，進(jìn)一步簡(jiǎn)化操作難度。

從宏觀(guān)和微觀(guān)兩個(gè)層面來(lái)看，我們將路況和路網(wǎng)數據疊加到整個(gè)城市的三維模型上，可以全面的展示城市的交通狀況，具體到某個(gè)路口時(shí)，我們將路口的視頻和車(chē)流數據融合，得到該路口的詳細數據。這些數據對于道路仿真評價(jià)或城市仿真評價(jià)非常有價(jià)值?；诖竽Ｐ图虞d的數字孿生技術(shù)，其準確率會(huì )有明顯的提升，同時(shí)在整體算力部署上相對傳統模式更為節省，我們未來(lái)會(huì )持續發(fā)力的數字孿生技術(shù)領(lǐng)域。

最后，我想強調的是，隨著(zhù)大模型的不斷發(fā)展，業(yè)務(wù)管理手段和服務(wù)方式都將發(fā)生變革。創(chuàng )新場(chǎng)景和創(chuàng )新變革將不斷涌現。大華更愿意扮演數據、能力供給者的角色，與廣大合作伙伴共同開(kāi)創(chuàng )新的局面。在和合作伙伴的交流合作中，我們提供了三種不同的合作模式：

在方案共建方面，伙伴和大華可以將各自成熟的業(yè)務(wù)或者產(chǎn)品組裝成完整的解決方案，形成優(yōu)勢互補，提升整體方案競爭力。例如我們與恒時(shí)共同推出了事件管理處置方案，結合大華的物聯(lián)智能平臺和恒時(shí)的事件管理處置類(lèi)平臺，形成具備統一用戶(hù)、權限和數據的完整業(yè)務(wù)閉環(huán)解決方案，同時(shí)我們還將事件平臺中的數據回流到數據智能引擎中去參與計算，圍繞城市事件發(fā)生的規律和趨勢去做一些研判和分析，實(shí)現了產(chǎn)品能力互補和業(yè)務(wù)環(huán)節的補齊。

在產(chǎn)品共創(chuàng )方面，伙伴可以基于大華物聯(lián)數智平臺基礎能力和低代碼引擎，共同發(fā)布聯(lián)合產(chǎn)品，在雙方渠道進(jìn)行銷(xiāo)售，降低研發(fā)成本，提升上市速度和利潤空間。

在能力共享方面，合作伙伴可以依托大華物聯(lián)數智平臺提供的完整能力，根據業(yè)務(wù)需要靈活組裝，構建各類(lèi)強大的業(yè)務(wù)應用。

我今天分享的內容大概就是這些，我也希望和各個(gè)伙伴們一起攜手，在大模型這個(gè)時(shí)代來(lái)臨我們一起共創(chuàng )、共建、共贏(yíng)，謝謝！