君正?T30A：業(yè)內首個(gè)專(zhuān)用音視頻融合計算芯片平臺

在A(yíng)I大潮的強大驅使下，這兩年以語(yǔ)音識別為代表的智能音箱和以人臉識別為代表的智能攝像機獲得了蓬勃的發(fā)展，大批典型產(chǎn)品紛紛批量落地。在前端輕型AI計算日趨融合的背景下，北京君正推出了針對音視頻融合計算的芯片平臺——T30A。

計算是智能的基礎

計算是智能的基礎，也是AI的基礎。君正T30A瞄準的是前端輕型AI算法的落地。T30A提供一個(gè)1.2GHz主頻的CPU與一個(gè)同頻率的128位向量加速引擎，并且對8位張量計算做了定點(diǎn)優(yōu)化。在這樣的核心參數下，T30A可以給視覺(jué)算法和音頻算法提供相對較高的計算能力。同時(shí)軟件層面打包開(kāi)放OpenCV/WebRTC優(yōu)化算子，開(kāi)放向量引擎的底層ABI。

得益于T30A恰當的計算能力，使得一些前端輕型AI算法具有快速、高性?xún)r(jià)比的落地可能。例如車(chē)牌識別攝像機，在完成視頻的主體功能之外，T30A還可以單芯片支持低速車(chē)牌識別，目前若干廠(chǎng)商正在逐步落地，應用于一般出入閘口以及停車(chē)場(chǎng)內部。

與此同時(shí)，音視頻融合計算也是當前一個(gè)主流趨勢。君正T30A是一顆專(zhuān)業(yè)解決音視頻融合計算的芯片平臺，具有幾個(gè)核心特點(diǎn)。首先在專(zhuān)業(yè)性上，君正T30具有專(zhuān)業(yè)的成像，視頻編碼，音頻計算等能力，其有超低碼流H.265/H.264編碼引擎，專(zhuān)業(yè)高品質(zhì)ISP，最高500萬(wàn)分辨率，支持任意大小像素的CMOS sensor；其次在融合性方面，君正T30A一顆芯片上就能夠落地智能音頻加智能視頻應用的產(chǎn)品，它支持數字麥克風(fēng)陣列，可支持雙麥/三麥/四麥組合，并內置模擬麥克風(fēng)音頻codec，可通過(guò)I2S擴展外部音頻codec；在前端輕型AI計算能力上，T30A依然表現強勢，面向前端嵌入式AI；最后在應用上，君正T30A不同于其他AI概念芯片，T30A有成本、功耗、工程等眾多優(yōu)勢，產(chǎn)品非常容易落地。T30A的超低運行功耗，最低至300mW，還支持屏幕顯示和快速開(kāi)機，冷啟動(dòng)可于一秒內完成。

專(zhuān)業(yè)的視頻能力

T30A的基礎是一顆專(zhuān)業(yè)的視頻處理芯片。其內置高品質(zhì)的ISP可以支持3A/3D-NR，支持WDR，微光夜視和全彩。T30A支持H.265/H.264編碼，H.265是目前效率最高的編碼方式之一，配合各種碼流控制方法，就可以給多種應用場(chǎng)景提供最恰當的視頻輸出，從極高品質(zhì)，到運動(dòng)攝錄，到網(wǎng)絡(luò )傳輸，再到多碼流同時(shí)輸出均可以支持。

T30A最高可以支持500萬(wàn)分辨率的sensor輸入，同樣最高500萬(wàn)分辨率的視頻處理。這樣極高清的分辨率，為各類(lèi)應用提供了廣泛的視頻接入選擇。從玩具級輕視頻的1M分辨率，到2K*2K的高清魚(yú)眼；從3u像素的專(zhuān)業(yè)安防，到1.4u的移動(dòng)攝錄，均可以支持。

創(chuàng )新的音頻能力

目前業(yè)內的視頻處理器芯片，音頻功能普遍較弱。君正T30A創(chuàng )新性地對音頻能力做了定向增強。以視頻為中心，是君正T30A音視頻融合計算的基礎。專(zhuān)業(yè)的視頻處理能力，為單純的音頻智能插上了強大的翅膀。

T30A首先創(chuàng )新性地集成了數字麥克風(fēng)陣列接口，可以支持雙麥/三麥/四麥等多種陣列組合方式?；跀底蛀溈孙L(fēng)陣列，就可以使T30A獲得接近最近非?；鸨摹靶?ài)同學(xué)”、“天貓精靈”等音箱產(chǎn)品的語(yǔ)音能力。君正聯(lián)合了業(yè)內多家知名的語(yǔ)音算法供應商，把DOA，NR，AEC，Beamforming，De-Reverbration等整合到位，直接提供“搖頭機聲源定位”“命令詞控制”等功能。

T30A中包含音頻codec，并且可以通過(guò)I2S接口擴展越級的音頻codec，來(lái)達到發(fā)燒級的音頻品質(zhì)。

從這些獨特的特性來(lái)看，君正T30A無(wú)疑是音頻潛力很強的專(zhuān)業(yè)視頻處理器?；谶@些能力，一系列需要視頻與音頻融合的產(chǎn)品呼之欲出。例如語(yǔ)音識別攝像機，在原來(lái)智能攝像機的基礎上增加語(yǔ)音命令，聲源跟蹤等功能。另外像目前若干品牌正在研發(fā)的教育機器人和兒童故事機，則是在原來(lái)純音頻的功能上增加遠程視頻能力，使得產(chǎn)品躍升一個(gè)級別。

創(chuàng )新差異化撬動(dòng)智能視頻大市場(chǎng)

除了音頻之外，T30A在經(jīng)典攝像機的基礎上，還增加了另外一系列有趣的差異化創(chuàng )新。為廣闊的泛視頻市場(chǎng)提供一個(gè)通用型的視頻處理平臺。

T30A配套標準UVC/UAC協(xié)議集，配合H.265可以打造全新的高階USB攝像頭。由于USB的通用性，USB攝像頭不僅可以接入PC即插即用，也可以接入機頂盒，Android/iOS設備作為增強的視頻輸入設備。

另外，屏幕顯示，一秒以?xún)鹊目焖賳?dòng)，低至300mW的視頻運行功耗，這些特點(diǎn)為創(chuàng )新產(chǎn)品，跨界產(chǎn)品提供了超越想象的可能。例如交互式攝像機，快速啟動(dòng)的攝錄產(chǎn)品，移動(dòng)攝錄，網(wǎng)絡(luò )視頻會(huì )議終端，都可以在T30A的平臺上開(kāi)花結果。

君正T30A是第一個(gè)音視頻融合計算芯片，為廣闊的泛視頻市場(chǎng)提供了一個(gè)全面型的通用型的視頻處理平臺。以音視頻融合為中心，以前端輕型AI計算為目標，君正T30A可以覆蓋多種應用產(chǎn)品。綜合看來(lái)，在車(chē)牌識別攝像機、語(yǔ)音識別攝像機、屏幕交互攝像機、教育機器人、兒童故事機、USB攝像頭、視頻會(huì )議終端等產(chǎn)品和領(lǐng)域上，君正T30A都將大有作為。