【中國數字視聽網訊】視頻結構化助力智慧城市建設

從技術角度來說，智慧城市就是感知、分析和提取城市系統的各種信息并做出相對應反饋的一整套城市管理系統，其中，原始的視頻數據是城市系統信息的重要組成部分。現如今，海量視頻數據已成必然，需要一套可以自動從視頻中提取結構化信息的方案，把視頻、圖像“翻譯”成機器可以理解的語言，并進行保存，確保后續提供給上層應用平臺調用和處理的素材。

視頻結構化的意義

視頻或者圖像數據，從前端傳感器直接獲得，從技術上來說，是一種非結構化信息。只有在實現結構化處理之后，才能將其中有價值的數據直觀、高效的保存、處理和應用。

在智慧城市建設中，有成千上萬路監控攝像頭或者傳感器，晝夜不停地監視或采集其他原始數據。其中，會產生海量的音視頻數據，需要監控管理平臺處理。即便人力充沛的情況下，面對龐大的視頻數據，要求快速、準確地從海量數據中找到有效的信息，幾乎是不可能的。受制于肉眼識別勞動強度的極限，在發生緊急事件時，人力調配和視頻資源往往存在矛盾，不依靠計算機自動進行篩選，必然造成貽誤戰機。

視頻結構化就是實現將海量視頻中的人、車目標進行提取并識別的過程。一旦有重要事件發生，系統就可在數據庫中快速查找到關鍵的“人”、“車”、“物”等相關音視頻線索。針對海量監控視頻錄像的事后分析，傳統以人海戰術為主的視頻線索查找，顯然不能滿足高效查找，正面臨巨大挑戰，急需一種更為高效的、自動的、智能的系統實現上述需求。

深度學習介紹

過去幾年中，得益于高速的計算芯片(GPU)及大量的標注數據，作為當下最流行的機器學習方法，深度學習在各個應用領域中都取得了突破性的成績，未來人們會擁有大量的AI，各種為私人定制的AI，包括醫療領域，制造業領域，在商業方面也會有各式各樣的AI應用產生，包括：營銷，供應鏈，預測及人力資源等，AI會以各種不同的方式出現在我們身邊，例如：機器人，無人機和一些小型機器，AI將使機器更具智能化，使其變得更加安全易用。未來的AI發展速度將超越摩爾定律。由于幾乎所有的人工智能領域的問題都可以轉化為分類問題，因此機器學習的基本步驟可分為如下形式：

如上圖所示機器學習是一個級聯串行結構，因此每一環節的處理結果都會影響到最后的分類效果，在傳統的機器學習中針對其中的各個環節都有其各自獨立的算法。由于上述方法具有各自獨立性，因此傳統機器學習算法在處理問題時需要對各個環節進行優化，并通過組合優化方法在各個模塊中選取最優的組合方式。

與傳統機器學習相比深度學習可以把機器學習中的各個部分合成一個整體結構，通過統一的訓練方法(Backpropagation)對其中所有的參數進行調節。當前人們所指的深度學習主要是以CNN(卷積網絡)為核心的一系列應用算法，其算法結構如下圖所示:

上圖中的每一層都是采用卷積方式與某一卷積核進行卷積所得到的結果，每一結果代表了從原始圖像所提取的特征，通過級聯方式對圖像或信號進行特征提取，最后得到人們想要的分類結果。

結合深度學習技術，實現視頻結構化

在安防行業中，通過深度學習對視頻進行結構化信息提取，完成了傳統算法無法完成的功能，算法效果也得到大幅度提高。

在安防大數據背景下，大華推出“DeepSense睿智”系列的視頻結構化服務器,可搭載8塊Tesla-P4卡(176 TOPS)，2顆E5系列CPU，128G內存，4個千兆網口，功耗在1600W左右，支持2+2冗余電源。其最大可支持192路1080P高清實時視頻分析，完成結構化信息提取。

“DeepSense睿智”系列的視頻結構化服務器主要功能是把實時視頻進行結構化分析。將復雜場景中的人、機動車、非機動車分離(共可區分轎車、面包車、公交車、卡車、貨車，2輪非機動車、3輪非機動車、行人等類型)，全方位提取車輛特征，如車型、車系、車身顏色、車牌顏色、車牌號碼識別、主副駕駛是否系安全帶、是否打電話、有無遮陽板、有無年檢標、有無掛墜、有無紙巾盒;針對行人，“DeepSense睿智”服務器可以多方面分析其相關特征，包括性別、表情、年齡段、服飾特征(上下衣著顏色、眼鏡)、攜帶物特征(背包、打傘)、運動特征等。同時，也可以針對符合像素要求的人臉、車輛號牌，進行識別。

傳統的CV算法在處理視頻算法時，往往先用檢測或者比較簡單的識別算法，將目標從背景中提取出來。然后，通過識別算法分辨是否是正常目標，最后判斷目標類型。

而利用深度學習技術，可直接通過分類器，將目標從背景中識別出來再進行跟蹤，同時可以直接得到目標類別。這種模式下，目標檢測的準確率和跟蹤的穩定性都能夠大幅度提高。

同時，算法不需要根據不同目標類型調用不同模塊進行目標分割或者特征提取，可直接利用目標識別結果，進行特征識別，直接獲得相應的目標屬性。

深度學習技術顛覆傳統算法，輕松完成視頻結構化信息提取。除此之外，結合深度學習本身的技術特色，還對車輛信息提取、人臉識別等已有功能進行改善，效果尤為明顯。

在這之前，人臉識別在傳統算法中，有非常好的效果。在預處理之后，通過提取特定的特征并對特征值進行訓練，最后得到分類器，進行識別。深度學習優化了人臉識別的方案，將比較依靠專家選擇的特征提取模塊簡化，通過輸入樣本即可直接訓練得到分類器。

智能交通卡口或者電警攝像頭智能抓拍車輛圖片，并識別車輛號牌字符、車輛顏色、車輛類型等數據。引入深度學習技術之后，車輛的車系信息、年款等信息也被開發出來，更多的車輛信息被挖掘，為后續平臺應用提供的更多的數據支撐。

特點和優勢

“DeepSense睿智”系列視頻結構化服務器，應用深度學習算法，支持192路實時全高清視頻處理，同時搭載英偉達最新Tesla®P4 GPUs，極大的提高了安防行業的算法應用和硬件配置，夯實了智慧城市和城市數據大腦等建設提供智能化服務的基礎。同時，服務器集群設計，充分考慮到可擴展性和云架構的兼容性，并發計算能力和服務器臺數成正比例增加。另外，服務器集成度高，相對每路視頻分析的功耗非常低。以上這些完全符合大數據計算的高要求。

另外，算法訓練和應用都在英偉達統一平臺進行搭建，節約研發開發成本，統一智能化效果，為行業提供了一套應用深度學習技術、快速研發產品的新方案，為使用GPU方案進行深度學習研發的公司樹立了榜樣。

（編輯：gaolq）