香港商报官网 > 广东 > 中华大地

給AI裝一雙「慧眼」 中科院深圳先進院團隊研發出多視角4D人臉掃描系統

2024-04-29
来源:香港商報網

    圖像識別、智能助手、虛擬人、文生視頻……通用人工智能技術的不斷發展和創新,讓人們進一步向智能時代邁進。然而,目前運用人工智能技術呈現的圖像畫面大多以二維效果為主,在空間、時間和細節方面仍有較大上升空間。

    如何為AI裝一雙「慧眼」,讓畫面看的更清、更細、更自然?4月29日,記者從中國科學院深圳先進技術研究院了解到,該院集成技術研究所機器視覺研究中心研究員宋展團隊在人臉動態三維成像技術領域取得進展,研究團隊自主研發出多視角4D高精度人臉三維成像系統,相較傳統的3D人臉掃描技術,該系統在精度、解像度和速度上均實現大幅提升,可應用在包括但不限於人臉識別、醫療診斷、影視特效等方面。

    據介紹,研究團隊開發的多視角4D人臉掃描系統,由三個不同近紅外波段的結構光相機構成,底層算法採用了宋展團隊提出的高頻條紋位移編碼三維重建方法,可以實現1080P(1920*1080像素)解像度下超過100幀每秒的三維掃描速度,基於GPU的高並行三維重建算法可實現高達300赫茲的實時重建速度,且深度成像誤差小於0.05毫米。

    「每個深度相機都由一個近紅外結構光投影光柵和一個工業相機組成,深度相機每重建一次,投影儀都要向被測物體投射一組預設高頻條紋圖案,並用相機拍下這些圖案在被測物體上產生變形的圖案。最終,根據相機拍到的變形圖案分析得到深度信息,即3D信息。深度相機實現連續掃描,增加了時間軸信息,由此得到4D信息。」深圳先進院集成所在讀碩士生吳迪解釋道。

    此外,為了實現多角度更為完整的三維人臉動態成像,該系統採用了三種不同波段的近紅外光(人眼不可見)作為光源,既避免了人臉產生炫目,還避免了三套設備投影儀投射圖案相互干擾,大大改善了成像完整性。

    「近紅外光低,對人眼友好,但是對皮膚具有一定的穿透性,使得投射的高頻光柵圖案產生模糊,降低了三維重建精度。」宋展表示,對此,研究團隊採用了創新的圖像增強算法,結合高魯棒性的條紋編解碼算法突破,提高了解碼投射圖案的相位計算精度,從而提高了三維重建精度,與此同時還要考慮算法的實時性和並行性,為3D動態模型獲取、頭部姿態估計和面部表情遷移等基礎工作的研究提供高精度的數據支持。

    宋展介紹,該系統在多個領域應用前景廣闊,例如,在新型顯示技術方面,有望為全息投影、空氣成像等新型顯示技術,以及AR顯示終端提供三維數據採集設備;在影視領域,可實時捕捉演員的高精度面部表情,結合表情遷移技術,實現從真人的表情到卡通形象的表情遷移;在遊戲領域,該系統可捕捉用戶面部信息,結合視線追蹤技術實現人機交互;在醫療領域,該系統可幫助提供患者面部表情信息,助力醫療診斷等;在人形機械人領域,該技術可以為機械人提供更加精確而敏銳的4D視覺感知方法,讓其從只能幹粗活變成可以干更多精細的活。

    人工智能技術的發展,很大程度上依賴於數據驅動。「二維平面上生成的圖像或視頻往往難以呈現出真實世界的三維結構,未來,AI技術生成的視頻會逐漸從二維視頻向三維視頻發展,想要生成更高質量的三維視頻,離不開三維數據的支撐。」宋展說道,該系統可以為「3D+AI」研究提供了真實、精細的高質量三維數據,解決了目前該研究領域高精度三維數據不足的問題,為AI模型生成更高質量的視頻提供實時、高精度的、高解像度的數據支撐。

    據了解,目前研究團隊已將該技術運用到電影特效、特種加工、面部3D診療、動態3D視覺引導裝配等方面,並取得了良好的效果。未來,研究團隊還將進一步加強底層算法研究,進一步提高編碼效率成像速度,降低硬件成本,研製模塊化高時空解像度4D成像器件,將其應用於更多的工業和信息通訊領域,為新質生產力發展提供銳利的視覺成像技術支撐。(記者 林麗青)

    頂圖:宋展與團隊成員調試多視角4D人臉掃描系統。 林一程攝

[责任编辑:严燕红 ]