清華大學類腦計算研究中心團隊近日研製出了世界首款類腦互補視覺晶片「天眸芯」,相關成果5月30日作為封面文章,發表於國際學術期刊《自然》。
論文通訊作者、清華大學精密儀器系教授施路平介紹,在開放世界中,智能系統不僅要應對龐大的數據量,還需要應對如駕駛場景中的突發危險、隧道口的劇烈光線變化和夜間強閃光干擾等極端事件。而傳統視覺感知晶片面對此類場景往往出現失真、失效或高延遲,限制系統的穩定性和安全性。
為更好應對上述問題,清華大學類腦計算研究中心團隊聚焦類腦視覺感知晶片技術,提出了一種基於視覺原語的互補雙通路類腦視覺感知新範式。
「該範式借鑑了人類視覺系統的基本原理,將開放世界的視覺信息拆解為基於視覺原語的信息表示,並通過有機組合這些原語,模仿人視覺系統的特徵,形成兩條優勢互補、信息完備的視覺感知通路。」施路平說。
基於這一新範式,團隊進一步研製出了世界首款類腦互補視覺晶片「天眸芯」,在極低的帶寬和功耗代價下,實現了高速、高精度、高動態範圍的視覺信息採集,能夠高效應對各種極端場景,確保系統的穩定性和安全性。
同時,基於「天眸芯」,團隊還自主研發了高性能軟件和算法,並在開放環境車載平台上進行了性能驗證。在多種極端場景下,該系統實現了低延遲、高性能的實時感知推理,展現了其在智能無人系統領域的應用潛力。
論文通訊作者、清華大學精密儀器系教授趙蓉表示,「天眸芯」為自動駕駛、具身智能等重要應用開闢了新的道路。結合團隊在類腦計算晶片「天機芯」、類腦軟件工具鏈和類腦機械人方面的應用落地的技術積累,「天眸芯」的加入將能夠進一步完善類腦智能生態,有力推動人工通用智能的發展。
據介紹,這是該團隊繼異構融合類腦計算「天機芯」後,第二次登上《自然》封面,標誌着在類腦計算和類腦感知兩個方向上均取得了基礎性突破。
頂圖圖説:圖為「天眸芯」。(清華大學精密儀器系供圖)