論文通訊作者、清華大學精密儀器系教授施路平介紹，在開放世界中，智慧系統不僅要應對龐大的資料量，還需要應對如駕駛場景中的突發危險、隧道口的劇烈光線變化和夜間強閃光干擾等極端事件。而傳統視覺感知晶片面對此類場景往往出現失真、失效或高延遲，限制系統的穩定性和安全性。
為更好應對上述問題，清華大學類腦計算研究中心團隊聚焦類腦視覺感知晶片技術，提出了一種基於視覺原語的互補雙通路類腦視覺感知新範式。
"該範式借鑒了人類視覺系統的基本原理，將開放世界的視覺資訊拆解為基於視覺原語的資訊表示，並通過有機組合這些原語，模仿人視覺系統的特徵，形成兩條優勢互補、資訊完備的視覺感知通路。"施路平說。
基於這一新範式，團隊進一步研製出了世界首款類腦互補視覺晶片"天眸芯"，在極低的頻寬和功耗代價下，實現了高速、高精度、高動態範圍的視覺資訊採集，能夠高效應對各種極端場景，確保系統的穩定性和安全性。
同時，基於"天眸芯"，團隊還自主研發了高性能軟體和演算法，並在開放環境車載平臺上進行了性能驗證。在多種極端場景下，該系統實現了低延遲、高性能的即時感知推理，展現了其在智慧無人系統領域的應用潛力。
論文通訊作者、清華大學精密儀器系教授趙蓉表示，"天眸芯"為自動駕駛、具身智慧等重要應用開闢了新的道路。結合團隊在類腦計算晶片"天機芯"、類腦軟體工具鏈和類腦機器人方面的應用落地的技術積累，"天眸芯"的加入將能夠進一步完善類腦智慧生態，有力推動人工通用智慧的發展。
據介紹，這是該團隊繼異構融合類腦計算"天機芯"後，第二次登上《自然》封面，標誌著在類腦計算和類腦感知兩個方向上均取得了基礎性突破。
最新評論