二維（2D）和三維（3D）雙模視覺信息在自動駕駛、工業(yè)機器人、人機交互等前沿領(lǐng)域具有廣泛的應(yīng)用前景。但是2D和3D兩種模式視覺信息在處理方法上存在較大的差異，使得邊緣端計算型處理器難以兼顧兩種模式的處理需求；同時以深度學習為代表的人工智能算法的計算密集和高數(shù)據(jù)復用率等特點進一步增加了處理器電路的設(shè)計復雜度，導致邊緣端實現(xiàn)雙模視覺信息智能處理的芯片設(shè)計面臨大的挑戰(zhàn)。

中國科學院半導體研究所劉力源研究員帶領(lǐng)的團隊在雙模視覺信息智能計算芯片設(shè)計領(lǐng)域取得重要進展。團隊創(chuàng)新性地設(shè)計了一款兼容處理2D/3D雙模視覺信息的視覺處理器架構(gòu)和用于人工智能算法的數(shù)據(jù)流。提出了一種可重構(gòu)并行處理單元陣列架構(gòu)，并行處理單元陣列支持向量化單指令多數(shù)據(jù)處理模式，可顯著提升人工智能算法的數(shù)據(jù)復用率，減小了算法處理延時和訪存功耗；設(shè)計了一種用于2D/3D圖像處理算法的指令集架構(gòu)以及對應(yīng)的算法部署方法，能夠靈活映射從數(shù)據(jù)預處理到智能處理階段的圖像處理算法，消除冗余的專用圖像處理電路，提升了芯片單位面積算力。測試結(jié)果表明，芯片可實現(xiàn)3D深度重建、2D人臉目標檢測和2D目標追蹤算法。圖1和圖2分別為芯片照片和片上算法處理結(jié)果。該工作為設(shè)備功耗與體積均受限的邊緣場景多模態(tài)視覺信息智能處理提供了一個高效且靈活的智能化計算平臺。

該成果由半導體所博士生魏思源等在劉力源研究員的指導下完成。成果得到了國家重點研發(fā)計劃和國家自然科學基金等項目的資助。

圖1 芯片照片

圖2?片上算法推理結(jié)果

（來源：中國科學院半導體研究所）