JOVANA
Explore Library Glossary Getting Started Three Levels Fields How it works Mission
Join the mission
All guides

為何要在顱內運算?功耗、延遲與頻寬之牆

為何要把解碼器搬到植入體上,以及傳統數位運算為何無法跟進到那裡。

三堵牆同時逼近

傳統腦機介面的流程是一種跨越皮膚的分工:電極負責記錄,前端負責數位化,無線電把資料串流出體外,再由工作站或手機負責解碼。這套架構在第一與第二冊都運作良好。然而若沿著 通道數擴展 曲線推進——從數百通道邁向數萬乃至更多——它便會同時撞上三堵物理之牆。

第一堵是頻寬之牆:寬頻皮質內資料量隨通道數線性成長,而穿透組織的無線遙測根本無法承載。第二堵是功耗與熱之牆:電子元件每耗散一毫瓦都會加熱周邊腦組織,而腦組織長期只能容忍不到一度的升溫。第三堵是延遲之牆:任何往返體外運算的路徑都會替回饋迴路增加延遲,而延遲會劣化閉迴路控制。

R = N \cdot f_s \cdot b

原始寬頻資料率等於通道數 N、每通道取樣率 f_s(動作電位需數十 kHz)與位元深度 b 三者之乘積;當 N 很大時可達每秒數 Gb。

具體而言,單支 高密度探針 便能產生每秒數百 Mb 等級的資料,而朝全皮質覆蓋擴展的 高密度 CMOS 陣列 更會進入 Gb/s 區間——遠超過安全、低功耗無線電能穿過顱骨傳輸的量。單靠串流是無法解決這個問題的。

神經形態的答案

神經形態工程——Carver Mead 的原始構想——是要打造一種借用大腦自身技巧、而非與之對抗的矽晶片。此處有三項原則要緊。以稀疏、非同步的事件脈衝)而非密集取樣的波形來表徵資訊;將記憶體與運算並置,使解碼不必把大部分能量花在跨匯流排搬運權重上;並採用事件驅動運作,使電路只在有事發生時才消耗能量。

應用於腦機介面時,這些原則便催生出一種植入體上的神經形態協同處理器:受大腦啟發的矽晶片,在源頭削減資料洪流,並能以比通用 CPU 或 GPU 少上數個數量級的能量進行解碼——或預解碼。它在訊號誕生之處、也就是在撞上頻寬與延遲之牆之前,就完成運算。

神經形態腦機介面協同處理器的三大支柱:事件驅動的感測前端、記憶體內的類比突觸,以及在植入體上低功耗解碼的脈衝網路。

本主題其餘部分將依序探討三大支柱:事件驅動感測(指南 2)、記憶體內類比運算(指南 3),以及具晶上學習的脈衝網路解碼器(指南 4)。指南 5 則進行誠實的盤點——真實的功耗、延遲與熱預算,以及究竟哪些已被證實、哪些僅是期望。

是協同處理器,而非替代品

人們很容易想像整個解碼器都塌縮到單一植入晶片上。這並非近期的現實,佯裝如此正是常見的誇大方式。務實的角色是前端協同處理器:在植入體上進行 尖峰偵測特徵擷取壓縮,把每秒 Gb 的洪流化為涓流,再由下游解碼器——可能仍是傳統式的,也可能在 邊緣裝置 上——加以詮釋。

P_{\text{avg}} = E_{\text{inf}}\, f_{\text{inf}} + P_{\text{static}} \le P_{\text{budget}}

植入體運算的設計約束:平均功率等於每次推論能量 E_{ ext{inf}} 乘以推論率 f_{ ext{inf}} 再加上靜態漏電,且必須落在受熱限制的預算之內。神經形態設計同時攻擊 E_{ ext{inf}}P_{ ext{static}}