JOVANA
Explore Library Glossary Getting Started Three Levels Fields How it works Mission
Join the mission
All guides

編碼問題:教會裝置大腦的視覺語言

為何寫入視覺是個反問題、視網膜編碼器如何重現神經編碼,以及場景簡化與注視如何讓寥寥數個光幻視承載一整個場景。

寫入問題是一個反問題

要讓大腦看見一個場景,你必須注入「健康視覺通路本來會為那個場景所產生的活動」,再讓完好的下游皮質完成其餘部分。這麼一說,人工視覺就是仿生寫入問題:把視覺系統的編碼反轉過來。運動解碼是一個從神經資料到意圖、良置(well-posed)的前向映射;寫入視覺則是它的反向,而反向問題是困難的——欠約束、對模型誤差敏感,而且因為單一電極會同時驅動多種細胞類型而彼此糾纏。

視網膜編碼器

一個里程碑式的構想重新框定了這個問題。不要把原始像素亮度直接轉送給電極,而是先讓攝影機影像通過一個視網膜自身神經編碼的模型——健康視網膜本會產生的節細胞棘波序列——再施以刺激來重現那些棘波。在模擬中,這種編碼模型方法所重建的影像,遠優於早期裝置採用的原始像素編碼。教訓是:電極應該說視網膜的語言,而非攝影機的語言。

\lambda(t) = \exp\!\big(\mathbf{k} \ast s(t) + b\big)

節細胞的線性—非線性—帕松(LNP)編碼模型:把刺激 s(t) 與時空濾波器 k 卷積,通過一個靜態非線性(此處為指數)與偏置 b,得到瞬時發放率 lambda(t),再以帕松過程抽取棘波。編碼器的任務,就是讓受刺激的視網膜發放出同一個 lambda(t)。

這個但書既誠實又重要。重現編碼的前提,是你能獨立驅動每一種細胞類型、且你知道每個細胞的真實濾波器——但電刺激會不加區別地招募多種細胞類型,因此這個編碼器「說起來」遠比「做得到」容易。這正是為何細胞類型專一的寫入(光遺傳學,見下一篇)如此誘人:它是一條真正能遞送編碼器所算出之編碼的途徑。

場景簡化與注視

當可用的光幻視只有數十到數百個時,你無法呈現完整的場景——因此你必須選擇要顯示什麼。場景簡化把電腦視覺擺在電極之前:邊緣偵測、物件顯著性、深度閾值化,以及對臉孔或文字的強調,決定了哪寥寥幾個光幻視將承載意義。實際上,攝影機與其 AI 負責「感知」,而電極傳達的是經過策展的摘要——是一句圖說,而非一張照片。

由於頭戴式或眼鏡式攝影機不會隨眼睛移動,使用者所看之處必須主動驅動所寫入的內容。注視相依渲染利用眼動追蹤,把影像重新對應到「中央凹此刻所指向之處」的皮質表徵上,好讓知覺隨注視自然移動,而非各自獨立地滑動——這正是上一篇末尾所提「注視失同步」問題的解方。

視網膜拓撲與扭曲的對應圖

一張圖概括整條編碼鏈:場景、編碼器、電極陣列,以及最終產生的光幻視分布。攝影機與皮質之間的一切,都是為了補償那些扭曲、擴散與失效——正是它們,把一張乾淨的影像與大腦最終讀到的東西區隔開來。

從視野到皮質的對應圖,即帶有皮質放大的視網膜拓撲,平滑卻高度不均勻,因此規則的電極陣列會落在視覺空間中一塊不規則的區域上。要確立「哪個電極對應到哪個視野位置與哪種光幻視形狀」,因而是一項逐一受試者的校準——光幻視測繪——於植入後以心理物理方式,逐一電極地、透過詢問當事人「看到什麼、在哪裡」來完成。

由於那張對應圖因人而異、又會隨時間漂移,編碼器無法以固定形式出貨;它必須為每位使用者擬合、並反覆重新校驗。這使視覺義肢直接連上了貫穿第三冊其餘部分的適應性解碼器與表徵漂移問題——視覺義肢是一個閉迴路,必須持續重新學習它自身的輸出。