視覺神經義肢

人工視覺編碼模型

從攝影機影像到刺激樣式的轉換:決定哪些電極或像素放電、強度多大、何時放電的軟體,使誘發的光幻視能最佳地傳達場景。原始的編碼器僅將影像降取樣至電極網格;較佳的編碼器則對神經編碼與知覺扭曲建模。

兩大研究方向主導此領域。仿生編碼器重現視網膜神經節細胞的編碼(Nirenberg 等人的視網膜編碼器),提升自然場景的可重建性。端對端深度學習編碼器在神經網路編碼器與任務或知覺損失之間嵌入可微分的光幻視模型,直接針對使用者應知覺或執行的內容最佳化刺激,並能學會繞過軸突條紋與電流擴散。

又称
retinal encoderstimulus-to-percept encoder