語音與語言神經義肢
構音動作學(運動學)語音解碼
一種中介表徵策略:不將神經活動直接對應到聲音或文字,而是先解碼聲道構音器官的動作,包括嘴唇開合、舌體與舌尖位置、下顎張開,以及喉部與發聲,通常以動作序列(gestural score)或構音特徵軌跡來表示,之後才將這些動作對應到聲學訊號。其理由是運動皮質編碼的是動作,因此構音動作學與神經活動的線性關係,比與原始聲學頻譜圖之間的關係更強。
Anumanchipalli、Chartier 與 Chang(2019)正是使用這種「神經到構音再到聲學」的兩階段管線,從皮質腦電圖合成出可辨識的句子,並證明所解碼的構音表徵比直接的「神經到聲學」對應具有更好的類推能力。
解碼一段「嘴唇先閉合再張開、同時喉部發聲」的軌跡,也就是 /b/ 的構音特徵,再交給合成器,而不是直接嘗試分類其聲學爆破音。
以構音動作作為中介,比直接對應聲學訊號更容易從運動皮質訊號解碼。
在癱瘓使用者身上,嘗試發聲時真正的構音器官動作無法被觀測,因此須以在健全說話者身上擬合的「聲學到構音」反演模型加以推估;這個借來的運動學目標帶來了模型依賴性與可能的失配。
又稱
另見