神經資料的深度學習

連結時序分類(CTC)

連結時序分類(CTC)是一種損失與解碼機制,讓循環或卷積網路把輸入序列對映到較短的輸出序列(例如把神經活動對映到一串音素或字元),而不需兩者間逐幀的對齊。它引入一個空白符號,並把所有會塌縮為目標標籤的對齊路徑之機率加總,因此網路自行學會符號出現的位置,而非被告知。這解決了語音與手寫 BCI 的核心障礙——從連續皮質活動到離散單元的對映並未預先切分。

CTC 假設在給定輸入下各輸出彼此條件獨立,因此解碼時通常在束搜尋(beam search)中結合外部語言模型,以施加詞彙與語法結構——正是這種「迴路中的語言模型」把手寫與語音 BCI 的準確率提升到可用於溝通的水準。

在手寫 BCI 中,循環網路讀取使用者嘗試寫字時的運動皮質活動,並在 CTC 訓練下輸出字元串流,而無需任何人標記哪些神經樣本對應哪一筆劃;語言模型的束搜尋再把原始輸出修正為流暢文字。

CTC 讓網路自行學會連續皮質活動與離散字元之間的對齊。

又稱
CTCCTC loss