神經-線性模型（neural-linear models）

對整個深度網路做完整貝氏推論很難；對一個線性模型卻有封閉解。神經-線性模型把分界線畫在兩者之間，取兩邊之長：把深度網路當作固定的特徵抽取器，將輸入映射到學到的表示，然後只在最後一層上做精確的貝氏線性迴歸或分類。深度部分提供有表達力的特徵；貝氏的末層提供便宜而有原則的不確定性。

照常訓練網路，凍結除最後一層外的所有層，把倒數第二層的激活當作基底函數。對末層權重放一個高斯先驗，你就得到一個共軛的貝氏線性模型，其後驗與預測變異數都有封閉解。這等價於一個核由網路學得的高斯過程，也正是線性化拉普拉斯與深度核方法所趨近的同一個物件。

它快速、在關鍵處精確，是貝氏最佳化與情境式吃角子老虎機的強基準。陷阱在於：特徵是點估計的、並非貝氏的，因此其不確定性忽略了表示本身的不明確；若特徵塌縮或不適用於新區域，末層的不確定性可能自信地出錯。