深度核學習（DKL）

高斯過程能給出漂亮、校準良好的不確定性，但仰賴一個核，一種相似度度量，而這通常得手工設計，且標準的核在原始影像或文字上表現很差。深度核學習讓神經網路去學這個相似度度量：先把輸入推過深度網路得到一個表示，再在那個學到的空間中套用標準的 GP 核。網路提供有彈性的特徵；GP 在其上提供有原則的不確定性。

形式上，核變成在兩個輸入的深度網路嵌入上計算的一個基底核，而全部（網路權重、基底核的超參數、觀測雜訊）都透過最大化 GP 的邊際概似聯合訓練，並以可擴展的 GP 機制（誘導點、KISS-GP）來處理大資料。Wilson 等人提出它，作為以深度網路的表示能力取得 GP 非參數不確定性的辦法。

它把校準良好的 GP 不確定性與學到的特徵結合，並與神經-線性模型密切相關，後者正是只取末層的特例。危險在於把核過擬合：因為邊際概似是在一個極有彈性的特徵映射上最佳化，DKL 可能把距離壓縮、產生過度自信、校準不良的不確定性，除非加以正則化，後續工作已記錄此問題並嘗試修正。