貝氏深度學習
保形預測(conformal prediction)
多數不確定性方法給你一個你只能選擇相信的數字。保形預測給你的是一個保證。把它套在任何訓練好的模型外面,對於你選定的錯誤率(例如百分之十),它回傳的不是單一標籤,而是一個預測集或迴歸區間,數學上確定至少有百分之九十的時候會包含真正的答案,除了可交換性之外,對模型與資料分布不作任何假設。
分割(歸納式)配方很簡單:在一個保留的校準集上,依模型衡量每個真標籤有多「不合群」,用一個不符合度分數,例如一減去正確類別的 softmax 機率;取這些分數的經驗 1 減 alpha 分位數;測試時把所有分數落在該門檻以下的標籤都納入。校準點與測試點的可交換性,便對任意底層預測器精確地產生 1 減 alpha 的有限樣本、無分布假設的邊際覆蓋率。
它是事後、與模型無關的,而且日益成為部署時不確定性的實務標準。兩個誠實的提醒:這個保證是邊際的、對輸入平均,而非對每個輸入條件化的,因此在容易的輸入上集合可能過寬、在困難的輸入上可能過窄,APS 與 RAPS 等自適應變體有幫助;而可交換性假設在分布偏移下會破裂,加權與線上保形方法試圖修補這點。
C(x)=\{\,y:\ s(x,y)\le\hat q_{1-\alpha}\,\},\qquad \mathbb{P}\big(y\in C(x)\big)\ge 1-\alpha
預測集保留所有不符合度分數低於校準分位數的標籤。
又稱
另見