鲁棒性与可解释性

反事实解释(counterfactual explanation)

/ kown-ter-FAK-choo-ul ek-spluh-NAY-shun /

反事实解释,回答的是一个清新得很「人性」的问题:「得改变什么,模型才会做出不同的决定?」它不去剖解模型那团缠绕的推理,而是给你一个具体的「另一种可能」:「你的贷款被拒了。倘若你的年收入再高5000美元,它本会获批。」它解释一个决定,靠的不是打开那只箱子,而是给你看「答案翻转过来的那个最近的世界」。

其魅力在于:这正合人天生推敲决定的方式——我们是靠一个个小小的「要是……会怎样」来理解事情的。一个好的反事实是「最小的」(改动尽可能少)、「现实的」(你不能要求一个人去改自己的年龄或出生地)、且「可行动的」(它指向某件那人真能去做的事)。当这三点都成立时,它就成了「补救之道」(recourse):不只是一个解释,更是一条「下回如何拿到不同结果」的实用建议。

反事实之所以要紧,是因为对一个决定的承受方而言,它往往是最有用、也最少误导的解释形式。它绕开了「假装揭示模型真正内在逻辑」的那个陷阱——它只描述模型在某一个输入附近的行为,而这恰恰是受影响者所需要的。诚实的告诫是:一个模型通常有许许多多个可能的反事实(要给人看哪一个,是个有后果的选择);而且,反事实描述的是模型的怪癖,未必是现实世界里的原因——照着它的建议去做,改变的是模型的判决,却未必总能改变你底下那个真实的处境。

一个求职筛选模型拒绝了一位申请人。一个反事实解释说:「再多一年相关工作经验,这份申请本会被接受。」这条既可行动又清楚。对照一个糟糕的:「倘若你再年轻五岁,本会被接受」——技术上也是一个反事实,可作为建议它毫无用处,还是年龄歧视的一面红旗。

一个有用的反事实,指向某件你真能去改变的事——还能把偏见暴露出来。

一个反事实告诉你的,是如何翻转模型的决定,而这与「如何改变你现实世界里的结果」并不是一回事。如果模型倚仗的是一个虚假特征,那么对那个特征「做手脚」,可能翻得了判决,却改善不了任何真实的东西。反事实是关于模型的建议,所以它的可信度,不会超过它背后那个模型。

又称
counterfactualwhat-if explanationrecourse反事实解释反事實解釋