用機器學習估計效應

從識別到估計

指南 2 把 ATE 化約為一個由條件期望（如 E[Y | X, Z]）與處置機率組成的調整公式。那些條件函數——稱為擾動函數（nuisance functions）——正是監督式學習的拿手好戲。誘惑顯而易見：為每一部分擬合一個強力的隨機森林或梯度提升模型，代入公式，讀出效應。這個代入式（plug-in）做法，也正是天真因果機器學習出錯之處。

傾向分數

一個基礎工具是傾向分數（propensity score）：e(Z) = P(X = 1 | Z)，即在共變數給定下接受處置的機率。Rosenbaum 與 Rubin 的洞見是：對這單一純量做條件化，就足以從高維的 Z 中移除混淆——它是一個平衡分數（balancing score）。傾向分數配對（propensity score matching）直接運用它：把每個處置個體與傾向分數相近的對照個體配對，讓配對組內唯一的系統性差異就是處置本身，藉此模擬一場小型的隨機實驗。

e(Z)\;=\;\Pr\!\left(X = 1 \mid Z\right)

倾向得分：在给定协变量下接受处理的概率。

為何天真代入會有偏

靈活的機器學習模型被調校來預測得好，這意味著它們以一點偏誤換取大量變異的降低——正則化刻意把估計值往中心收縮。這種偏誤對預測無害，對代入式因果估計卻是毒藥：模型的正則化偏誤會以一階的量級，直接滲漏進效應估計。結果是一個中心擺錯位置的信賴區間，無論樣本多大都救不回來。更深一層的診斷是：代入式估計對擾動函數的微小誤差過度敏感。

雙重機器學習

雙重機器學習（double machine learning, DML）用兩個想法修正這點。其一，Neyman 正交性：為效應建構一個分數函數，使其對擾動函數的導數在真值處為零。如此一來，擾動的微小誤差只在二階傷害估計——其一階影響相互抵消。具體做法是取殘差：用 Z 預測 Y、用 Z 預測 X，再把 Y 的殘差對 X 的殘差做迴歸（Robinson 的偏剔除法）。其二，交叉擬合（cross-fitting）：在一折上估計擾動函數、在另一被保留的折上評估分數，使同一個資料點絕不同時訓練擾動函數又貢獻於效應——這正消除了熟悉交叉驗證的讀者會認得的那種過度擬合偏誤。

\hat{\theta}=\frac{\sum_i \bigl(X_i-\hat{m}(Z_i)\bigr)\bigl(Y_i-\hat{\ell}(Z_i)\bigr)}{\sum_i \bigl(X_i-\hat{m}(Z_i)\bigr)^2},\qquad \hat{m}(Z)\!\approx\! E[X\mid Z],\ \ \hat{\ell}(Z)\!\approx\! E[Y\mid Z]

双重机器学习：用灵活的机器学习剔除协变量后，再用结果残差对处理残差做回归。

# Double ML for a partially linear model Y = theta*X + g(Z) + e
for fold k in cross_fitting_folds:
    train, eval = split_excluding(k), fold(k)
    m_Y = fit_ml(Z -> Y, on=train)     # outcome model
    m_X = fit_ml(Z -> X, on=train)     # propensity / treatment model
    rY = Y[eval] - m_Y.predict(Z[eval])  # outcome residuals
    rX = X[eval] - m_X.predict(Z[eval])  # treatment residuals
# theta_hat solves the orthogonal score: regress rY on rX
theta_hat = sum(rX * rY) / sum(rX * rX)

把 Y 與 X 都對共變數取殘差，再以殘差對殘差做迴歸。正交性加上交叉擬合，給出有效的信賴區間。

超越平均：異質效應

平均值會掩蓋一切要緊的事。一種對年輕人有益、對年長者有害的藥，可能呈現出接近零的 ATE。條件平均處置效應（conditional average treatment effect, CATE），τ(z) = E[Y(1) − Y(0) | Z = z]，把異質性還原回來：效應作為「你是誰」的函數。正交、交叉擬合的機制可延伸到 CATE——因果森林（causal forest）、R-learner 與 DR-learner 都建立在相同的 Neyman 正交分數上，讓靈活模型能在不繼承擾動偏誤的情況下估計 τ(z)。

\tau(z)\;=\;\mathbb{E}\!\left[\,Y(1)-Y(0)\;\middle|\;Z=z\,\right]

条件平均处理效应：协变量取值为 z 的子群体的平均处理效应。

CATE 也是通往決策的橋樑：知道 τ(z) 就告訴你該對誰施予處置。指南 4 會透過增益模型（uplift modeling）把它轉成目標投放策略；在此，只要先掌握一個原則：估計每個個體的效應，比估計平均值更難，並對重疊性與正交性要求更高的紀律。