重要性加權自編碼器（IWAE）

變分自編碼器最佳化的是一個單樣本下界，當近似後驗與真後驗差得多時它可能很鬆。重要性加權自編碼器只用一個簡單做法收緊這個界：在取對數之前先對數個潛在樣本取平均。直覺上，抽出許多猜測、再依各自解釋資料的好壞加權，能讓少數幸運的樣本拯救整個估計，於是模型不會因後驗不完美而被過度苛責。

形式上，目標是對多個潛在抽樣之重要性權重取平均後再取對數，其中每個權重是聯合密度與提議分布之比。這個多樣本界可證明至少與標準 ELBO 一樣緊，並隨樣本數增加而單調變緊，在極限下收斂到真正的對數似然。改進有代價：每步要更多樣本，而且隨著樣本數增加，傳給編碼器的逐樣本梯度訊號其實會變弱，若不修正會拖慢推論網路的學習。

IWAE 是個典範示範，說明 ELBO 只是一族合法似然界的其中一員，並為那些以額外計算換取更忠實似然估計的、更緊的蒙地卡羅目標打開了大門。