強化學習理論
蒙地卡羅樹搜尋（Monte Carlo tree search, MCTS）
蒙地卡羅樹搜尋透過想像許多可能的未來來選擇動作，但它會明智地分配有限的模擬次數：對看起來有希望的路線往深處挖，同時偶爾也查看被冷落的選項。歷經多次迭代，它長出一棵偏向「賽局中真正要緊之處」的搜尋樹。
每次迭代分四個階段。選擇階段依樹策略（經典上是 UCT）沿既有的樹下行，UCT 在每個動作的平均價值上，加一個正比於「父節點造訪次數取對數、再除以該動作自身次數，最後開根號」的探索獎勵。擴展階段加入一個新葉節點，模擬階段以一次展開估計該葉的價值，回傳階段則沿路徑更新造訪次數與價值。AlphaZero 以學習而來的價值-策略網路取代隨機展開，由它提供先驗與葉節點評估。
MCTS 是隨時可用（anytime）的基於模型規劃器：它需要模擬器或已知動態，且允許它思考越久，回傳的答案就越好。
a^{\star}=\arg\max_{a}\Big(Q(s,a)+c\sqrt{\tfrac{\ln N(s)}{N(s,a)}}\Big)
UCT 選擇規則：利用高平均價值，同時透過獎勵項探索鮮少造訪的動作。
就算沒有展開或學習評估器，MCTS 仍需模型來展開節點；它靠模擬來規劃，因此模擬器或已知動態不可或缺。
又称
另见