梯度提升技術係一種機器學習技術,基於函數空間入面嘅提升,但唔同傳統提升用殘差,佢用嘅係偽殘差作為目標。佢提供一個預測模型,呢個模型係由一堆弱預測模型組成嘅,即係話呢啲模型對數據嘅假設好少,通常係簡單嘅決策樹。當弱學習器係決策樹嘅時候,算法就叫做梯度提升樹;佢通常嘅表現會好過隨機森林。同其他提升方法一樣,梯度提升樹模型係分階段建立嘅,但佢通過允許優化任意可微嘅損失函數,將其他方法推廣化咗。