如何計(jì)算隨機(jī)森林中的，變量重要性？首先，對于每一棵樹，每次都用bootstrap方法提取樣本進(jìn)行訓(xùn)練，但是有1/3的數(shù)據(jù)沒有提取出來，所以稱為out-of-bag data（OOB），將OOB引入決策

如何計(jì)算隨機(jī)森林中的，變量重要性？

首先，對于每一棵樹，每次都用bootstrap方法提取樣本進(jìn)行訓(xùn)練，但是有1/3的數(shù)據(jù)沒有提取出來，所以稱為out-of-bag data（OOB），將OOB引入決策樹，計(jì)算誤差error1。對OOB中所有樣本的特征X對應(yīng)的值進(jìn)行噪聲干擾，即隨機(jī)改變特征值，然后將數(shù)據(jù)引入決策樹，計(jì)算誤差2。

對于n個(gè)樹，變量x的重要性計(jì)算為error2-error1的平均值

adaboost隨機(jī)森林什么關(guān)系？

隨機(jī)林將對變量進(jìn)行子采樣，例如，變量為p。隨機(jī)林每次將隨機(jī)選擇log p變量來擬合決策樹。顯然，隨機(jī)森林適合于大磷比的情況。否則，logp可能為1.2。這種情況毫無意義。AdaBoost與gbdt非常相似，可以理解前者是后者的特例。適合p相對較小時(shí)使用。當(dāng)然，這兩種方法都只適用于N>>P情形，即樣本攜帶足夠的信息來擬合非線性關(guān)系。也就是說，隨機(jī)森林不適合于P特別大的情況，如果P>>N，則以Lasso為首的懲罰回歸為首選工具。