Переобучается ли алгоритм AdaBoost?
В лекциях по бустингу слышу два, как по мне противоречащих друг другу утверждения:
- AdaBoost не переобучается.
- AdaBoost слишком чуствителен к выбросам из-за экспоненциальной функции потерь.
Но это же взаимосвязанные вещи: переобучение происходит на шумы. Не понимаю, как это соотносится?
Если градиентный бустинг переобучается, то как может не переобучаться AdaBoost? Ведь GBM в случае экспоненциальной функции потерь полностью повторяет алгоритм AdaBoost, т. е. AdaBoost - это частный случай GBM.