[general] 2-1. 편향-분산 절충관계 증명(Bias-Variance Trade-off Proof)

이전 글([Machine Learning] - 2. 모델 학습(How can we train a model?))에서 모델이 학습하는 과정을 어떻게 수식으로 나타낼 수 있는지에 대해 알아보았습니다. 또한 그 수식을 예측모델의 편향과 분산으로 나눌 수 있음을 보았습니다. 이번 글에서는 그 수식을 증명하여 수식의 의미를 조금 더 생각해보겠습니다. 우리가 예측하고자 하는 종속변수 $Y$와 그의 예측 값 $\hat {Y}$간의 차이를 줄이면서 모델을 학습하게 된다고 하였고, 그것을 수식으로 나타내면 다음과 같습니다. $E[(Y-\hat {Y})^2]=\mathbb {E}[f(X)+\epsilon-\hat {f}(X))^2]~~~~\cdots(1) \\ ~~~~~~~~~~~~~~~~~~~~~=\mathbb {E}[..

2021.07.11