3 Bias and variance trade-off英文文献资料.pdf

MACHINE LEARNING CHAPTER 2: LINEAR MODELS FOR REGRESSION LINEAR MODELS FOR REGRESSION 1. The concept of regression 2. Maximum Likelihood and Least Square 3. Over‐fitting and Regularization 4. The Bias‐Variance Trade‐off 5. Bayesian Linear Regression 6. Sparse regression The Bias‐Variance Decomposition Model too “simple”      does not fit the data well • A biased solution The Bias‐Variance Decomposition Model too complex      small changes to the  data, solution changes a lot • A high variance solution  The Bias‐Variance Decomposition D Given dataset     with N samples, learn  function y (x; D) 0 If you sample a different dataset     , you will  D 0 learn different y (x; D ) y (x; D) 0 y (x; D ) The Bias‐Variance Decomposition y (x; D) 0 y (x; D ) Expected hypothesis: ED [y (x; D)] Take the average over the  ensemble of data sets. The Bias‐Variance Decomposition Bias: difference between what you expected  to learn and the truth • Measure how well you expected to  represent true solution • Decreased with more complex model average learned model truth distribution of input The Bias‐Variance Decomposition Variance: difference between what you  expected to learn and what you learn from a  particular dataset • Measure how sensitive learner is to specific  dataset • Decreases with simple model The Bias‐Variance Decomposition Choice of hypothesis cl