Model Error 的概念辨析

数据科学
#1

老师，想确认下我对bias,variance以及error, ε这几个概念的理解是不是正确的：(下面的加号不是数学意义，只是表示构成)

training error = generalization error = predicted value - true value = bias + variance + ε

training error 和 generalization error有什么区别吗？

而老师在刚开始讲linear regression的时候写的是 y = wx +b + ε ，这里的噪声其实是包含了bias和variance的对嘛？

#2
  1. 如果这里加号只表示构成，表示严格数学关系的话，你说的是对的。无论training error or testing error (i.e. generalization error), 它的计算式都是predicted value - true value。如果进一步讨论它内部的构成，确实是bias, variance, irreducible error三部分。但是它们的加法关系不是直接与error对应，而是与error在model space上的expectation对应，i.e. E_D(error). 具体可以看咱们的课件。
  2. 这两种error的计算式都是一样的，只不过training error是在training data上算出来的，而generalization error是在非training data, 即model在训练时没见过的数据上算出来的。
  3. 对。y = wx +b + ε，也就是 y_true = y_predict + ε。因此ε就是单个data point的error. 它里面的组成部分是包括bias, variance. 一个数学符号一般不可能只绑定一个物理含义，因为可用的符号非常有限，而我们在机器学习 or 物理等领域需要用符号标识的信息是无穷多的。ε约定俗成一般都用来标识含有"noise, 误差"等物理量， 当然你用a, b去表示它们也是可以的。