neural network的regularization 方法有 loss function+regularization term；有dropout； 有batch normalization。
当你说PCA 的时候，PCA是和 autoencoder对应，两种解决feature降维的方法。
那PCA算regularization的一种吗？ 还是说regularization是针对模型，PCA & Auto encoder是engineering的方式？PCA 一般是在raw data初级阶段进行，而regularization是在模型过程中进行？我这样说对吗？
谢谢老师！
PCA只是一种dimension reduction的方法，不一定非要与supervised learning建模绑定。比如：我们有一组5维数据，想在二维坐标系上做visualization, 那么我们就可以先做PCA（到二维空间）之后再画图，这个过程中根本就不涉及model training。当然，由于PCA的数据降维功能，它在model training的时候可以通过减少feature的个数来reduce model overfitting (i.e. reduce model variance)。
Regularization是针对loss function的一种优化方法，目的是降低model在test data上的variance，它一定是与supervised learning model training有关的。