特征提取与特征选择（一）主成分分析PCA：小朋友，你是否有很多问号？？？

点赞再看，养成习惯，您动动手指对原创作者意义非凡🤝 备战秋招面试 微信搜索公众号【TechGuide】关注更多新鲜好文和互联网大厂的笔经面经。 作者@TechGuide

当你的才华还撑不起你的野心时，你应该静下心去学习 。

一、前言

毫不夸张地说，主成分分析（Principal Component Analysis）面前，在座的各位都是小朋友，PCA算法距离1901年提出已经过了一百多年，纵然世纪更迭，但是许多人对PCA算法在人脸识别领域中的应用仍然逃不过真香定律，它仍然是目前最简单的以特征量分析多维度统计分布的方法，没有之一，可以说是算法必掌握之利器。

二、为什么要有主成分分析

和这个系列名对应，主成分分析是特征提取的一个常用算法。这时肯定有人对特征提取和特征选择的区别产生疑问，简单来说，特征提取是从N个特征中，通过构造M个函数的方式，获得M个特征，这里每个特征都是包含了前N个特征得出的。而特征选择就是“单纯的”从样本的N个特征中选出前M个最matter（比如在人脸识别中使得识别率最高的）的特征。这两种情况下，M都是小于N的，直观来讲，比如我从样本集中拿出一个神奇宝贝 X i X_i Xi​，他可能包含有N个特征，比如 X i 1 X_{i1} Xi1​是它的类系， X i 2 X_{i2} Xi2​使它的攻击力， X i 3 X_{i3} Xi3​使它的防御力，等等，那么由此得来的样本 X i X_{i} Xi​的特征空间可以表示为 X i = [ X i 1 X i 2 X i 3 . . . X i N ] X_i = \left[ \begin{matrix} X_{i1}\\ X_{i2} \\ X_{i3} \\ ... \\ X_{iN} \\ \end{matrix} \right] Xi​=⎣⎢⎢⎢⎢⎡​Xi1​Xi2​Xi3​...XiN​​⎦⎥⎥⎥⎥⎤​，而这样的N个维度有时对于实际问题来说可能太多了，需要减少样本的维度，而这时候，主成分分析就要来秀一波了，它是降低数据维度的一把好手，比如这个问题，他就可以提取出M个特征使得神奇宝贝的胜率达到最高。 但是要注意，这里重新得到的 X i 1 X_{i1} Xi1​， X i 2 X_{i2} Xi2​，等等已经和之前的不一样了，事实上，这里的每个新特征 （ X i m ， m ∈ 1 到 M ） （X_{im} ，m \in 1到M） （Xim​，m∈1到M）是关于之前N个特征的综合考虑，可以表示为， X i = [ f 1 ( X i 1 , . . . , X i N ) f 2 ( X i 1 , . . . , X i N ) f 3 ( X i 1 , . . . , X i N ) . . . f M ( X i 1 , . . . , X i N ) ] ,   M < N X_i = \left[ \begin{matrix} f_{1}(X_{i1},...,X_{iN})\\ f_{2}(X_{i1},...,X_{iN}) \\ f_{3}(X_{i1},...,X_{iN}) \\ ... \\ f_{M}(X_{i1},...,X_{iN}) \\ \end{matrix} \right],\,M