目录
归一化（Normalization）
标准化（Standarlization）
1.正则化（Regularization）
正则化的L1，L2范数
2.归一化 （Normalization）
归一化（Normalization）是为了消除不同数据之间的量纲，方便数据比较和共同处理，比如在神经网络中，归一化可以加快训练网络的收敛性；
1. 把数据变为（0，1）之间的小数，主要是为了方便数据处理，因为将数据映射到0~1范围之内，可以使处理过程更加便捷、快速。
2. 把有量纲表达式变换为无量纲表达式，成为纯量。经过归一化处理的数据，处于同一数量级，可以消除指标之间量纲和量纲单位的影响，提高不同数据指标之间的可比性。
3. 主要算法：线性转换，即min-max归一化（常用方法）
y=(x-min)/(max-min)
标准化（Standarlization）是为了方便数据的下一步处理，而进行的数据缩放等变换，并不是为了方便与其他数据一同处理或比较，比如数据经过0-1均值标准化后，更利于使用标准正态分布的性质进行处理；
正则化（Regularization）
是利用先验知识，在处理过程中引入正则化因子（regulator）,增加引导约束的作用，比如在逻辑回归中使用正则化，可以有效降低过拟合的现象。
1.正则化（Regularization）1.1 正则化的目的：我的理解就是平衡训练误差与模型复杂度的一种方式，通过加入正则项来避免过拟合（over-fitting）。（可以引入拟合时候的龙格现象，然后引入正则化及正则化的选取，待添加）
优化定义的加了正则项（也叫惩罚项）的损失函数：
正则化的L1，L2范数- L1范数 当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和。
- L2范数 当p=2时，是L2范数， 表示某个向量中所有元素平方和再开根， 也就是欧几里得距离公式。
说L1是稀疏的，L2是平滑的？
正则化（增加模型参数，不要拟合的太真）是一种常用的防止机器学习模型过拟合的技术。过拟合是指模型在训练数据上表现得太好，以至于它不能很好地推广到未见过的数据上。正则化通过引入一个惩罚项来限制模型的复杂度，使得模型在尽可能减小训练误差的同时，也要尽量保持模型的简单。 常见的正则化方法有L1正则化和L2正则化： 1. L1正则化（Lasso回归）：L1正则化将模型的参数权重的绝对值之和作为惩罚项。这意味着模型的某些参数可能会变为零，从而使得模型更稀疏，也就是说模型会依赖于更少的特征。这也使得L1正则化具有特征选择的功能。 2. L2正则化（岭回归）：L2正则化将模型的参数权重的平方和作为惩罚项。这使得模型的参数会被适度地缩小，但是不太可能变为零。这种方法可以防止模型的参数值过大，导致模型过于敏感。 在损失函数中引入这些正则项，模型在训练时不仅要最小化原始的损失函数（如均方误差、交叉熵等），还要尽量使得模型的复杂度（即参数的大小）保持较小。这种权衡使得模型在减小训练误差的同时，也要考虑模型的复杂度，从而防止过拟合。
正则化的选择和调整是一个重要的调参过程，选择合适的正则化方法和参数可以显著地提高模型的泛化性能。
数学上解释正则化的作用假设我们有一个线性回归模型，其损失函数是均方误差（Mean Squared Error，MSE），表示为： L(θ) = Σ(yi - θ*xi)^2 其中 θ 是模型的参数，xi 是输入，yi 是真实输出，Σ 是对所有训练样本的求和。 现在我们要在这个损失函数中引入一个正则化项。对于L2正则化（岭回归），我们添加的是参数的平方和；对于L1正则化（Lasso回归），我们添加的是参数的绝对值。我们将正则化参数表示为 λ，那么带有L2正则化的损失函数可以表示为： L(θ) = Σ(yi - θxi)^2 + λΣθ^2 带有L1正则化的损失函数可以表示为： L(θ) = Σ(yi - θxi)^2 + λΣ|θ| 现在我们的目标是最小化这个新的损失函数。这意味着我们不仅要使预测值与真实值之间的差异尽可能小，也要使模型的参数尽可能小。因为如果模型的参数较大，那么正则化项就会较大，损失函数就会较大。 这就是正则化如何在数学上鼓励模型保持较小的参数的原理。通过选择合适的正则化参数 λ，我们可以控制模型对拟合数据和保持参数小之间的取舍，从而防止过拟合。 需要注意的是，虽然正则化可以帮助防止过拟合，但如果正则化参数 λ 设置得过大，可能会导致模型过于简单，无法捕捉到数据的复杂性，这就是欠拟合。所以，选择合适的正则化参数是一个重要的任务，通常需要通过交叉验证或其他方式进行。
为什么参数小模型会简单在机器学习中，模型的参数决定了模型的复杂性和拟合能力。参数的数量和大小都会影响模型的复杂性。 考虑一个线性模型的例子，该模型的形式为y = θ0 + θ1x1 + θ2x2 + ... + θn*xn。其中，θi是模型的参数，xi是输入特征。模型的输出y是输入特征和参数的线性组合。
如果参数θi的绝对值很大，那么对应的特征xi就会对模型的输出产生很大的影响。换句话说，模型对这个特征非常“敏感”。这可能会导致模型过于复杂，对训练数据中的噪声或异常值过度敏感，导致过拟合。 相反，如果参数θi的绝对值较小，那么对应的特征xi对模型的输出的影响就较小。这意味着模型对这个特征不那么敏感，模型的复杂性相对较低。 正则化就是通过添加一个与参数大小相关的惩罚项来鼓励模型保持较小的参数。这可以防止模型过于依赖某个或某些特征，使得模型对输入数据的各个方面都有适当的关注，从而提高模型的泛化能力。
2.归一化 （Normalization）2.1归一化的目的： 1）归一化后加快了梯度下降求最优解的速度； 2）归一化有可能提高精度。 2.2归一化计算方法 公式： 对于大于1的整数p, Lp norm = sum(|vector|^p)(1/p) 2.3.spark ml中的归一化
