线性代数之 实对称矩阵，正交对角化，二次型与正定矩阵

前言

终于快到矩阵分解了。在矩阵分解前，最后一个内容是实对称矩阵，二次型和正定矩阵。这三个概念与矩阵分解相关。

实对称矩阵

对于矩阵 A ∈ R n × n A\in R^{n\times n} A∈Rn×n，如果 A T = A A^T=A AT=A，则称 A A A为实对称矩阵。

实对称矩阵不同特征值的特征向量正交，n重特征值有n个线性无关的特征向量。因此实对称矩阵必然能够对角化。

实对称矩阵是 n × n n\times n n×n矩阵能够正交对角化的充分必要条件。

正交对角化

如果存在一个正交矩阵 Q Q Q，使得方阵 A = Q Λ Q − 1 = Q Λ Q T A=Q\Lambda Q^-1=Q\Lambda Q^T A=QΛQ−1=QΛQT能够对角化，称为正交对角化。

能够正交对角化的矩阵都是对称矩阵。 证明： A = Q Λ Q T A T = Q Λ T Q T = Q Λ Q T = A A=Q\Lambda Q^T \\ A^T=Q\Lambda^T Q^T=Q\Lambda Q^T=A A=QΛQTAT=QΛTQT=QΛQT=A

二次型

A A A是实对称矩阵，将一个变量满足 f ( x ) = x T A x f(x)=x^TAx f(x)=xTAx函数称为二次型。

对于 f ( x ) = x T A x f(x)=x^TAx f(x)=xTAx，替换变量 x = P y , f ( x ) = f ( P y ) = y T P T A P y x=Py,f(x)=f(Py)=y^TP^TAPy x=Py,f(x)=f(Py)=yTPTAPy，而 A A A是实对称矩阵，因此存在正交矩阵 Q , f ( Q y ) = y T Λ y Q,f(Qy)=y^T\Lambda y Q,f(Qy)=yTΛy，使得二次型化为标准型。

正定矩阵

广义的正定矩阵：对于矩阵 A ∈ R n × n A\in R^{n\times n} A∈Rn×n，函数 f ( x ) = x T A x > 0 f(x)=x^TAx>0 f(x)=xTAx>0对任意非零向量 x ∈ R n x\in R^n x∈Rn都成立，则称 A A A为正定矩阵。如果 f ( x ) = x T A x ≥ 0 f(x)=x^TAx\ge0 f(x)=xTAx≥0，则称 A A A为半正定矩阵。

狭义的正定矩阵：对于对称矩阵 A ∈ R n × n A\in R^{n\times n} A∈Rn×n，函数 f ( x ) = x T A x > 0 f(x)=x^TAx>0 f(x)=xTAx>0对任意非零向量 x ∈ R n x\in R^n x∈Rn都成立，则称 A A A为正定矩阵。如果 f ( x ) = x T A x ≥ 0 f(x)=x^TAx\ge0 f(x)=xTAx≥0，则称 A A A为半正定矩阵。也把这种正定矩阵称为对称正定矩阵。

实对称矩阵的正定判断条件

如果实对称矩阵的特征值都大于0，则是对称正定矩阵；如果特征值都非负，则是对称半正定矩阵。

证明： f ( x ) = x T A x Q Q T = E x = Q y f ( x ) = f ( Q y ) = y T Q T A Q y = y T Λ y = ∑ i = 1 n λ i y i 2 i f λ i > 0 , f ( x ) > 0 i f λ i ≥ 0 , f ( x ) ≥ 0 f(x)=x^TAx \\ QQ^T=E \\ x=Qy\\ f(x)=f(Qy)=y^TQ^TAQy=y^T\Lambda y=\sum_{i=1}^n \lambda_i y_i^2 \\ if \quad \lambda_i>0,f(x)>0 \\ if \quad \lambda_i\ge0,f(x)\ge 0\\ f(x)=xTAxQQT=Ex=Qyf(x)=f(Qy)=yTQTAQy=yTΛy=i=1∑n​λi​yi2​ifλi​>0,f(x)>0ifλi​≥0,f(x)≥0

一个常见的半正定矩阵

对于任意矩阵 A ∈ R m × n A\in R^{m\times n} A∈Rm×n，矩阵 A T A A^TA ATA是半正定矩阵。

证明： x T A T A x = ( A x ) T A x = ( A x ) ⋅ ( A x ) = ∣ ∣ A x ∣ ∣ 2 2 ≥ 0 x^TA^TAx=(Ax)^TAx=(Ax)\cdot(Ax)=||Ax||^2_2\ge0 xTATAx=(Ax)TAx=(Ax)⋅(Ax)=∣∣Ax∣∣22​≥0

如果 A ∈ R m × n A\in R^{m\times n} A∈Rm×n列满秩，则 A T A A^TA ATA是正定矩阵。

证明： A x = 0 → A T A x = 0 A T A x = 0 → x T A T A x = 0 → ∣ ∣ A x ∣ ∣ 2 2 = 0 → A x = 0 ∴ N U L ( A ) = N U L ( A T A ) ∵ d i m N U L ( A ) + r a n k ( A ) = n ∴ r a n k ( A T A ) = r a n k ( A ) r a n k ( A ) = n , d i m N U L ( A ) = 0 ∴ ∀ x ≠ 0 , A x ≠ 0 ∴ ∣ ∣ A x ∣ ∣ 2 2 > 0 i . e . x T A T A x > 0 Ax=0 \to A^TAx=0 \\ A^TAx=0 \to x^TA^TAx=0 \to ||Ax||^2_2=0\to Ax=0 \\ \therefore NUL(A)=NUL(A^TA) \\ \because dimNUL(A)+rank(A)=n \\ \therefore rank(A^TA)=rank(A) \\ \quad \\ rank(A)=n,dimNUL(A)=0 \\ \therefore \forall x\ne 0, A x\ne0 \\ \therefore ||Ax||_2^2>0 \\ \quad \\ i.e. \quad x^TA^TAx>0 Ax=0→ATAx=0ATAx=0→xTATAx=0→∣∣Ax∣∣22​=0→Ax=0∴NUL(A)=NUL(ATA)∵dimNUL(A)+rank(A)=n∴rank(ATA)=rank(A)rank(A)=n,dimNUL(A)=0∴∀x​=0,Ax​=0∴∣∣Ax∣∣22​>0i.e.xTATAx>0

后记

线性代数的矩阵性质部分大概就记录完了。下一篇就进入到了矩阵计算的内容——矩阵分解。