本 Wiki 开启了 HTTPS。但由于同 IP 的 Blog 也开启了 HTTPS,因此本站必须要支持 SNI 的浏览器才能浏览。为了兼容一部分浏览器,本站保留了 HTTP 作为兼容。如果您的浏览器支持 SNI,请尽量通过 HTTPS 访问本站,谢谢!
这里会显示出您选择的修订版和当前版本之间的差别。
两侧同时换到之前的修订记录前一修订版后一修订版 | 前一修订版 | ||
math:linear_algebra:matrix_engineers:week3 [2024/01/10 14:22] – [求解 Least-Squares Problem] codinghare | math:linear_algebra:matrix_engineers:week3 [2024/02/02 06:27] (当前版本) – [The Least-squares problem] codinghare | ||
---|---|---|---|
行 459: | 行 459: | ||
\] | \] | ||
很明显,这是一个 linear system。在这个 Linear system 中,$x$, $y$ 都是已知的,而 $\beta_0, \beta_1$ 是未知的。因此可以做下面的变型: | 很明显,这是一个 linear system。在这个 Linear system 中,$x$, $y$ 都是已知的,而 $\beta_0, \beta_1$ 是未知的。因此可以做下面的变型: | ||
+ | \\ \\ | ||
{{ : | {{ : | ||
\\ \\ | \\ \\ | ||
行 476: | 行 477: | ||
\end{align} | \end{align} | ||
\] | \] | ||
- | 由于 $b_{proj_{col(A)}}$ 是在 $col(A)$ 的投影,那么 $ b -b_{proj_{col(A)}$ 显然垂直于 $col(A)$。而通过基础空间之间的关系可知,$col(A) =$row(A^T)$。而 row space 恰好又与对应的 null space 互相垂直(互为 Orthagonal completement),因此: | + | 由于 $b_{proj_{col(A)}}$ 是在 $col(A)$ 的投影,那么 $ b -b_{proj_{col(A)}}$ 显然垂直于 $col(A)$。而通过基础空间之间的关系可知,$col(A) =row(A^T)$。而 row space 恰好又与对应的 null space 互相垂直(互为 Orthagonal completement),因此: |
- | * $ b -b_{proj_{col(A)}$ 与 $col(A)$ 垂直,因此与 $row(A^T)$ 垂直 | + | * $ b -b_{proj_{col(A)}}$ 与 $col(A)$ 垂直,因此与 $row(A^T)$ 垂直 |
- | * 也就是说, $b -b_{proj_{col(A)}$ 属于 $null(A^T)$ | + | * 也就是说, $b -b_{proj_{col(A)}}$ 属于 $null(A^T)$ |
- | 现在我们对 $Ax=b$ 的两边同时乘以 $A^T$:可得到: | + | 现在我们对 $Ax=b$ 的两边同时乘以 $A^T$。由于 $A^Tb_{proj_{col(A)}}$ 属于 $null(A^T)$,因此该分量与 $A^T$ 的乘积为 $0$。由此可以得到以下的推论: |
- | $$ | + | \\ \\ |
- | > | + | |
- | $$ | + | |
- | <WRAP center round box 60%> | + | |
- | 这个公式被称为 //Normal Equation// | + | |
- | </ | + | |
- | 将 $b$ 以分量的形式表示;由于 $A^T(b -b_{proj_{col(A)$ 属于 $null(A^T)$,因此该分量与 $A^T$ 的乘积为 $0$。由此可以得到以下的推论: | + | |
\[ | \[ | ||
\begin{align*} | \begin{align*} | ||
行 494: | 行 489: | ||
\end{align*} | \end{align*} | ||
\] | \] | ||
+ | 记作: | ||
+ | >$$ | ||
+ | A^TAx=A^Tb | ||
+ | $$ | ||
+ | <WRAP center round box 100%> | ||
+ | 这个公式被称为 //Normal Equation// | ||
+ | </ | ||
+ | ==Projection matrix== | ||
+ | 当 $col(A)$ 中的向量是线性无关的时候,$A^TA$ 的结果是一个方阵,是可逆的。因此,对 //Normal Equation// 可以做出进一步的变形: | ||
+ | \\ | ||
+ | \[ | ||
+ | \begin{align*} | ||
+ | & | ||
+ | \Rightarrow & | ||
+ | \Rightarrow &Ax = {\color{Red} A(A^TA)^{-1}A^T} b = b_{proj_{Col(A)}} | ||
+ | \end{align*} | ||
+ | \] | ||
+ | 标红的部分被称为 // | ||
+ | ==利用 normal equation 计算 best fit line== | ||
+ | // | ||
+ | 首先,根据数据点,以 $y = \beta_0 + \beta_1x$ 为模板,建立 linear system。通过 linear system 确定 $A$: | ||
+ | \[ | ||
+ | \begin{pmatrix} | ||
+ | 1&1 \\ | ||
+ | 1& 2\\ | ||
+ | 1&3 | ||
+ | \end{pmatrix} | ||
+ | \begin{pmatrix} | ||
+ | \beta_0\\ | ||
+ | \beta_1 | ||
+ | |||
+ | \end{pmatrix} | ||
+ | = | ||
+ | \begin{pmatrix} | ||
+ | 1\\ | ||
+ | 3\\ | ||
+ | 2 | ||
+ | \end{pmatrix} | ||
+ | \] | ||
+ | 将 $A$ 带入 normal equation: | ||
+ | \[ | ||
+ | \begin{pmatrix*} | ||
+ | 1& | ||
+ | 1& | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | 1&1 \\ | ||
+ | 1& 2\\ | ||
+ | 1&3 | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | \beta_0\\ | ||
+ | \beta_1 | ||
+ | |||
+ | \end{pmatrix*} | ||
+ | = | ||
+ | \begin{pmatrix*} | ||
+ | 1& | ||
+ | 1& | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | 1\\ | ||
+ | 3\\ | ||
+ | 2 | ||
+ | \end{pmatrix*} | ||
+ | \] | ||
+ | \\ | ||
+ | 计算后得到关于 $\beta_0$ 和 $\beta_1$ 的 linear system。此时的未知数与等式数量相同,因此可以求解: | ||
+ | \\ | ||
+ | \[ | ||
+ | \begin{pmatrix*} | ||
+ | 3 &6 \\ | ||
+ | 6 &14 | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | \beta_0\\ | ||
+ | \beta_1 | ||
+ | |||
+ | \end{pmatrix*} | ||
+ | = | ||
+ | \begin{pmatrix*} | ||
+ | 6\\ | ||
+ | 13 | ||
+ | \end{pmatrix*} | ||
+ | |||
+ | \] | ||
+ | \\ 解得 $\beta_0 = 1$,$\beta_1 = 1/ |