本 Wiki 开启了 HTTPS。但由于同 IP 的 Blog 也开启了 HTTPS,因此本站必须要支持 SNI 的浏览器才能浏览。为了兼容一部分浏览器,本站保留了 HTTP 作为兼容。如果您的浏览器支持 SNI,请尽量通过 HTTPS 访问本站,谢谢!
这里会显示出您选择的修订版和当前版本之间的差别。
两侧同时换到之前的修订记录前一修订版后一修订版 | 前一修订版 | ||
math:linear_algebra:matrix_engineers:week3 [2024/01/10 14:25] – [Normal Equation] codinghare | math:linear_algebra:matrix_engineers:week3 [2024/02/02 06:27] (当前版本) – [The Least-squares problem] codinghare | ||
---|---|---|---|
行 459: | 行 459: | ||
\] | \] | ||
很明显,这是一个 linear system。在这个 Linear system 中,$x$, $y$ 都是已知的,而 $\beta_0, \beta_1$ 是未知的。因此可以做下面的变型: | 很明显,这是一个 linear system。在这个 Linear system 中,$x$, $y$ 都是已知的,而 $\beta_0, \beta_1$ 是未知的。因此可以做下面的变型: | ||
+ | \\ \\ | ||
{{ : | {{ : | ||
\\ \\ | \\ \\ | ||
行 476: | 行 477: | ||
\end{align} | \end{align} | ||
\] | \] | ||
- | 由于 $b_{proj_{col(A)}}$ 是在 $col(A)$ 的投影,那么 $ b -b_{proj_{col(A)}$ 显然垂直于 $col(A)$。而通过基础空间之间的关系可知,$col(A) =$row(A^T)$。而 row space 恰好又与对应的 null space 互相垂直(互为 Orthagonal completement),因此: | + | 由于 $b_{proj_{col(A)}}$ 是在 $col(A)$ 的投影,那么 $ b -b_{proj_{col(A)}}$ 显然垂直于 $col(A)$。而通过基础空间之间的关系可知,$col(A) =row(A^T)$。而 row space 恰好又与对应的 null space 互相垂直(互为 Orthagonal completement),因此: |
- | * $ b -b_{proj_{col(A)}$ 与 $col(A)$ 垂直,因此与 $row(A^T)$ 垂直 | + | * $ b -b_{proj_{col(A)}}$ 与 $col(A)$ 垂直,因此与 $row(A^T)$ 垂直 |
- | * 也就是说, $b -b_{proj_{col(A)}$ 属于 $null(A^T)$ | + | * 也就是说, $b -b_{proj_{col(A)}}$ 属于 $null(A^T)$ |
- | 现在我们对 $Ax=b$ 的两边同时乘以 $A^T$:可得到: | + | 现在我们对 $Ax=b$ 的两边同时乘以 $A^T$。由于 $A^Tb_{proj_{col(A)}}$ 属于 $null(A^T)$,因此该分量与 $A^T$ 的乘积为 $0$。由此可以得到以下的推论: |
+ | \\ \\ | ||
+ | \[ | ||
+ | \begin{align*} | ||
+ | A^TAx & = A^Tb_{proj_{col(A)}} + A^T(b -b_{proj_{col(A)}})\\ | ||
+ | & | ||
+ | \end{align*} | ||
+ | \] | ||
+ | 记作: | ||
>$$ | >$$ | ||
A^TAx=A^Tb | A^TAx=A^Tb | ||
$$ | $$ | ||
- | <WRAP center round box 60%> | + | <WRAP center round box 100%> |
这个公式被称为 //Normal Equation// | 这个公式被称为 //Normal Equation// | ||
</ | </ | ||
- | 将 $b$ 以分量的形式表示;由于 $A^Tb_{proj_{col(A)}}$ 属于 $null(A^T)$,因此该分量与 | + | ==Projection matrix== |
- | \\ \\ | + | 当 $col(A)$ |
+ | \\ | ||
\[ | \[ | ||
\begin{align*} | \begin{align*} | ||
- | A^TAx & = A^Tb_{proj_{col(A)}} + A^T(b -b_{proj_{col(A)}})\\ | + | &A^TAx = A^Tb \\ |
- | &=A^Tb_{proj_{col(A)}} | + | \Rightarrow & |
- | \end{align*} | + | \Rightarrow &Ax = {\color{Red} A(A^TA)^{-1}A^T} b = b_{proj_{Col(A)}} |
+ | \end{align*} | ||
\] | \] | ||
- | \\ \\ | + | 标红的部分被称为 // |
+ | ==利用 normal equation 计算 best fit line== | ||
+ | // | ||
+ | 首先,根据数据点,以 $y = \beta_0 + \beta_1x$ 为模板,建立 linear system。通过 linear system 确定 $A$: | ||
+ | \[ | ||
+ | \begin{pmatrix} | ||
+ | 1&1 \\ | ||
+ | 1& 2\\ | ||
+ | 1&3 | ||
+ | \end{pmatrix} | ||
+ | \begin{pmatrix} | ||
+ | \beta_0\\ | ||
+ | \beta_1 | ||
+ | |||
+ | \end{pmatrix} | ||
+ | = | ||
+ | \begin{pmatrix} | ||
+ | 1\\ | ||
+ | 3\\ | ||
+ | 2 | ||
+ | \end{pmatrix} | ||
+ | \] | ||
+ | 将 $A$ 带入 normal equation: | ||
+ | \[ | ||
+ | \begin{pmatrix*} | ||
+ | 1& | ||
+ | 1& | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | 1&1 \\ | ||
+ | 1& 2\\ | ||
+ | 1&3 | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | \beta_0\\ | ||
+ | \beta_1 | ||
+ | |||
+ | \end{pmatrix*} | ||
+ | = | ||
+ | \begin{pmatrix*} | ||
+ | 1& | ||
+ | 1& | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | 1\\ | ||
+ | 3\\ | ||
+ | 2 | ||
+ | \end{pmatrix*} | ||
+ | \] | ||
+ | \\ | ||
+ | 计算后得到关于 $\beta_0$ 和 $\beta_1$ 的 linear system。此时的未知数与等式数量相同,因此可以求解: | ||
+ | \\ | ||
+ | \[ | ||
+ | \begin{pmatrix*} | ||
+ | 3 &6 \\ | ||
+ | 6 &14 | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | \beta_0\\ | ||
+ | \beta_1 | ||
+ | |||
+ | \end{pmatrix*} | ||
+ | = | ||
+ | \begin{pmatrix*} | ||
+ | 6\\ | ||
+ | 13 | ||
+ | \end{pmatrix*} | ||
+ | |||
+ | \] | ||
+ | \\ 解得 $\beta_0 = 1$,$\beta_1 = 1/ |