本 Wiki 开启了 HTTPS。但由于同 IP 的 Blog 也开启了 HTTPS,因此本站必须要支持 SNI 的浏览器才能浏览。为了兼容一部分浏览器,本站保留了 HTTP 作为兼容。如果您的浏览器支持 SNI,请尽量通过 HTTPS 访问本站,谢谢!
这里会显示出您选择的修订版和当前版本之间的差别。
两侧同时换到之前的修订记录前一修订版后一修订版 | 前一修订版 | ||
math:linear_algebra:matrix_engineers:week3 [2024/01/10 14:31] – [Normal Equation] codinghare | math:linear_algebra:matrix_engineers:week3 [2024/02/02 06:27] (当前版本) – [The Least-squares problem] codinghare | ||
---|---|---|---|
行 459: | 行 459: | ||
\] | \] | ||
很明显,这是一个 linear system。在这个 Linear system 中,$x$, $y$ 都是已知的,而 $\beta_0, \beta_1$ 是未知的。因此可以做下面的变型: | 很明显,这是一个 linear system。在这个 Linear system 中,$x$, $y$ 都是已知的,而 $\beta_0, \beta_1$ 是未知的。因此可以做下面的变型: | ||
+ | \\ \\ | ||
{{ : | {{ : | ||
\\ \\ | \\ \\ | ||
行 488: | 行 489: | ||
\end{align*} | \end{align*} | ||
\] | \] | ||
- | \\ | ||
记作: | 记作: | ||
>$$ | >$$ | ||
行 497: | 行 497: | ||
</ | </ | ||
==Projection matrix== | ==Projection matrix== | ||
+ | 当 $col(A)$ 中的向量是线性无关的时候,$A^TA$ 的结果是一个方阵,是可逆的。因此,对 //Normal Equation// 可以做出进一步的变形: | ||
+ | \\ | ||
+ | \[ | ||
+ | \begin{align*} | ||
+ | & | ||
+ | \Rightarrow & | ||
+ | \Rightarrow &Ax = {\color{Red} A(A^TA)^{-1}A^T} b = b_{proj_{Col(A)}} | ||
+ | \end{align*} | ||
+ | \] | ||
+ | 标红的部分被称为 // | ||
+ | ==利用 normal equation 计算 best fit line== | ||
+ | // | ||
+ | 首先,根据数据点,以 $y = \beta_0 + \beta_1x$ 为模板,建立 linear system。通过 linear system 确定 $A$: | ||
+ | |||
+ | \[ | ||
+ | |||
+ | \begin{pmatrix} | ||
+ | 1&1 \\ | ||
+ | 1& 2\\ | ||
+ | 1&3 | ||
+ | \end{pmatrix} | ||
+ | \begin{pmatrix} | ||
+ | \beta_0\\ | ||
+ | \beta_1 | ||
+ | |||
+ | \end{pmatrix} | ||
+ | = | ||
+ | \begin{pmatrix} | ||
+ | 1\\ | ||
+ | 3\\ | ||
+ | 2 | ||
+ | \end{pmatrix} | ||
+ | \] | ||
+ | 将 $A$ 带入 normal equation: | ||
+ | \[ | ||
+ | \begin{pmatrix*} | ||
+ | 1& | ||
+ | 1& | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | 1&1 \\ | ||
+ | 1& 2\\ | ||
+ | 1&3 | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | \beta_0\\ | ||
+ | \beta_1 | ||
+ | |||
+ | \end{pmatrix*} | ||
+ | = | ||
+ | \begin{pmatrix*} | ||
+ | 1& | ||
+ | 1& | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | 1\\ | ||
+ | 3\\ | ||
+ | 2 | ||
+ | \end{pmatrix*} | ||
+ | \] | ||
+ | \\ | ||
+ | 计算后得到关于 $\beta_0$ 和 $\beta_1$ 的 linear system。此时的未知数与等式数量相同,因此可以求解: | ||
+ | \\ | ||
+ | \[ | ||
+ | \begin{pmatrix*} | ||
+ | 3 &6 \\ | ||
+ | 6 &14 | ||
+ | \end{pmatrix*} | ||
+ | \begin{pmatrix*} | ||
+ | \beta_0\\ | ||
+ | \beta_1 | ||
+ | |||
+ | \end{pmatrix*} | ||
+ | = | ||
+ | \begin{pmatrix*} | ||
+ | 6\\ | ||
+ | 13 | ||
+ | \end{pmatrix*} | ||
+ | |||
+ | \] | ||
+ | \\ 解得 $\beta_0 = 1$,$\beta_1 = 1/ |