1. $H^T r = 0$ 意味着残差与 $H$ 的每一列都正交，而列空间由这些列张成，所以残差与整个列空间正交。
2. 函数可以用无穷级数（如泰勒级数）展开，每个基函数对应一个维度，理论上需要无限个基函数才能精确表示任意函数。
3. 随机变量的"内积"通过期望定义，因为期望衡量了两个随机变量的线性相关性。当 $E[XY]=0$ 时它们正交（不相关）。
从公式到几何——最小二乘是投影，估计也是投影，一切都关于内积空间中的垂直。
理解最小二乘的几何解释，掌握内积空间与投影的基本概念
建议先完成前面的课程，或具备线性代数与概率论基础。
上一讲得到：
移项：
这表示残差 $r = y - H\hat x$ 与 $H$ 的每一列都正交。
因为 $R(H)$ 由 $H$ 的列向量张成，所以：
最小二乘解满足：
也就是 $H\hat x$ 是 $R(H)$ 中离 $y$ 最近的点。
🌞 通俗故事： 你站在地面上，太阳在正上方，你的影子落在地面。你本人是 $y$，地面是子空间，影子是投影，人与影子的垂直距离就是残差。
因为 $y = H\hat x + (y - H\hat x)$ 且两部分正交：
这就是最小二乘的几何解释——向量分解为正交的两部分。
在 $\mathbb R^n$ 中，正交由点积定义：
但后面要估计随机变量。随机变量不是普通有限维向量，却也可以定义"内积"：
🎯 统一视角： 为了统一普通向量、函数、随机变量这些不同的对象，需要内积空间的抽象框架。
内积 $\langle u, v \rangle$ 满足三条性质：
（实空间）
且等号仅当 $u=0$
在 $\mathbb R^n$ 中，标准内积：
例如：
满足所有内积条件，是最直观的例子。
课堂中提到：若 $M > 0$，验证：
是合法内积。
以下哪个条件不是加权内积 $\langle x,y \rangle = x^T M y$ 成为合法内积的必要条件？
考虑连续函数空间 $C[0,1]$，定义：
这也是内积。
一个函数可以由无穷多个基函数组合出来，例如：
所以函数空间通常是无限维的。
若 $\langle f, f \rangle = \int_{0}^1 f(t)^2 dt = 0$，由于 $f(t)^2 \ge 0$，积分为 0 意味着 $f(t)$ 在整个区间上为 0。
📝 证明思路： 如果某点 $f(t_{1}) \ne 0$，由连续性可知附近一小段也不为 0，积分就会大于 0，矛盾。
后面我们会把随机变量看作内积空间中的元素：
表示不相关
表示最佳估计
表示没有剩余可用信息
🧱 桥梁： 一旦你理解投影，后面的 LMMSE 和 Kalman Filter 就不再是凭空出现的公式，而是同一个几何思想的延伸。
本讲最重要的转变是：从"公式求解"转到"空间投影"。
一切都建立在内积空间的几何之上。
1. $H^T r = 0$ 意味着残差与 $H$ 的每一列都正交，而列空间由这些列张成，所以残差与整个列空间正交。
2. 函数可以用无穷级数（如泰勒级数）展开，每个基函数对应一个维度，理论上需要无限个基函数才能精确表示任意函数。
3. 随机变量的"内积"通过期望定义，因为期望衡量了两个随机变量的线性相关性。当 $E[XY]=0$ 时它们正交（不相关）。
施老师大课堂 · 研讨会系列 12 · KF L9 最小二乘几何、内积空间与投影准备
字幕来源：subtitles/20260301_施凌_研讨会系列12_KF_L9_audio_b5a4df70f4ab28fa.srt