多维函数基础知识与几何交互探索
在现代最优化理论中，绝大多数工程问题均建立在多维向量空间 $\mathbb{R}^n$ 上。掌握多维实值函数的水平集拓扑结构、矩阵二次型对称化转换、黑塞矩阵局部曲率判定、范数度量以及二阶泰勒展开逼近，是深入理解梯度下降法、牛顿法和凸优化的数学基石。
MODULE 01
多维实值函数与水平集 (Level Sets / 等高线)
❖ 理论精要：水平集的定义与三大核心性质
设多维标量函数 $f: \mathcal{D} \subseteq \mathbb{R}^n \to \mathbb{R}$。在常数 $c \in \mathbb{R}$ 处的水平集 (Level Set)（在二维空间常称为等高线 / 等值线）定义为：
$$S_c = \{\boldsymbol{x} \in \mathcal{D} \mid f(\boldsymbol{x}) = c\}$$
课件 Slide 5 核心性质归纳：
- 互不相交性：若 $c_1 \neq c_2$，则 $S_{c_1} \cap S_{c_2} = \emptyset$（函数在任意点的值唯一）。
- 稠密程度反映变化率：等高线越稠密，函数梯度模长 $\|\nabla f\|$ 越大，目标函数上升/下降越剧烈；越稀疏则变化越平缓。
- 极值点邻域的同心椭圆族形态：在二阶局部极小点（黑塞矩阵正定）附近，依据二阶泰勒展开，函数曲面近似为二次凸曲面，其等高线近似呈现为一组同心椭圆族。
动态等高线切片视口 (交互移动鼠标探测高度)
x: 0.00, y: 0.00
✦ 高亮荧光线：鼠标当前点对应等高线
十字光标随动探测
水平横截面函数剖面切片 $f(x, y_{\text{cursor}})$
y = 0.00
滑块为0：显示全部等高线
调节：单独高亮某一高度切面
光标点拓扑探测器
二次凸型
自变量 $\boldsymbol{x}$: (0.00, 0.00)
目标函数 $f(\boldsymbol{x})$: 0.000
梯度模长 $\|\nabla f\|$: 0.000
局部拓扑形态: 椭圆正定
💡 观察重点：在 Rosenbrock 函数中，全局最优解位于 $(1, 1)$。等高线在谷底形成一条狭窄极其弯曲的“抛物线香蕉形”低谷，两壁极其陡峭而谷底平缓，梯度下降法在此极易出现严重的“之字形振荡 (Zigzagging)”。
MODULE 02
线性与仿射函数、二次函数与矩阵对称化
❖ 理论原理：为何必须且总能进行“矩阵对称化”？
对于一般的二次函数 $f(\boldsymbol{x}) = \boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} + \boldsymbol{b}^\top \boldsymbol{x} + c$，若矩阵 $\boldsymbol{A}$ 是非对称的，直接求导容易混淆。由于标量 $\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} = (\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x})^\top = \boldsymbol{x}^\top \boldsymbol{A}^\top \boldsymbol{x}$，我们总有恒等分解：
$$\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} = \boldsymbol{x}^\top \left( \frac{\boldsymbol{A} + \boldsymbol{A}^\top}{2} \right) \boldsymbol{x} + \boldsymbol{x}^\top \left( \frac{\boldsymbol{A} - \boldsymbol{A}^\top}{2} \right) \boldsymbol{x}$$
令对称部分 $\boldsymbol{Q} = \frac{1}{2}(\boldsymbol{A} + \boldsymbol{A}^\top)$，反对称部分 $\boldsymbol{K} = \frac{1}{2}(\boldsymbol{A} - \boldsymbol{A}^\top)$。由于对任意向量 $\boldsymbol{x}$，必有 $\boldsymbol{x}^\top \boldsymbol{K} \boldsymbol{x} \equiv 0$！
因此对任意非对称矩阵 $\boldsymbol{A}$，恒有：
$$\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} \equiv \boldsymbol{x}^\top \boldsymbol{Q} \boldsymbol{x}, \quad \text{其中 } \boldsymbol{Q} = \boldsymbol{Q}^\top = \frac{\boldsymbol{A} + \boldsymbol{A}^\top}{2}$$
通俗来讲，这就是课件 Slide 8 所强调的：“对矩阵 $A$ 上下三角交叉对半分”。
输入非对称矩阵 $\boldsymbol{A}$：
同色边框代表转置互换的非对角元对 $(a_{ij}, a_{ji})$，对称化时将其相加除以 2。
$x_1$:
$x_2$:
$x_3$:
对称化分解输出与恒等性实时验证：
恒等性判定：$\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} \equiv \boldsymbol{x}^\top \boldsymbol{Q} \boldsymbol{x}$
计算中...
反对称部分：$\boldsymbol{x}^\top \boldsymbol{K} \boldsymbol{x} = 0.000000$ (严格恒等于0)
🔑 重要结论：在后续求梯度时，若 $A$ 是对称的，$\nabla(\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x}) = 2\boldsymbol{A}\boldsymbol{x}$；若 $A$ 不对称，必须先化为对称阵 $Q$，或直接使用公式 $\nabla(\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x}) = (\boldsymbol{A} + \boldsymbol{A}^\top)\boldsymbol{x} = 2\boldsymbol{Q}\boldsymbol{x}$！
MODULE 03
正定/半正定矩阵判定器与致命反例深度剖析
❖ 判定法则与经典大坑：顺序主子式能判定半正定吗？
设 $\boldsymbol{Q} \in \mathbb{R}^{n \times n}$ 为实对称矩阵：
【性质 1：特征值判定法（充要条件）】
- $\boldsymbol{Q}$ 正定 ($\boldsymbol{Q} > 0$) $\iff$ 所有特征值 $\lambda_i > 0$
- $\boldsymbol{Q}$ 半正定 ($\boldsymbol{Q} \ge 0$) $\iff$ 所有特征值 $\lambda_i \ge 0$
- $\boldsymbol{Q}$ 负定 ($\boldsymbol{Q} < 0$) $\iff$ 所有特征值 $\lambda_i < 0$
- $\boldsymbol{Q}$ 不定 $\iff$ 既有正特征值又有负特征值
【性质 2：主子式判定法（Sylvester 判据）】
- $\boldsymbol{Q}$ 正定 $\iff$ 所有顺序主子式严格大于0 ($\Delta_k > 0, \forall k$)
- $\boldsymbol{Q}$ 负定 $\iff$ 顺序主子式奇负偶正 ($(-1)^k \Delta_k > 0$)
- ⚠️ 极度致命考点：“顺序主子式 $\Delta_k \ge 0$” 不能判定半正定！
🚨 课件 Slide 9 重点警告：顺序主子式非负仅是半正定的必要条件，而非充分条件！
典型反例 1：取矩阵 $\boldsymbol{Q} = \begin{bmatrix} 0 & 0 \\ 0 & -1 \end{bmatrix}$。
• 其 1 阶顺序主子式 $\Delta_1 = 0 \ge 0$；2 阶顺序主子式 $\Delta_2 = \det(\boldsymbol{Q}) = 0 \times (-1) - 0 = 0 \ge 0$。
• 表面上所有顺序主子式均 $\ge 0$！但是取向量 $\boldsymbol{x} = [0, 1]^\top$，二次型值为： $$\boldsymbol{x}^\top \boldsymbol{Q} \boldsymbol{x} = \begin{bmatrix} 0 & 1 \end{bmatrix} \begin{bmatrix} 0 & 0 \\ 0 & -1 \end{bmatrix} \begin{bmatrix} 0 \\ 1 \end{bmatrix} = -1 < 0$$ 矩阵特征值为 $\lambda_1 = 0, \lambda_2 = -1$。该矩阵实际上是半负定矩阵，根本不是半正定矩阵！
• 正确判定半正定的充分必要条件是：所有主子式（Principal Minors，包含非顺序的，共 $2^n - 1$ 个）全部非负，或者直接求特征值全部 $\ge 0$。对于上述反例，其非顺序主子式 $q_{22} = -1 < 0$，立即现出原形！
• 其 1 阶顺序主子式 $\Delta_1 = 0 \ge 0$；2 阶顺序主子式 $\Delta_2 = \det(\boldsymbol{Q}) = 0 \times (-1) - 0 = 0 \ge 0$。
• 表面上所有顺序主子式均 $\ge 0$！但是取向量 $\boldsymbol{x} = [0, 1]^\top$，二次型值为： $$\boldsymbol{x}^\top \boldsymbol{Q} \boldsymbol{x} = \begin{bmatrix} 0 & 1 \end{bmatrix} \begin{bmatrix} 0 & 0 \\ 0 & -1 \end{bmatrix} \begin{bmatrix} 0 \\ 1 \end{bmatrix} = -1 < 0$$ 矩阵特征值为 $\lambda_1 = 0, \lambda_2 = -1$。该矩阵实际上是半负定矩阵，根本不是半正定矩阵！
• 正确判定半正定的充分必要条件是：所有主子式（Principal Minors，包含非顺序的，共 $2^n - 1$ 个）全部非负，或者直接求特征值全部 $\ge 0$。对于上述反例，其非顺序主子式 $q_{22} = -1 < 0$，立即现出原形！
输入实对称矩阵 $\boldsymbol{Q}$：
注：保持 $q_{01} = q_{10}$ 满足实对称矩阵定义。
单位圆二次型分布图 $q(\theta) = [\cos\theta, \sin\theta] \boldsymbol{Q} [\cos\theta, \sin\theta]^\top$
● 正值区域 (绿色)
● 负值区域 (红色)
○ 零点
深度判据分析报告
半负定 (非半正定)
MODULE 04
范数与范数球几何直观与凸性破缺
❖ 理论精要：范数公理与 $L_p$ 范数族
范数 (Norm) 是赋予向量空间“长度”度量的实值函数 $\|\cdot\|: \mathbb{R}^n \to \mathbb{R}$，必须同时满足三大公理：
- 正定性：$\|\boldsymbol{x}\| \ge 0$，且 $\|\boldsymbol{x}\| = 0 \iff \boldsymbol{x} = \boldsymbol{0}$；
- 绝对齐次性：$\|a \boldsymbol{x}\| = |a| \cdot \|\boldsymbol{x}\|, \quad \forall a \in \mathbb{R}$；
- 次可加性（三角不等式）：$\|\boldsymbol{x} + \boldsymbol{y}\| \le \|\boldsymbol{x}\| + \|\boldsymbol{y}\|, \quad \forall \boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^n$。
2D 单位范数球几何轮廓与凸性弦线演练
p = 1.0 (曼哈顿菱形)
— 黄色虚线：连接 (1,0) 与 (0,1) 的弦线
凸集 (Convex Set)
0.5 (星状凹集/非凸)
1.0 (L1 菱形)
2.0 (L2 欧氏圆)
10.0 (接近正方形)
🎯 在稀疏优化中的深刻启示：
• $L_0$“范数”（非零元个数）是离散NP-hard的；
• $L_p (p<1)$ 诱导超稀疏解但其范数球是非凸集，导致优化问题充满大量局部极小，极难全局求解；
• $L_1$ 范数球呈菱形，具有尖锐的棱角 (Cusps)，使得优化解极易落在坐标轴上产生稀疏解 (Sparsity)，同时它又是满足三角不等式的最紧凸松弛（Convex Relaxation）！这就是压缩感知与 Lasso 回归的精髓。
• $L_0$“范数”（非零元个数）是离散NP-hard的；
• $L_p (p<1)$ 诱导超稀疏解但其范数球是非凸集，导致优化问题充满大量局部极小，极难全局求解；
• $L_1$ 范数球呈菱形，具有尖锐的棱角 (Cusps)，使得优化解极易落在坐标轴上产生稀疏解 (Sparsity)，同时它又是满足三角不等式的最紧凸松弛（Convex Relaxation）！这就是压缩感知与 Lasso 回归的精髓。
MODULE 05
梯度与雅可比矩阵：几何意义与微积分链式法则
❖ 梯度的两大几何核心定理
设 $f: \mathbb{R}^n \to \mathbb{R}$ 一阶可微，其梯度 $\nabla f(\boldsymbol{x}) = \left[ \frac{\partial f}{\partial x_1}, \dots, \frac{\partial f}{\partial x_n} \right]^\top \in \mathbb{R}^n$：
定理 1：最速上升方向
沿单位方向 $\boldsymbol{d} (\|\boldsymbol{d}\|=1)$ 的方向导数为： $$\frac{\partial f}{\partial \boldsymbol{d}} = \nabla f(\boldsymbol{x})^\top \boldsymbol{d} = \|\nabla f(\boldsymbol{x})\| \cos\theta$$ 当 $\boldsymbol{d} = \frac{\nabla f(\boldsymbol{x})}{\|\nabla f(\boldsymbol{x})\|}$ 时，$\cos\theta = 1$，取得最大增长率；反之 $-\nabla f$ 为最速下降方向。
沿单位方向 $\boldsymbol{d} (\|\boldsymbol{d}\|=1)$ 的方向导数为： $$\frac{\partial f}{\partial \boldsymbol{d}} = \nabla f(\boldsymbol{x})^\top \boldsymbol{d} = \|\nabla f(\boldsymbol{x})\| \cos\theta$$ 当 $\boldsymbol{d} = \frac{\nabla f(\boldsymbol{x})}{\|\nabla f(\boldsymbol{x})\|}$ 时，$\cos\theta = 1$，取得最大增长率；反之 $-\nabla f$ 为最速下降方向。
定理 2：与等高线切线严格正交
过点 $\boldsymbol{x}_0$ 的水平集为 $f(\boldsymbol{x}) = c$。在该点沿切线方向的微元位移 $\mathrm{d}\boldsymbol{x}$ 上，函数值不变，即： $$\mathrm{d}f = \nabla f(\boldsymbol{x}_0)^\top \mathrm{d}\boldsymbol{x} = 0$$ 因此梯度向量 $\nabla f(\boldsymbol{x}_0)$ 严格垂直于水平集在该点的切向量！
过点 $\boldsymbol{x}_0$ 的水平集为 $f(\boldsymbol{x}) = c$。在该点沿切线方向的微元位移 $\mathrm{d}\boldsymbol{x}$ 上，函数值不变，即： $$\mathrm{d}f = \nabla f(\boldsymbol{x}_0)^\top \mathrm{d}\boldsymbol{x} = 0$$ 因此梯度向量 $\nabla f(\boldsymbol{x}_0)$ 严格垂直于水平集在该点的切向量！
在等高线图上滑动鼠标观察梯度与切线正交性
夹角: 90.0° (严格正交)
▲ 青色箭头：梯度 ∇f (最速上升)
▼ 红色箭头：-∇f (最速下降)
— 金色虚线：等高线切线
当前探测点 $\boldsymbol{x}$:
(1.00, 1.00)
梯度向量 $\nabla f(\boldsymbol{x})$:
[2.00, 4.00]ᵀ
切向量 $\boldsymbol{t}$:
[-4.00, 2.00]ᵀ
内积检验 $\nabla f \cdot \boldsymbol{t}$:
0.000000 ≡ 0
当前方向导数 $\nabla f^\top \boldsymbol{d}$:
2.000 (最大可达 4.472)
📐 雅可比矩阵 (Jacobian Matrix) 与标量梯度的关系：
若向量值函数 $\boldsymbol{f}: \mathbb{R}^n \to \mathbb{R}^m$，其一阶导数矩阵为雅可比矩阵 $\boldsymbol{D}\boldsymbol{f}(\boldsymbol{x}) \in \mathbb{R}^{m \times n}$。当 $m=1$（标量实值函数）时，梯度被定义为列向量，因此两者转置互逆： $$\boldsymbol{D}f(\boldsymbol{x}) = \nabla f(\boldsymbol{x})^\top$$
若向量值函数 $\boldsymbol{f}: \mathbb{R}^n \to \mathbb{R}^m$，其一阶导数矩阵为雅可比矩阵 $\boldsymbol{D}\boldsymbol{f}(\boldsymbol{x}) \in \mathbb{R}^{m \times n}$。当 $m=1$（标量实值函数）时，梯度被定义为列向量，因此两者转置互逆： $$\boldsymbol{D}f(\boldsymbol{x}) = \nabla f(\boldsymbol{x})^\top$$
📚 常见多维函数梯度与矩阵微分速查公式卡 (课件 Slide 18 & 22)
| 函数类型 | 原函数 $f(\boldsymbol{x})$ | 梯度 $\nabla f(\boldsymbol{x})$ | 雅可比导数 $\boldsymbol{D}f(\boldsymbol{x})$ | 说明与推导关键 |
|---|---|---|---|---|
| 常数向量 | $\boldsymbol{c} \in \mathbb{R}^n$ | $\boldsymbol{0}$ | $\boldsymbol{0}^\top$ | 对自变量各分量偏导恒为0 |
| 线性函数 | $\boldsymbol{c}^\top \boldsymbol{x}$ | $\boldsymbol{c}$ | $\boldsymbol{c}^\top$ | $\frac{\partial}{\partial x_i} (\sum c_j x_j) = c_i$ |
| 二范数平方 | $\|\boldsymbol{x}\|^2 = \boldsymbol{x}^\top \boldsymbol{x}$ | $2\boldsymbol{x}$ | $2\boldsymbol{x}^\top$ | $\sum x_i^2$ 求导为 $2x_i$ |
| 二次型 (对称阵) | $\boldsymbol{x}^\top \boldsymbol{Q} \boldsymbol{x} \ (\boldsymbol{Q} = \boldsymbol{Q}^\top)$ | $2\boldsymbol{Q}\boldsymbol{x}$ | $2\boldsymbol{x}^\top \boldsymbol{Q}$ | 最优化算法最核心二次基准 |
| 二次型 (非对称阵) | $\boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x}$ | $(\boldsymbol{A} + \boldsymbol{A}^\top)\boldsymbol{x}$ | $\boldsymbol{x}^\top(\boldsymbol{A} + \boldsymbol{A}^\top)$ | 必须包含转置和以确保对称性 |
| 一般二次函数 | $\frac{1}{2}\boldsymbol{x}^\top \boldsymbol{Q}\boldsymbol{x} + \boldsymbol{b}^\top\boldsymbol{x} + c$ | $\boldsymbol{Q}\boldsymbol{x} + \boldsymbol{b}$ | $\boldsymbol{x}^\top\boldsymbol{Q} + \boldsymbol{b}^\top$ | 标准牛顿步求解基础 |
| 复合仿射映射 | $g(\boldsymbol{x}) = f(\boldsymbol{A}\boldsymbol{x} - \boldsymbol{b})$ | $\boldsymbol{A}^\top \nabla f(\boldsymbol{A}\boldsymbol{x} - \boldsymbol{b})$ | $\boldsymbol{D}f \cdot \boldsymbol{A}$ | 链式法则：$\nabla g = \boldsymbol{D}(\boldsymbol{A}\boldsymbol{x}-\boldsymbol{b})^\top \nabla f$ |
MODULE 06
黑塞矩阵与多维二阶泰勒展开式交互沙盒
❖ 理论精要：多维泰勒展开式的二次模型
设 $f: \mathcal{D} \subseteq \mathbb{R}^n \to \mathbb{R}$ 在基准点 $\boldsymbol{x}_0$ 邻域内二阶连续可微。令位移增量为 $\boldsymbol{p} = \boldsymbol{x} - \boldsymbol{x}_0$：
$$f(\boldsymbol{x}_0 + \boldsymbol{p}) = \underbrace{f(\boldsymbol{x}_0)}_{\text{零阶常数}} + \underbrace{\nabla f(\boldsymbol{x}_0)^\top \boldsymbol{p}}_{\text{一阶仿射平面}} + \underbrace{\frac{1}{2} \boldsymbol{p}^\top \nabla^2 f(\boldsymbol{x}_0) \boldsymbol{p}}_{\text{二阶曲率二次型}} + o(\|\boldsymbol{p}\|^2)$$
其中黑塞矩阵 (Hessian Matrix) $\boldsymbol{F}(\boldsymbol{x}_0) = \nabla^2 f(\boldsymbol{x}_0) \in \mathbb{R}^{n \times n}$ 矩阵元为 $H_{ij} = \frac{\partial^2 f}{\partial x_i \partial x_j}$。由 Schwarz 定理，只要二阶偏导数连续，黑塞矩阵必为实对称矩阵。
● 蓝圈：基准点 x₀ (触控拖动)
→ 绿箭头：位移向量 p (触控拖拽)
◌ 紫色虚线：二阶逼近等高线
$x_{01}$:
$x_{02}$:
$p_1$:
$p_2$:
逼近精度与截断误差阶次对照表：
| 真值 $f(\boldsymbol{x}_0 + \boldsymbol{p})$ | -- |
| 一阶仿射 $T_1 = f_0 + \nabla f_0^\top \boldsymbol{p}$ | -- |
| 二阶泰勒 $T_2 = T_1 + \frac{1}{2}\boldsymbol{p}^\top \nabla^2 f_0 \boldsymbol{p}$ | -- |
| 一阶绝对误差 $|f - T_1|$ | -- |
| 二阶绝对误差 $|f - T_2|$ | -- |
🔬 二阶泰勒展开在最优化中的本质角色：
牛顿法的核心思想就是在每一步迭代中，将非线性目标函数用二阶泰勒多项式 $T_2(\boldsymbol{p})$ 替代，然后令其关于 $\boldsymbol{p}$ 的导数 $\nabla T_2(\boldsymbol{p}) = \nabla f(\boldsymbol{x}_0) + \nabla^2 f(\boldsymbol{x}_0)\boldsymbol{p} = \boldsymbol{0}$，从而直接解析求出牛顿搜索方向：$\boldsymbol{p}_{\text{Newton}} = -[\nabla^2 f(\boldsymbol{x}_0)]^{-1} \nabla f(\boldsymbol{x}_0)$！
牛顿法的核心思想就是在每一步迭代中，将非线性目标函数用二阶泰勒多项式 $T_2(\boldsymbol{p})$ 替代，然后令其关于 $\boldsymbol{p}$ 的导数 $\nabla T_2(\boldsymbol{p}) = \nabla f(\boldsymbol{x}_0) + \nabla^2 f(\boldsymbol{x}_0)\boldsymbol{p} = \boldsymbol{0}$，从而直接解析求出牛顿搜索方向：$\boldsymbol{p}_{\text{Newton}} = -[\nabla^2 f(\boldsymbol{x}_0)]^{-1} \nabla f(\boldsymbol{x}_0)$！
MODULE 07
课程作业与考点实战助手 (HW Q3 & Q4)
【第一次作业第 3 题 / 课件 Slide 23 例 2 原题】
考虑函数 $f(\boldsymbol{x}) = (\boldsymbol{a}^\top \boldsymbol{x})(\boldsymbol{b}^\top \boldsymbol{x})$，其中 $\boldsymbol{a}, \boldsymbol{b}, \boldsymbol{x} \in \mathbb{R}^n$。试计算其梯度 $\nabla f(\boldsymbol{x})$ 与黑塞矩阵 $\boldsymbol{F}(\boldsymbol{x}) = \nabla^2 f(\boldsymbol{x})$。
自定义向量参数与测试点：
详细推导与规范答题步骤：
方法一：标量乘积求导法则（推荐答题写法）
令标量函数 $u(\boldsymbol{x}) = \boldsymbol{a}^\top \boldsymbol{x}$，$v(\boldsymbol{x}) = \boldsymbol{b}^\top \boldsymbol{x}$。易知其梯度分别为： $$\nabla u(\boldsymbol{x}) = \boldsymbol{a}, \quad \nabla v(\boldsymbol{x}) = \boldsymbol{b}$$ 根据乘积求导法则 $\nabla(u v) = u \nabla v + v \nabla u$： $$\nabla f(\boldsymbol{x}) = (\boldsymbol{a}^\top \boldsymbol{x})\boldsymbol{b} + (\boldsymbol{b}^\top \boldsymbol{x})\boldsymbol{a}$$ 利用向量标量乘法与外积恒等式 $(\boldsymbol{a}^\top \boldsymbol{x})\boldsymbol{b} = (\boldsymbol{b}\boldsymbol{a}^\top)\boldsymbol{x}$，同理可得： $$\nabla f(\boldsymbol{x}) = (\boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top)\boldsymbol{x}$$
令标量函数 $u(\boldsymbol{x}) = \boldsymbol{a}^\top \boldsymbol{x}$，$v(\boldsymbol{x}) = \boldsymbol{b}^\top \boldsymbol{x}$。易知其梯度分别为： $$\nabla u(\boldsymbol{x}) = \boldsymbol{a}, \quad \nabla v(\boldsymbol{x}) = \boldsymbol{b}$$ 根据乘积求导法则 $\nabla(u v) = u \nabla v + v \nabla u$： $$\nabla f(\boldsymbol{x}) = (\boldsymbol{a}^\top \boldsymbol{x})\boldsymbol{b} + (\boldsymbol{b}^\top \boldsymbol{x})\boldsymbol{a}$$ 利用向量标量乘法与外积恒等式 $(\boldsymbol{a}^\top \boldsymbol{x})\boldsymbol{b} = (\boldsymbol{b}\boldsymbol{a}^\top)\boldsymbol{x}$，同理可得： $$\nabla f(\boldsymbol{x}) = (\boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top)\boldsymbol{x}$$
计算黑塞矩阵 $\boldsymbol{F}(\boldsymbol{x}) = \nabla^2 f(\boldsymbol{x})$：
由梯度结果 $\nabla f(\boldsymbol{x}) = (\boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top)\boldsymbol{x}$，令常数对称矩阵 $\boldsymbol{M} = \boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top$。由于 $\nabla(\boldsymbol{M}\boldsymbol{x}) = \boldsymbol{M}^\top = \boldsymbol{M}$，直接求导即得： $$\boldsymbol{F}(\boldsymbol{x}) = \nabla^2 f(\boldsymbol{x}) = \boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top$$ 由于 $(\boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top)^\top = \boldsymbol{b}\boldsymbol{a}^\top + \boldsymbol{a}\boldsymbol{b}^\top$，该黑塞矩阵处处为常数实对称阵。
由梯度结果 $\nabla f(\boldsymbol{x}) = (\boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top)\boldsymbol{x}$，令常数对称矩阵 $\boldsymbol{M} = \boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top$。由于 $\nabla(\boldsymbol{M}\boldsymbol{x}) = \boldsymbol{M}^\top = \boldsymbol{M}$，直接求导即得： $$\boldsymbol{F}(\boldsymbol{x}) = \nabla^2 f(\boldsymbol{x}) = \boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top$$ 由于 $(\boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top)^\top = \boldsymbol{b}\boldsymbol{a}^\top + \boldsymbol{a}\boldsymbol{b}^\top$，该黑塞矩阵处处为常数实对称阵。
⚠️ 易错警示：不可随意简写为 $2\boldsymbol{a}\boldsymbol{b}^\top$！因为外积 $\boldsymbol{a}\boldsymbol{b}^\top$ 一般不对称，必须由转置对 $\boldsymbol{a}\boldsymbol{b}^\top + \boldsymbol{b}\boldsymbol{a}^\top$ 才能保证黑塞矩阵的严格对称性。
【第一次作业第 4 题：多维函数二阶泰勒级数展开式全解】
写出下列函数在给定点 $\boldsymbol{x}_0$ 处的泰勒级数展开式，忽略其三次及更高次项：
步骤 1：基准点函数值
$$f(\boldsymbol{x}_0) = 1 \cdot e^{-0} + 0 + 1 = 2$$ 步骤 2：求一阶偏导与梯度
$$\frac{\partial f}{\partial x_1} = e^{-x_2}, \quad \frac{\partial f}{\partial x_2} = -x_1 e^{-x_2} + 1$$ 代入 $\boldsymbol{x}_0 = [1, 0]^\top$： $$\nabla f(\boldsymbol{x}_0) = \begin{bmatrix} e^0 \\ -1 \cdot e^0 + 1 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$$ 步骤 3：求二阶偏导与黑塞矩阵
$$\frac{\partial^2 f}{\partial x_1^2} = 0, \quad \frac{\partial^2 f}{\partial x_1 \partial x_2} = -e^{-x_2}, \quad \frac{\partial^2 f}{\partial x_2^2} = x_1 e^{-x_2}$$ $$\nabla^2 f(\boldsymbol{x}_0) = \begin{bmatrix} 0 & -1 \\ -1 & 1 \end{bmatrix}$$
$$f(\boldsymbol{x}_0) = 1 \cdot e^{-0} + 0 + 1 = 2$$ 步骤 2：求一阶偏导与梯度
$$\frac{\partial f}{\partial x_1} = e^{-x_2}, \quad \frac{\partial f}{\partial x_2} = -x_1 e^{-x_2} + 1$$ 代入 $\boldsymbol{x}_0 = [1, 0]^\top$： $$\nabla f(\boldsymbol{x}_0) = \begin{bmatrix} e^0 \\ -1 \cdot e^0 + 1 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$$ 步骤 3：求二阶偏导与黑塞矩阵
$$\frac{\partial^2 f}{\partial x_1^2} = 0, \quad \frac{\partial^2 f}{\partial x_1 \partial x_2} = -e^{-x_2}, \quad \frac{\partial^2 f}{\partial x_2^2} = x_1 e^{-x_2}$$ $$\nabla^2 f(\boldsymbol{x}_0) = \begin{bmatrix} 0 & -1 \\ -1 & 1 \end{bmatrix}$$
步骤 4：组装二阶泰勒展开式
设 $\boldsymbol{x} - \boldsymbol{x}_0 = \begin{bmatrix} x_1 - 1 \\ x_2 \end{bmatrix}$： $$f(\boldsymbol{x}) \approx f(\boldsymbol{x}_0) + \nabla f(\boldsymbol{x}_0)^\top (\boldsymbol{x} - \boldsymbol{x}_0) + \frac{1}{2}(\boldsymbol{x} - \boldsymbol{x}_0)^\top \nabla^2 f(\boldsymbol{x}_0)(\boldsymbol{x} - \boldsymbol{x}_0)$$ 代入各分量： $$f(\boldsymbol{x}) \approx 2 + \begin{bmatrix} 1 & 0 \end{bmatrix} \begin{bmatrix} x_1 - 1 \\ x_2 \end{bmatrix} + \frac{1}{2} \begin{bmatrix} x_1 - 1 & x_2 \end{bmatrix} \begin{bmatrix} 0 & -1 \\ -1 & 1 \end{bmatrix} \begin{bmatrix} x_1 - 1 \\ x_2 \end{bmatrix}$$ 展开整式结果： $$f(\boldsymbol{x}) \approx 2 + (x_1 - 1) - (x_1 - 1)x_2 + \frac{1}{2} x_2^2$$ 或按变量多项式合并为： $$f(\boldsymbol{x}) \approx 1 + x_1 - x_1 x_2 + x_2 + \frac{1}{2}x_2^2$$
设 $\boldsymbol{x} - \boldsymbol{x}_0 = \begin{bmatrix} x_1 - 1 \\ x_2 \end{bmatrix}$： $$f(\boldsymbol{x}) \approx f(\boldsymbol{x}_0) + \nabla f(\boldsymbol{x}_0)^\top (\boldsymbol{x} - \boldsymbol{x}_0) + \frac{1}{2}(\boldsymbol{x} - \boldsymbol{x}_0)^\top \nabla^2 f(\boldsymbol{x}_0)(\boldsymbol{x} - \boldsymbol{x}_0)$$ 代入各分量： $$f(\boldsymbol{x}) \approx 2 + \begin{bmatrix} 1 & 0 \end{bmatrix} \begin{bmatrix} x_1 - 1 \\ x_2 \end{bmatrix} + \frac{1}{2} \begin{bmatrix} x_1 - 1 & x_2 \end{bmatrix} \begin{bmatrix} 0 & -1 \\ -1 & 1 \end{bmatrix} \begin{bmatrix} x_1 - 1 \\ x_2 \end{bmatrix}$$ 展开整式结果： $$f(\boldsymbol{x}) \approx 2 + (x_1 - 1) - (x_1 - 1)x_2 + \frac{1}{2} x_2^2$$ 或按变量多项式合并为： $$f(\boldsymbol{x}) \approx 1 + x_1 - x_1 x_2 + x_2 + \frac{1}{2}x_2^2$$