1. 绪论

1.2 概率论

概率的加法公式

$p(X) = \sum_{Y} (X,Y)$

概率的乘法公式

$p(X,Y) = p(Y|X)p(X)$

贝叶斯公式

$p(Y|X) = \frac{p(X|Y)p(Y)}{p(X)} = \frac{p(X|Y)p(Y)}{\sum_{Y} p(X|Y)p(Y)}$

1.2.1 概率密度

考虑 $x = g(y)$, 那么 $p_{x}(x)\delta x ≃ p_{y}(y)\delta y$. 从而有：

$p_{y}(y) = p_{x}(x)|\frac{dy}{dx}| = p_{x}(g(y))|g^{\prime}(y)|$

这里 $p_{x}, p_{y}$ 可以理解为针对随机变量 $x,y$ 的概率密度函数。

连续形式的加法公式

$p(x) = \int p(x,y) dy$

连续形式的乘法公式

$p(x,y) = p(y|x)p(x)$

1.2.2 期望和协方差

离散和连续形式期望分别定义为：

$\mathbb{E}[f] = \sum_{x}p(x)f(x)$ $\mathbb{E}[f] = \int p(x)f(x)dx$

两种形式下，期望都可以通过采样估计：

$\mathbb{E}[f] ≃ \frac{1}{N} \sum_{n=1}^{N} f(x_n)$

多变量函数期望中，可以通过下标指定被平均的是哪个变量。例如下式是关于 $y$ 的函数

$\mathbb{E}_{x}[f(x,y)]$

方差定义为

$\text{var}[f] = \mathbb{E}[(f(x)-\mathbb{E}[f(x)])^2] = \mathbb{E}[f(x)^2] - \mathbb{E}[f(x)]^2$

变量自身方差

$\text{var}[x] = \mathbb{E}[x^2] - \mathbb{E}[x]^2$

变量 $x$, $y$ 的协方差定义为

$\text{cov}[x,y] = \mathbb{E}_{x,y}[\{x-\mathbb{E}[x]\}\{y-\mathbb{E}[y]\}] = \mathbb{E}_{x,y}[xy]-\mathbb{E}[x]\mathbb{E}[y]$

它表⽰在多⼤程度上 $x$ 和 $y$ 会共同变化。如果x和y相互独⽴，那么它们的协⽅差为0。

在两个随机向量 $\boldsymbol{}{x}$ 和 $\boldsymbol{}{y}$ 的情形下，协⽅差是⼀个矩阵

$\text{cov}[\boldsymbol{}{x},\boldsymbol{}{y}] = \mathbb{E}_{\boldsymbol{}{x},\boldsymbol{}{y}}[\{\boldsymbol{}{x}-\mathbb{E}[\boldsymbol{}{x}]\}\{\boldsymbol{}{y}^{T}-\mathbb{E}[\boldsymbol{}{y}]^{T}\}] = \mathbb{E}_{\boldsymbol{}{x},\boldsymbol{}{y}}[\boldsymbol{}{x}\boldsymbol{}{y}^{T}]-\mathbb{E}[\boldsymbol{}{x}]\mathbb{E}[\boldsymbol{}{y}^{T}]$

考虑 $\boldsymbol{x}$ 各个分量的协方差时，记号可以简化

$\text{cov}[\boldsymbol{}{x}] ≡ \text{cov}[\boldsymbol{}{x},\boldsymbol{}{x}]$

1.2.3 贝叶斯概率

贝叶斯公式的一个实际意义是，在观测到结果 $\mathcal{D}$ 前，我们对模型参数 $\boldsymbol{}{w}$ 有一个先验估计 $P(\boldsymbol{}{w})$, 观测数据的效果则可以贝叶斯公式表示

$p(\boldsymbol{}{w}|\mathcal{D}) = \frac{p(\mathcal{D}|\boldsymbol{}{w})p(\boldsymbol{}{w})}{p(\mathcal{D})}$

我们可以用自然语言描述贝叶斯定理

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

对上面的贝叶斯公式两边同时积分得到

$p(\mathcal{D}) = \int p(\mathcal{D}|\boldsymbol{}{w})p(\boldsymbol{}{w}) d\boldsymbol{}{w}$

$p(\mathcal{D}|\boldsymbol{}{w})$ 由结果 $\mathcal{D}$ 来确定，可以看作关于 $\boldsymbol{}{w}$ 的函数。注意：似然函数不是 $\boldsymbol{}{w}$ 的概率分布，并且它关于 $\boldsymbol{}{w}$ 的积分并不（⼀定）等于1。

贝叶斯观点的⼀个优点是对先验概率的包含是很⾃然的事情。

1.2.4 高斯分布

一元和多元高斯分布的定义分别为

$\mathcal{N}(x|\mu, \sigma^2) = \frac{1}{(2\pi\sigma^2)^{\frac{1}{2}}}\exp(-\frac{1}{2\sigma^{2}}(x-\mu)^{2})$ $\mathcal{N}(\boldsymbol{}{x}|\boldsymbol{}{\mu}, \boldsymbol{}{\sigma}^2) = \frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{|\Sigma|^{\frac{1}{2}}}\exp(-\frac{1}{2}(\boldsymbol{}{x}-\boldsymbol{}{\mu})^{T}\Sigma^{-1}(\boldsymbol{}{x}-\boldsymbol{}{\mu}))$

我们从均值 $\mu$, 方差 $\sigma^{2}$ 的高斯分布中独立同分布地获取 $N$ 次观测，记为 $\mathbf{x} = \{x_1, \dots, x_N\}^{T}$. 我们已经看到两个独⽴事件的联合概率可以由各个事件的边缘概率的乘积得到。由于我们的数据集 $\mathbf{x}$ 是独⽴同分布的，因此给定 $\mu$ 和 $\sigma^2$, 我们可以给出数据集的概率，同时也是似然函数，为

$p(\mathbf{x}|\mu, \sigma^2) = \prod_{n=1}^{N} \mathcal{N}(x_n|\mu,\sigma^{2})$

对数似然函数为

$\ln p(\mathbf{x}|\mu, \sigma^2) = -\frac{1}{2\sigma^2}\sum_{n=1}^{N}(x_n-\mu)^{2} - \frac{N}{2}\ln\sigma^2 - \frac{N}{2}\ln(2\pi)$

对 $\mu$ 求导，得到 $\mu$ 的最大似然解

$\begin{equation} \begin{aligned} \frac{\partial p(\mathbf{x}|\mu, \sigma^2)}{\partial \mu} &= \frac{\partial (-\frac{1}{2\sigma^2}\sum_{n=1}^{N}(x_n-\mu)^{2})}{\partial \mu} \notag \\ &= -\frac{1}{2\sigma^2}\sum_{n=1}^{N}(-2(x_n-\mu)) \\ &= \frac{\sum_{n=1}^{N}(x_n-\mu)}{\sigma^2} \end{aligned} \end{equation}$ $\begin{equation} \begin{aligned} \frac{\sum_{n=1}^{N}(x_n-\mu_{ML})}{\sigma^2} &= 0 \notag \\ \mu_{ML} &= \frac{1}{N}\sum_{n=1}^{N}x_n \end{aligned} \end{equation}$

同理，对 $\sigma^2$ 求导，得到 $\sigma^2$ 的最大似然解

$\begin{equation} \begin{aligned} \frac{\partial p(\mathbf{x}|\mu, \sigma^2)}{\partial \sigma^2} &= \frac{\partial (-\frac{1}{2\sigma^2}\sum_{n=1}^{N}(x_n-\mu)^{2}-\frac{N}{2}\ln\sigma^2)}{\partial \sigma^2} \notag \\ &= \frac{\sum_{n=1}^{N}(x_n-\mu)^{2}}{2\sigma^3} - \frac{N}{2\sigma} \end{aligned} \end{equation}$ $\begin{equation} \begin{aligned} \frac{\sum_{n=1}^{N}(x_n-\mu)^{2}}{2\sigma^3} - \frac{N}{2\sigma} &= 0 \notag \\ \sigma_{ML}^2 &= \frac{\sum_{n=1}^{N}(x_n-\mu)^{2}}{N} \end{aligned} \end{equation}$

用 $\mu$ 的最大似然解 $\mu_{ML}$ 替代 $\mu$, 得到

$\sigma_{ML}^2 = \frac{\sum_{n=1}^{N}(x_n-\mu_{ML})^{2}}{N}$

$\mu_{ML}$ 显然是 $\mu$ 的无偏估计；但由于我们在计算 $\sigma^{2}$ 时使用 $\mu_{ML}$ 替代了 $\mu$, 因此 $\sigma_{ML}^2$ 对 $\sigma^{2}$ 的估计是有偏的。

$\mathbf{E}(\mu_{ML}) = \mu, \quad \mathbf{E}[\sigma_{ML}^2] = (\frac{N-1}{N})\sigma^2$

可以使用方差的无偏估计

$\widetilde{\sigma}^{2} = \frac{N}{N-1}\sigma_{ML}^{2} = \frac{1}{N-1}\sum_{n=1}^{N}(x_n-\mu_{ML})^{2}$

方差估计有偏

1.2.5 重新考察曲线拟合问题

曲线拟合的任务目标是根据 $N$ 个输入 $\mathbf{x}=\{x_1,\dots,x_N\}^{T}$ 和对应的目标值 $\mathbf{t}=\{t_1,\dots,t_N\}^{T}$, 在给出输入变量的新值 $x$ 的情况下，对目标变量 $t$ 进行预测。我们假定给定 $x$ 的值，对应的 $t$ 值服从高斯分布。 那么有

$p(t|x,\boldsymbol{}{w},\beta) = \mathcal{N}(t|y(x,\boldsymbol{}{w}),\beta^{-1})$

其中 $\beta$ 表示精度参数，衡量方差。

已有数据 $\{\mathbf{x},\mathbf{t}\}$ 的似然函数为

$p(\mathbf{t}|\mathbf{x},\boldsymbol{}{w},\beta) = \prod_{n=1}^{N}\mathcal{N}(t_n|y(x_n,\boldsymbol{}{w}),\beta^{-1})$

对数似然函数为

$\ln p(\mathbf{t}|\mathbf{x},\boldsymbol{}{w}, \beta) = -\frac{\beta}{2}\sum_{n=1}^{N}(y(x_n,\boldsymbol{}{w})-t_n)^{2} + \frac{N}{2}\ln\beta - \frac{N}{2}\ln(2\pi)$

考虑 $\boldsymbol{}{w}$ 的最大似然解时，首先忽略等式右侧的后两项，而后将 $\frac{\beta}{2}$ 替换为 $\frac{1}{2}$ (因为这不影响最大值出现位置)，最后将“最大化对数似然函数”替换为“最小化负对数似然函数”，我们就得到了平方误差损失函数。 这里不能像计算 $\mu_{ML}$ 一样计算 $\boldsymbol{}{w}_{ML}$ 的解析解，因为我们无法计算 $y$ 对 $\boldsymbol{}{w}$ 的导数。

可以依靠 $\boldsymbol{}{w}_{ML}$ 计算 $\beta_{ML}$ 的最大似然解

$\frac{1}{\beta_{ML}} = \frac{1}{N}\sum_{n=1}^{N}\{y(x_n,\boldsymbol{}{w}_{ML})-t_n\}^2$

考虑引入 $\boldsymbol{}{w}$ 上的先验分布，以一个多元高斯分布为例。

$p(\boldsymbol{}{w}|\alpha) = \mathcal(\boldsymbol{}{w}|\boldsymbol{}{0},\alpha^{-1}\boldsymbol{}{I}) = (\frac{\alpha}{2\pi})^{\frac{M+1}{2}}\exp(-\frac{\alpha}{2}\boldsymbol{}{w}^{T}\boldsymbol{}{w})$

相当于一个各方向 scaling 均为 $\alpha^{-1}$, rotation 为单位矩阵的单位球高斯分布。$M$ 为 $\boldsymbol{}{w}$ (作为多项式函数的系数) 的最高次数。$M+1$ 为 $\boldsymbol{}{w}$ 的维度。

我们可以得到如下关于 $\boldsymbol{}{w}$ 的贝叶斯公式

$\begin{equation} \begin{aligned} p(\boldsymbol{}{w}|\alpha, \beta, \mathbf{x},\mathbf{t}) &= p(\alpha,\beta,\mathbf{x},\mathbf{t}|\boldsymbol{}{w})p(\boldsymbol{}{w}) \notag \\ &= p(t|\mathbf{x},\alpha.\beta,\boldsymbol{}{w})p(\mathbf{x},\alpha,\beta|\boldsymbol{}{w})p(\boldsymbol{}{w}) \\ &= p(t|\mathbf{x},\beta,\boldsymbol{}{w})p(\mathbf{x},\alpha,\beta)p(\boldsymbol{}{w}|\alpha) \\ &\propto p(t|\mathbf{x},\beta,\boldsymbol{}{w})p(\boldsymbol{}{w}|\alpha) \end{aligned} \end{equation}$

这称为最大后验 (MAP)。最大化后验概率时，通过最小化负对数后验，等价于最小化下式

$\frac{\beta}{2}\sum_{n=1}^{N}(y(x_n,\boldsymbol{}{w})-t_n)^{2} + \frac{\alpha}{2}\boldsymbol{}{w}^{T}\boldsymbol{}{w}$

这等价使用于 L2 正则项的平方误差损失函数。

1.2.6 贝叶斯曲线拟合

later

1.5 决策论

决策论可以看作概率论的下一步。当概率论给出不确定性后，我们需要一套理论来根据不确定性选出最优的决定。

记 $\boldsymbol{}{x}$ 为我们遇到的情形, $\mathcal{C}_k$ 为我们可以做出的第 $k$ 个决策类。那么

$p(\mathcal{C}_{k}|\boldsymbol{}{x}) = \frac{p(\boldsymbol{}{x}|\mathcal{C}_k)p(\mathcal{C}_k)}{p(\boldsymbol{}{x})}$

那么如果我们的⽬标是最⼩化把 $x$ 分到错误类别中的可能性，那么我们要选择有最⼤后验概率的类别。

1.5.1 最⼩化错误分类率

我们需要给每一个决策类别划分一个决策区域 $\mathcal{R}_k$. 考虑两个决策类的情形，那么我们犯错误的概率为

$\begin{equation} \begin{aligned} p(\text{mistake}) &= p(\boldsymbol{}{x}\in \mathcal{R}_1,\mathcal{C}_2) + p(\boldsymbol{}{x}\in \mathcal{R}_2,\mathcal{C}_1) \notag \\ &= \int_{\mathcal{R}_1}p(\boldsymbol{}{x},\mathcal{C}_2)d{\boldsymbol{}{x}} + \int_{\mathcal{R}_2}p(\boldsymbol{}{x},\mathcal{C}_1)d{\boldsymbol{}{x}} \end{aligned} \end{equation}$

那么显然，为了使 $p(\text{mistake})$ 尽量小，我们要将 $\boldsymbol{}{x} 划分到 $ $p(\boldsymbol{}{x}|\mathcal{C}_k)$ 这一后验概率尽量大的类别。

最大化正确分类概率同理

$p(\text{correct}) = \sum_{k=1}^{K}p(x\in\mathcal{R}_k,\mathcal{C}_k) = \sum_{k=1}^{K}\int_{\mathcal{R}_k}p(\boldsymbol{}{x},\mathcal{C}_k)d\boldsymbol{}{x}$

1.5.2 最小化期望损失

有时做出不同错误决策的代价可能不一致，又一些错误决策的代价会明显高于另一些，这时我们可以使用 损失函数 来衡量不同错误决策的代价大小，并借此尽量规避代价更大的错误决策。我们要最小化平均损失，其定义为

$\mathbb{E}[L] = \sum_{k}\sum_{j}\int_{\mathcal{R}_j}L_{kj}p(\boldsymbol{}{x},\mathcal{C}_k)d\boldsymbol{}{x}$

我们的目标是对于每个可能的 $\boldsymbol{}{x}$, 选择 $\mathcal{R}_j$ 来使平均损失最小，相当于选择 $\mathcal{R}_j$ 最小化

$\sum_{k}L_{kj}p(\mathcal{C_k}|\boldsymbol{}{x})$

1.5.3 拒绝选项

值得一提的是，

$\sum_{k} p(\mathcal{C}_k|\boldsymbol{}{x}) = 1$

有时我们不希望在最大的 $p(\mathcal{C}_k|\boldsymbol{}{x})$ 比较小时仍然做出决策，而是希望此时避免进行决策，因此可以选择一个 $\theta\in[0,1]$, 在 $\max_{k}p(\mathcal{C}_k|\boldsymbol{}{x})\leq\theta$ 时拒绝输入 $\boldsymbol{}{x}$. 其很容易扩展到包含损失函数的情形。

1.5.4 推断和决策

我们有三种方法解决决策问题，由复杂到简单分别如下

作为一个推断问题，首先确定 $p(\boldsymbol{}{x}|\mathcal{C}_k)$, 并推断先验概率 $p(\mathcal{C}_k)$, 而后通过贝叶斯定理计算后验概率分布；或者直接对联合概率分布 $p(\boldsymbol{}{x}, \mathcal{C}_k)$ 进行建模。这称为 生成式模型, 因为我们可以直接通过采样来 生成新样本。
首先通过已有样本对后验概率 $p(\mathcal{C}_k|\boldsymbol{}{x})$ 进行建模学习，然后对新样本进行分类。这称为 判别式模型。
找到一个判别函数直接根据输出生成判别的类别。该情况下，概率不起作用。（例如 SVM）

(a) 所代表的生成式模型无疑是可以进行决策的，例如 Diffusion Model is Secretly a Zero-Shot Classifier, 但是如果我们只想进行决策，它会严重浪费资源。因为由于 $\boldsymbol{}{x}$ 的维度很高，我们需要大量数据才能确定出类的条件概率密度。另外，类的条件密度（似然函数）可能包含许多对后验概率几乎没有影响的结构（例如概率密度的峰值位置），而如果我们要建模先验分布，这些必需考虑在内。

先验分布的冗余结构

1.5.5 回归问题的损失函数

对于每个输入 $\boldsymbol{}{x}$, 选择一个对 $t$ 值的估计 $y(\boldsymbol{}{x})$, 造成一个损失 $L(t,y(\boldsymbol{}{x}))$. 那么期望损失是

$\mathbb{E}[L] = \int\int L(t,y(\boldsymbol{}{x}))p(\boldsymbol{}{x},t)d\boldsymbol{}{x}dt$

当我们选择平方损失时，

$\mathbb{E}[L] = \int\int (t-y(\boldsymbol{}{x}))^{2}p(\boldsymbol{}{x},t)d\boldsymbol{}{x}dt$

这里最小化 $\mathbf{E}[L]$ 的方式没看懂，但还有另一种：

$\begin{equation} \begin{aligned} \{y(\boldsymbol{}{x})-t\}^2 &= \{y(\boldsymbol{}{x}) − \mathbb{E}[t | \boldsymbol{}{x}] + \mathbb{E}[t | \boldsymbol{}{x}] − t\}^2 \notag \\ &= \{y(x) − \mathbb{E}[t | \boldsymbol{}{x}]\}^2 + 2\{y(\boldsymbol{}{x}) − \mathbb{E}[t | \boldsymbol{}{x}]\}\{\mathbb{E}[t | \boldsymbol{}{x}] − t\} + \{\mathbb{E}[t | \boldsymbol{}{x}] − t\}^2 \\ \end{aligned} \end{equation}$

对第一项积分

$\begin{equation} \begin{aligned} \int \int \{y(\boldsymbol{}{x}) − \mathbb{E}[t | \boldsymbol{}{x}]\}^2 p(\boldsymbol{}{x},t)d\boldsymbol{}{x}dt &= \int \{y(x) − \mathbb{E}[t | \boldsymbol{}{x}]\}^2 \left(\int p(\boldsymbol{}{x},t)dt\right)d\boldsymbol{}{x} \notag \\ &= \int \{y(x) − \mathbb{E}[t | \boldsymbol{}{x}]\}^2 p(\boldsymbol{}{x})d\boldsymbol{}{x} \end{aligned} \end{equation}$

对第二项积分

$\begin{equation} \begin{aligned} \int \int 2\{y(\boldsymbol{}{x}) − \mathbb{E}[t | \boldsymbol{}{x}]\}\{\mathbb{E}[t | \boldsymbol{}{x}] − t\}p(\boldsymbol{}{x},t)d\boldsymbol{}{x}dt &= \int 2\{y(\boldsymbol{}{x}) − \mathbb{E}[t | \boldsymbol{}{x}]\}p(\boldsymbol{}{x}) \left( \int \{\mathbb{E}[t | \boldsymbol{}{x}] − t\}p(t|\boldsymbol{}{x}) dt \right) d\boldsymbol{}{x} \notag \\ \end{aligned} \end{equation}$

这里 $\int \mathbb{E}[t|\boldsymbol{}{x}]p(t|\boldsymbol{}{x})dt = \mathbb{E}[t|\boldsymbol{}{x}]\int p(t|\boldsymbol{}{x})dt = \mathbb{E}[t|\boldsymbol{}{x}]$, $\int t p(t|\boldsymbol{}{x})dt = \mathbb{E}[t|\boldsymbol{}{x}]$, 故内层积分为 $0$, 从而第二项积分值为0.

对第三项积分，首先我们有

$\mathbb{E}[f(\boldsymbol{}{x},t)|\boldsymbol{}{x}] = \int f(\boldsymbol{}{x},t)p(t|\boldsymbol{}{x})d\boldsymbol{}{x}$

从而

$\begin{equation} \begin{aligned} \int \int \{\mathbb{E}[t | \boldsymbol{}{x}] − t\}^2p(\boldsymbol{}{x},t)d\boldsymbol{}{x}dt &= \int p(\boldsymbol{}{x})\left(\int \{\mathbb{E}[t | \boldsymbol{}{x}] − t\}^2 p(t|\boldsymbol{}{x})dt\right) \notag \\ &= \int \text{var}[t|\boldsymbol{}{x}]p(\boldsymbol{}{x})d\boldsymbol{}{x} \end{aligned} \end{equation}$

这里为了最小化第一项的积分，我们需要使 $y(\boldsymbol{}{x}) = \mathbb{E}[t|\boldsymbol{}{x}]$; 第三项积分是无法减小的固有误差。

1.6 信息论

later 先不记了，感觉这部分太复杂，而且不太明白用途是什么