统计学习导论笔记-1
朴素最小二乘法问题定义从数据分布 $\mathcal{D}$ 中观测到一组样本 $(\boldsymbol{x}_1,y_1), \dots, (\boldsymbol{x_n},y_n)$, 其中 $\boldsymbol{x}_i = (x_{i1},\dots,x_{ip})$, $y_i\in \mathbb{R}$. 假定 $y_i = f(\boldsymbol{x}_i)+\epsilon$, 我们希望构建函数 $f$ 的近似 $\hat{f}$, 使得对于一个新输入数据 $\boldsymbol{x}$, 我们可以预测 $\hat{y} = \hat{f}(\boldsymbol{X})$. 损失函数： 衡量 $Y$ 和 $\hat{f}(\boldsymbol{x})$ 的差异程度。在线性回归中使用均方误差 $L(Y,\hat{f}(X)) = (Y-\hat{f}(\boldsymbol{X}))^2$. 风险函数： 损失函数在整个分布上的期望 $R(\hat{f}) = E_{D}(Y-\hat{f}(\boldsymbol{X}))^2$. 我们的优化目标...
论文笔记：Budgeted Online Continual Learning by Adaptive Layer Freezing and Frequency-based Sampling
标题：Budgeted Online Continual Learning by Adaptive Layer Freezing and Frequency-based Sampling期刊：International Conference on Learning Representations (ICLR spotlight)发表时间：2025链接：https://arxiv.org/pdf/2410.15143 概述本文关注的领域是线上持续学习 (online continual learning), 尤其是分类任务上的高效微调策略。现有的 CL 方法中一类常用策略是维护一个 replay memory, 并在线上学习过程中从中采样加入训练样本。出于模拟线上持续学习资源受限场景以及公平性的考虑，现有方法往往都对新样本采用一个 epoch 训练，并且会比较 replay memory 的内存。但是本文指出，尽管都是一个 epoch; 但是不同方法在 epoch 内的计算量相差很大；即使都比较 replay memory 的内存，但没比较各方法使用的额外模型或 logits ...
论文笔记：Evaluating the Visualization of What a Deep Neural Network Has Learned
标题：Evaluating the Visualization of What a Deep Neural Network Has Learned期刊：IEEE Transactions on Neural Networks and Learning Systems (TNNLS)发表时间：2016链接：https://arxiv.org/pdf/1509.06321 在 CNN 时代，虽然 CNN 在图像分类问题上已经达到了相当好的效果，但一个问题困扰着大家，即我们不再像往常一样使用提取的特征，而是将一切判断依据都交给神经网络，这样是否太不具备可解释性了呢，我们能否获得模型作出这一判断的依据呢？ 针对这一问题，一篇传奇文章 Visualizing and Understanding Convolutional Networks 给出了解决方案，不久后 Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps 和 On Pixel-Wise Exp...
PRML-1
1. 绪论1.2 概率论概率的加法公式 p(X) = \sum_{Y} (X,Y)概率的乘法公式 p(X,Y) = p(Y|X)p(X)贝叶斯公式 p(Y|X) = \frac{p(X|Y)p(Y)}{p(X)} = \frac{p(X|Y)p(Y)}{\sum_{Y} p(X|Y)p(Y)}1.2.1 概率密度考虑 $x = g(y)$, 那么 $p_{x}(x)\delta x ≃ p_{y}(y)\delta y$. 从而有： p_{y}(y) = p_{x}(x)|\frac{dy}{dx}| = p_{x}(g(y))|g^{\prime}(y)|这里 $p_{x}, p_{y}$ 可以理解为针对随机变量 $x,y$ 的概率密度函数。 连续形式的加法公式 p(x) = \int p(x,y) dy连续形式的乘法公式 p(x,y) = p(y|x)p(x)1.2.2 期望和协方差离散和连续形式期望分别定义为： \mathbb{E}[f] = \sum_{x}p(x)f(x) \mathbb{E}[f] = \int p(x)f(x)dx两种形式下，期望都可以...
