写在前面提升算法（Boosting）是机器学习中最重要的思想之一。它将多个”弱学习器”（weak learner，准确率仅略高于随机猜测的模型）串行组合成一个”强学习器”（strong learner，可以任意精确的模型）。Kearns 和 Valiant 在 1988 年提出了著名的”弱学习器能否 ...

一、引言：当积分无法解析计算时贝叶斯推断中的一个核心难题是计算后验分布的各种期望： $$ \mathbb{E}_{p(\theta|X)}[f(\theta)] = \int f(\theta) p(\theta|X) d\theta $$ 这个积分在低维时可以用数值方法（如梯形法则），但在高维时（ ...

误差逆传播算法-最成功的神经网络学习算法 原理对每个训练样例，BP算法执行以下操作： 先将输入示例提供给输入层神经元，然后逐层将新号前传，直到产生输出层的结果； 然后计算输出层的误差，再将误差逆向传播至隐藏神经元； 最后根据隐层神经元的误差来对连接权和阈值进行调整。 该迭代过程循环进行，直到达 ...

写在前面本系列文章是对《统计学习方法》（李航著）的深度研读笔记。每篇不是简单的知识罗列，而是从第一性原理出发，把每个公式的来龙去脉推演清楚。我会补充原书中省略的推导步骤、给出具体的数值计算案例，并在文末附上面试常考的高频问答。 支持向量机（Support Vector Machine, SVM）是统 ...

1. SSD 算法简介SSD（Single Shot MultiBox Detector）是 Wei Liu 等人在 ECCV 2016 上提出的单阶段（one-stage）目标检测算法。它的核心设计思想是：在一个前向传播中直接预测目标框的类别和位置偏移，无需单独的区域提议（Region Propo ...

一、引言：Google 的起源算法1998 年，斯坦福大学的两位博士生 Sergey Brin 和 Larry Page 发表了一篇论文，提出了一个名为 PageRank 的网页排序算法。这个算法后来成为 Google 搜索引擎的核心，两位作者也辍学创办了一家你可能听说过的公司。 PageRank ...

写在前面本系列文章是对《统计学习方法》（李航著）的深度研读笔记。逻辑回归（Logistic Regression）虽然名字里带”回归”，但它是最经典的分类算法之一。它的数学形式极其简洁——一个 sigmoid 函数套一个线性模型——但背后的概率解释、优化理论和正则化技术构成了统计机器学习的重要基石。 ...

一、引言：无监督学习的基石聚类（Clustering）是无监督学习中最核心的任务之一。与分类不同，聚类面对的数据没有标签——我们不知道每个样本属于哪个类别，甚至不知道一共有几个类别。聚类的目标是：将数据集中的样本自动划分为若干个组（簇，cluster），使得组内样本尽可能相似，组间样本尽可能不同。 ...

写在前面决策树是机器学习中最直观、最具可解释性的分类与回归方法。它模拟了人类做决策的自然过程——根据一系列特征条件来逐步缩小可能性，最终得出结论。一棵训练好的决策树可以直接可视化为一棵树形结构，每个内部节点代表一个特征上的测试，每个分支代表测试结果，每个叶节点代表一个决策。 虽然单棵决策树的预测精度 ...

一、引言：矩阵分解的”金牌标准”如果说线性代数中有一个分解是”万能”的，那一定是奇异值分解（Singular Value Decomposition, SVD）。与特征值分解（EVD）不同，SVD 对任意矩阵（不要求方阵、不要求对称）都适用，这使得它成为连接线性代数与数据科学的桥梁。 SVD 的应用 ...