本文是对 XGBoost C++ 核心源码的深度分析，基于 XGBoost 官方仓库 (dmlc/xgboost) 和官方文档。我们将从顶层架构开始，逐步深入各个核心模块。 一、总体架构概览1.1 源码目录结构xgboost/├── include/xgboost/ # ...

本篇文章主要是参阅《深度学习框架Pytorch-入门与实践》一书，整理成档，希望对此框架有兴趣的小伙伴提供些许帮助，如若有误，请不吝指出。 首先，关于框架的部署安装这里就不再详述，笔者也是自行摸索一遍就学会了，我将会把大量时间用在处理框架使用过程中出现的问题，也会为在实战中思考如何更好的发挥本框架功 ...

一、引言：从关键词到语义在搜索引擎刚出现的时候，搜索”car”可能无法返回包含”automobile”的文档——虽然意思几乎一样。这种词汇鸿沟（lexical gap）是传统关键词匹配的根本缺陷：它只看到表面词汇，不理会背后的语义。 潜在语义分析（Latent Semantic Analysis, ...

表示学习（Representation Learning）是机器学习的核心范式：与其手工设计特征，不如让模型自动学习数据的低维向量表示。在图神经网络中，表示学习的历史可追溯到 Word2Vec 和早期的图嵌入方法（DeepWalk、Node2Vec）。这些方法是 GNN 的思想先驱，理解它们有助于理 ...

神经网络是深度学习的基础构建块。GCN、GAT、GraphSAGE 等 GNN 模型的每一层本质上都是一个消息传递加一个前馈神经网络层。本文将系统梳理理解 GNN 所需的神经网络基础知识：感知机、多层感知机、反向传播、激活函数、损失函数、优化器和正则化策略。 一、感知机1.1 单层感知机感知机（ ...

一、引言：当数据不完整时在许多机器学习问题中，我们面对的并非完整的观测数据。想象一下：你有一个包含男性和女性身高的数据集，但性别这一列是缺失的。你知道身高服从两个不同的高斯分布，但你不知道每个样本来自哪个分布。这类含有隐变量（latent variable）或缺失数据的问题，正是 EM 算法（Exp ...

图卷积神经网络（GCN）是图深度学习中最具影响力的模型。本文从图信号处理的谱域视角出发，完整推导 GCN 的数学原理：从图傅里叶变换、谱域卷积，到切比雪夫多项式近似、一阶近似和重归一化技巧。同时涵盖空间域 GNN（GraphSAGE、GAT、GIN）以及过平滑问题的系统分析。 一、图信号处理基础 ...

卷积神经网络（CNN）是图卷积神经网络（GCN）的直接来源。理解 CNN 的卷积操作如何从规则网格推广到任意拓扑结构的图，是掌握 GNN 的关键。本文系统梳理 CNN 的数学基础、经典架构和与 GNN 的核心联系。 一、卷积的数学定义1.1 连续域中的卷积对于连续函数 f 和 g，卷积定义为： ...

图（Graph）是图神经网络的基础数据结构。理解图论的基本概念和数学表示，是后续学习 GCN、GAT、GraphSAGE 等模型的前提。本文从图论基础出发，系统梳理图的定义、性质、矩阵表示，以及经典的图数据集和表示格式。 一、图的形式化定义1.1 基本定义一个图 G 由两个集合组成：顶点集合 V ...

一、引言：从文档到主题想象你面前摆着 10000 篇新闻文章。你想知道它们大约在讨论哪些主题——政治、体育、科技、娱乐？每个主题由哪些关键词定义？每篇文章又涉及哪些主题、各占多少比例？ 潜在狄利克雷分配（Latent Dirichlet Allocation, LDA）是解决这个问题的经典模型。它由 ...