机器学习篇-github上值得关注的机器学习深度学习大牛（持续更新）

关于机器学习大牛与资源，本文会持续更新~

一、深度学习先驱与图灵奖得主

Geoffrey Hinton（杰弗里·辛顿）

被誉为”深度学习之父”，2018 年图灵奖得主（与 Yann LeCun、Yoshua Bengio 共享）。他在反向传播算法、玻尔兹曼机、深度信念网络、Dropout 等方向做出了奠基性贡献。Hinton 曾是 Google Brain 的研究员和多伦多大学的教授。

关键贡献：反向传播算法的推广、受限玻尔兹曼机、深度信念网络的逐层预训练、Dropout 正则化技术、Capsule Networks（胶囊网络）。

Yann LeCun（杨立昆）

卷积神经网络之父，FAIR（Facebook AI Research）首席 AI 科学家，纽约大学教授。LeCun 在 1990 年代提出了 LeNet-5（手写数字识别的 CNN），奠定了现代卷积神经网络的基础。

关键贡献：LeNet-5 卷积神经网络、能量模型、自监督学习（JEPA 架构）、PyTorch 的早期倡导者。

Yoshua Bengio（约舒亚·本吉奥）

蒙特利尔大学教授，Mila（蒙特利尔学习算法研究所）创始人。2018 年图灵奖得主，在神经概率语言模型、注意力机制、GAN 理论等方面有深远影响。

关键贡献：神经概率语言模型（2003，NLP 深度学习的先驱）、注意力机制的理论基础、表征学习、因果推理与深度学习的交叉。

Ilya Sutskever

OpenAI 联合创始人和前首席科学家。在 AlexNet（2012）、Seq2Seq 模型（2014）、GPT 系列的发展中起到了关键作用。他的研究兴趣涵盖序列建模、强化学习和大规模语言模型。

关键贡献：AlexNet 的核心开发者、Sequence to Sequence Learning（2014）、GPT 系列的核心技术方向引导。

---

二、重要研究人员与工程师

Andrej Karpathy

曾任特斯拉 AI 高级总监、OpenAI 创始成员。他的工作涵盖图像描述生成（Image Captioning）、强化学习和自动驾驶。以”从零实现 GPT”视频教程对 AI 教育做出巨大贡献。

GitHub: https://github.com/karpathy
关键项目：nanoGPT, minGPT, micrograd, llama2.c

• nanoGPT: 最简洁的 GPT 训练实现（~300 行）
• micrograd: 极简的自动求导引擎（~150 行）
• llama2.c: 纯 C 语言推理 Llama 2

Pieter Abbeel

UC Berkeley 教授，Covariant 联合创始人。机器人学习领域的顶尖研究者，在深度强化学习、模仿学习和机器人操作方面做出了开创性工作。

Jeff Dean

Google 首席科学家，Google Brain 和 Google DeepMind 合并后的首席科学家。TensorFlow 的核心推动者，在 MapReduce、BigTable、Spanner、TensorFlow、Pathways 等基础设施和框架方面有巨大贡献。

Fei-Fei Li（李飞飞）

斯坦福大学教授，ImageNet 数据集的创建者。ImageNet（2009）是深度学习革命的关键催化剂，提供了大规模标注图像数据集和 ILSVRC 竞赛。

关键贡献：

• ImageNet：1400 万+ 图像，21841 个类别
• 推动了从 AlexNet 到 ResNet 的架构演进
• Stanford AI Lab (SAIL) 主任
• AI 伦理和以人为本的 AI 倡导者

Demis Hassabis

DeepMind 联合创始人和 CEO。DeepMind 在强化学习（AlphaGo、AlphaZero）、蛋白质结构预测（AlphaFold）、通用 AI（Gato、Gemini）等方面做出了一系列突破。

Ian Goodfellow

GAN（生成对抗网络）的发明者。GAN 的核心思想是两个网络（生成器和判别器）的对抗训练，为生成模型开辟了全新范式。曾任 Apple 机器学习总监。

Oriol Vinyals

Google DeepMind 研究副总裁。Seq2Seq 模型、WaveNet、AlphaStar 等核心贡献者。深度学习在序列建模、语音合成、游戏 AI 等领域的多项突破与他有关。

Andrew Ng（吴恩达）

Coursera 联合创始人，deeplearning.ai 创始人。在 AI 教育领域的贡献可能超过任何个人——他的 Machine Learning Coursera 课程有超过 500 万学习者。曾任 Google Brain 创始负责人和百度首席科学家。

---

三、重要组织与实验室

OpenAI

创立于 2015 年，最初为非营利组织，后转型为”有限利润”模式。从 GPT-1 到 GPT-4，OpenAI 的 GPT 系列定义了大语言模型时代。DALL-E 和 Sora 在图像/视频生成方面也引领了方向。

GPT 演进时间线：

• GPT-1 (2018): 117M 参数，1.2 万本书训练
• GPT-2 (2019): 1.5B 参数，”too dangerous to release”
• GPT-3 (2020): 175B 参数，few-shot learning 能力
• GPT-4 (2023): 多模态（文本+图像），MoE 架构
• GPT-4o (2024): 原生多模态，实时语音/视觉交互

DeepMind

2010 年创立，2014 年被 Google 收购，2023 年与 Google Brain 合并为 Google DeepMind。

里程碑成就：

• AlphaGo (2016): 击败围棋世界冠军李世石
• AlphaFold (2020): 蛋白质结构预测革命（2024 年诺贝尔化学奖被授予 Hassabis 和 Jumper）
• AlphaZero (2017): 无需人类知识，自对弈学习
• Gato (2022): 单一模型处理多任务（通用 agent）
• Gemini (2023-2024): Google 的多模态基础模型系列

Google Brain / Google DeepMind

Google Brain 由 Jeff Dean、Andrew Ng 等 2011 年创立。标志性贡献包括：

• TensorFlow 深度学习框架
• BERT：NLP 范式转变（2018）
• Transformer 架构（2017, “Attention Is All You Need”）
• Neural Machine Translation（2016，为 Google Translate 带来质的飞跃）
• Pathways：下一代 AI 基础设施

Meta AI (FAIR)

Meta（原 Facebook）的 AI 研究部门，由 Yann LeCun 领导。以开源著称：

• PyTorch：当前最流行的深度学习框架
• LLaMA 系列：开源大语言模型（LLaMA, LLaMA 2, LLaMA 3）
• Segment Anything (SAM)：通用图像分割模型
• DINO / DINOv2：自监督视觉表征学习

NVIDIA Research

NVIDIA 不仅在 GPU 硬件上支撑了深度学习革命，在研究方面也有大量贡献：

• CUDA 和 cuDNN：深度学习底层基础
• StyleGAN 系列：生成对抗网络的图像质量飞跃
• Megatron-LM：大规模 Transformer 训练框架
• NeRF：神经辐射场（3D 场景重建）

Anthropic

由前 OpenAI 研究员 Dario Amodei 和 Daniela Amodei 于 2021 年创立。核心贡献：

• Claude 系列 AI 助手（Claude → Claude 2 → Claude 3 → Claude 4）
• Constitutional AI：通过原则约束 AI 对齐
• 在 AI 安全和对齐研究方面有深入探索

Microsoft Research

微软研究院历史悠久，在多个 AI 方向有持续贡献：

• ResNet：何恺明等提出的影响深远的残差网络
• DeepSpeed：大规模分布式训练框架（ZeRO 优化）
• Phi 系列小型语言模型（高质量小模型的标杆）
• LoRA：低秩适配微调方法

---

四、核心 GitHub 仓库

框架与工具

仓库	描述	Stars
pytorch/pytorch	最流行的深度学习框架	85k+
tensorflow/tensorflow	Google 的端到端 ML 平台	185k+
huggingface/transformers	预训练模型库（BERT/GPT/T5/LLaMA 等）	135k+
scikit-learn/scikit-learn	传统 ML 算法库	60k+
fastai/fastai	基于 PyTorch 的高层训练库	26k+
mlflow/mlflow	ML 生命周期管理平台	19k+
ray-project/ray	分布式计算框架（RL/调参/训练）	34k+
onnx/onnx	开放神经网络交换格式	18k+

模型与实现

仓库	描述
huggingface/transformers	一键使用 BERT、GPT、T5、LLaMA、Falcon 等所有主流模型
openai/whisper	多语言语音识别基础模型
facebookresearch/llama	Meta 开源的大语言模型
ggerganov/llama.cpp	纯 C/C++ 的 LLaMA 推理（在消费级硬件上运行）
AUTOMATIC1111/stable-diffusion-webui	Stable Diffusion Web UI（最流行的图像生成工具）
ollama/ollama	在本地运行大语言模型的最简单工具
lm-sys/FastChat	Vicuna 聊天模型的训练和推理平台
THUDM/ChatGLM-6B	清华智谱的中英双语大模型
vllm-project/vllm	高性能 LLM 推理引擎（PagedAttention）

学习资源

仓库	描述
rasbt/machine-learning-book	Sebastian Raschka 的《Python 机器学习》代码
d2l-ai/d2l-zh	《动手学深度学习》中文版（李沐等著）
datawhalechina	Datawhale 开源学习社区（大量中文 AI 教程）
mli/paper-reading	李沐的深度学习论文精读系列
afshinea/stanford-cs-229	斯坦福 CS229 机器学习课程笔记与速查表

模型部署与优化

仓库	描述
triton-inference-server/server	NVIDIA 的 Triton 推理服务器
ggerganov/llama.cpp	消费级硬件的 LLM 推理
microsoft/DeepSpeed	深度学习分布式训练优化库
NVIDIA/Megatron-LM	大规模 Transformer 训练框架
huggingface/text-generation-inference	HuggingFace 的文本生成推理服务

---

五、重要学术会议

顶级会议全景

会议	全称	领域	截稿时间	录取率
NeurIPS	Neural Information Processing Systems	通用 ML/DL	5 月	~25%
ICML	International Conference on Machine Learning	通用 ML	1 月	~25%
ICLR	International Conference on Learning Representations	DL/表征学习	9 月	~30%
CVPR	Computer Vision and Pattern Recognition	计算机视觉	11 月	~25%
ICCV	International Conference on Computer Vision	计算机视觉	3 月	~25%
ECCV	European Conference on Computer Vision	计算机视觉	3 月	~25%
ACL	Association for Computational Linguistics	NLP	12 月	~25%
EMNLP	Empirical Methods in NLP	NLP	6 月	~25%
NAACL	North American Chapter of ACL	NLP	12 月	~25%
AAAI	Association for the Advancement of AI	通用 AI	8 月	~20%
IJCAI	International Joint Conference on AI	通用 AI	1 月	~20%
KDD	Knowledge Discovery and Data Mining	数据挖掘	2 月	~20%
ICRA	International Conference on Robotics and Automation	机器人	9 月	~45%

会议特点

• NeurIPS/ICML/ICLR：机器学习三大顶会。NeurIPS 规模最大（2024 年超 15,000 人），ICLR 在 DL 方向最前沿，ICML 偏理论
• CVPR/ICCV/ECCV：计算机视觉三大顶会，CVPR 规模最大且最受工业界关注
• ACL/EMNLP/NAACL：NLP 三大顶会，ACL 是旗舰会议
• AAAI：历史最悠久的 AI 会议之一，覆盖面广

如何利用会议论文

1. 阅读 Best Paper：每年 NeurIPS/ICML/ICLR/CVPR 的 Best Paper 代表了方向性突破
2. 关注 Oral/Spotlight：顶级会议的 Oral 论文质量远高于 Poster
3. 跟进 Workshop：Workshop 通常有更前沿、更垂直的话题
4. 看 Tutorial：Tutorial 是系统性学习新方向的捷径
5. 利用 Papers With Code：查看论文是否有代码实现和基准结果

---

六、关键论文阅读路线

预深度学习时代（2012 以前）

• LeNet-5 (LeCun et al., 1998): Gradient-Based Learning Applied to Document Recognition
• A Neural Probabilistic Language Model (Bengio et al., 2003): 词的分布式表示
• ImageNet: A Large-Scale Hierarchical Image Database (Deng et al., 2009) — ImageNet 论文

CNN 时代（2012-2017）

• AlexNet (Krizhevsky et al., 2012): ImageNet Classification with Deep Convolutional Neural Networks
• VGGNet (Simonyan & Zisserman, 2015): Very Deep Convolutional Networks for Large-Scale Image Recognition
• GoogLeNet/Inception (Szegedy et al., 2015): Going Deeper with Convolutions
• ResNet (He et al., 2016): Deep Residual Learning for Image Recognition
• DenseNet (Huang et al., 2017): Densely Connected Convolutional Networks
• MobileNet (Howard et al., 2017): Efficient Convolutional Neural Networks for Mobile Vision Applications
• Focal Loss (Lin et al., 2017): Focal Loss for Dense Object Detection
• YOLO (Redmon et al., 2016): You Only Look Once
• Faster R-CNN (Ren et al., 2015): Towards Real-Time Object Detection with Region Proposal Networks

Transformer 时代（2017-2020）

• Attention Is All You Need (Vaswani et al., 2017): Transformer 架构诞生
• BERT (Devlin et al., 2019): Pre-training of Deep Bidirectional Transformers
• GPT-2 (Radford et al., 2019): Language Models are Unsupervised Multitask Learners
• GPT-3 (Brown et al., 2020): Language Models are Few-Shot Learners
• ViT (Dosovitskiy et al., 2021): An Image is Worth 16x16 Words — Vision Transformer
• EfficientNet (Tan & Le, 2019): Rethinking Model Scaling for CNNs

LLM 时代（2020-现在）

• Scaling Laws (Kaplan et al., 2020): Scaling Laws for Neural Language Models
• InstructGPT (Ouyang et al., 2022): Training Language Models to Follow Instructions (RLHF)
• LLaMA (Touvron et al., 2023): Open and Efficient Foundation Language Models
• GPT-4 Technical Report (OpenAI, 2023): 大规模多模态模型
• Mistral 7B (Jiang et al., 2023): 小型高质量开源模型
• Llama 3 (Meta, 2024): Meta 的开源旗舰模型

多模态时代（2022-现在）

• CLIP (Radford et al., 2021): Learning Transferable Visual Models From Natural Language
• DALL-E 2 (Ramesh et al., 2022): Hierarchical Text-Conditional Image Generation
• Stable Diffusion (Rombach et al., 2022): High-Resolution Image Synthesis with Latent Diffusion
• Flamingo (Alayrac et al., 2022): Few-shot Learning 多模态模型
• Sora (OpenAI, 2024): 视频生成模型（扩散 Transformer）
• GPT-4o (OpenAI, 2024): 原生多模态实时交互

生成模型（贯穿多个时代）

• GAN (Goodfellow et al., 2014): Generative Adversarial Networks
• VAE (Kingma & Welling, 2014): Auto-Encoding Variational Bayes
• DDPM (Ho et al., 2020): Denoising Diffusion Probabilistic Models
• StyleGAN (Karras et al., 2019): A Style-Based Generator Architecture for GANs

---

七、如何保持学习与追踪前沿

信息源

arXiv 订阅（每日论文）：

• cs.LG (Machine Learning): 通用 ML/DL 论文
• cs.CV (Computer Vision): 计算机视觉
• cs.CL (Computation and Language): NLP
• cs.AI (Artificial Intelligence): 通用 AI
• cs.RO (Robotics): 机器人

聚合平台：

• Papers With Code (paperswithcode.com): 论文+代码+基准排行榜
• Semantic Scholar (semanticscholar.org): AI 驱动的学术搜索引擎
• Connected Papers (connectedpapers.com): 论文引用关系可视化
• Hugging Face Daily Papers: 每日精选 AI 论文

社交媒体与社区：

• Twitter/X AI 社区: @_akhaliq（每日精选论文推送），@ylecun，@kaboroevich，@OpenAI，@GoogleDeepMind
• Reddit: r/MachineLearning, r/LocalLLaMA
• Discord: EleutherAI, LAION, Hugging Face
• 微信公众号: 机器之心、量子位、新智元

中文社区：

• 知乎: 搜索具体论文名或技术关键词，常有中文解读
• Bilibili: 李沐论文精读系列、跟李沐学 AI 专栏
• Datawhale: 开源学习社区（各种组队学习活动）
• 魔搭社区 (ModelScope): 阿里达摩院的模型和数据集平台
• 书生·浦语 (InternLM): 上海 AI 实验室的模型和学习资源

学习方法论

1. 论文阅读方法论（三遍法）：
   第一遍（5-10 分钟）: Abstract + Introduction + Conclusion + Figures
   第二遍（~1 小时）: 通读全文，理解方法论但跳过细节
   第三遍（数小时）: 深入推导公式，复现核心算法

2. 代码优先学习（Code First）：
   - 先运行官方代码或开源实现
   - 通过修改超参数和模型结构理解机制
   - 尝试从零实现核心算法

3. 输出驱动学习：
   - 写博客、做 presentation 解释论文
   - 在 GitHub 上实现论文的核心方法
   - 参与开源项目贡献代码

4. 系统学习路径：
   - 先通读经典综述论文（Survey Paper）了解领域全貌
   - 选择 5-10 篇核心论文精读
   - 在标准数据集上复现论文结果
   - 提出改进并实验验证

---

八、早期介绍的行业大牛补充

以下是一些国内外的优秀开发者和研究者，值得关注他们的 GitHub：

1. Wes McKinney: https://github.com/wesm — Python pandas 的创始人，Apache Arrow 和 Apache Parquet 的核心开发者。Ursa Labs 创始人。如果说 NumPy 奠定了 Python 数值计算的基础，那么 pandas 让 Python 成为数据分析的首选语言。

2. Andreas Mueller: https://github.com/amueller — Scikit-learn 核心维护者，哥伦比亚大学数据科学研究所研究科学家。著有《Introduction to Machine Learning with Python》（O’Reilly）。

3. Prakhar Srivastav: https://github.com/prakhar1989 — 他的 GitHub 上有很多关于 CS 的国外知名大学课程整理，内容非常丰富，被称为”自学计算机科学的百科全书”。

4. Hilary Mason: https://github.com/hmason — 数据科学先驱，Fast Forward Labs 创始人，曾任 Bitly 首席科学家。

5. Randy Olson: https://github.com/rhiever — 已整理好的机器学习项目集合，数据可视化专家。Reddit 社区 r/DataIsBeautiful 的管理者。

6. Sebastian Raschka: https://github.com/rasbt — 《Python Machine Learning》作者，机器学习研究者与开源贡献者。现在在 Lightning AI，专注于 LLM 和 AI 教育。

7. Michael Nielsen: https://github.com/mnielsen — 《Neural Networks and Deep Learning》在线书籍的作者，被誉为最好的神经网络入门教材之一。

8. 孙俊义 (Sun Junyi): https://github.com/fxsjy — 结巴中文分词的作者。结巴分词是 Python 中文 NLP 生态中最广泛使用的分词工具之一。

9. Andrej Karpathy: https://github.com/karpathy — 已在前面详细介绍，但值得再次强调他开源的 nanoGPT, micrograd 等极简实现，是学习 AI 的绝佳教材。

10. 李沐: https://github.com/mli — 《动手学深度学习》（D2L）的作者，前亚马逊 AI 首席科学家。他的”读论文”视频系列在 B 站有数百万播放量，是华人 AI 社区最有影响力的教育者之一。

11. François Chollet: https://github.com/fchollet — Keras 创始人，Google 软件工程师。著有《Deep Learning with Python》，提出的 ARC 基准挑战成为了衡量 AGI 进展的重要标杆。

12. Jeremy Howard: https://github.com/jhoward — fastai 联合创始人，致力于让深度学习更易用。fastai 库配套的免费课程 Practical Deep Learning for Coders 影响了数十万学习者。

13. Thomas Wolf: https://github.com/thomwolf — Hugging Face 联合创始人和首席科学家。Hugging Face 的 transformers 库已经成为 NLP 和生成式 AI 的事实标准。

---

九、华人 AI 研究者与工程师

华人研究者在全球 AI 领域扮演着举足轻重的角色：

何恺明 (Kaiming He)

MIT 副教授，ResNet、Faster R-CNN、Mask R-CNN、MAE（Masked Autoencoder）的作者。他在计算机视觉领域的贡献改变了整个方向——ResNet 的引用量已超 20 万次。2024 年从 FAIR 转入 MIT。

李沐 (Mu Li)

《动手学深度学习》（D2L）作者，Boson AI 联合创始人，前亚马逊 AI 首席科学家。通过 B 站”读论文”和”动手学深度学习”系列影响了数百万中文 AI 学习者。他的讲解以”第一性原理”著称——从最基本的数学推导出发，拒绝黑盒理解。

贾扬清 (Yangqing Jia)

Caffe 框架创始人，前阿里巴巴 VP，Lepton AI 联合创始人。Caffe 是深度学习早期（2013-2017）最流行的框架之一。他的技术博客和开源精神对国内 AI 社区影响深远。

陈天奇 (Tianqi Chen)

CMU 助理教授，XGBoost、TVM、MLC-LLM 的作者。TVM 是深度学习编译器领域的标杆项目，MLC-LLM 让大模型可以在手机和浏览器等端侧运行。他的工作横跨传统 ML 和现代 DL。

孙茂松 / 唐杰 / 刘知远 (清华 NLP 组)

清华 THUNLP 实验室在中文 NLP 领域有深远影响：THUCTC 文本分类、OpenKE 知识图谱、OpenNE 网络嵌入、CogView/CogVideo 文生图/视频模型、GLM 系列模型（ChatGLM）等。

周志华

南京大学教授，西瓜书（《机器学习》）的作者。西瓜书是国内最经典的机器学习入门教材，是无数中国 ML 学习者的启蒙读物。他在集成学习、多标记学习、弱监督学习等方面有重要贡献。

张潼

前腾讯 AI Lab 主任，在机器学习理论和优化算法方面有深厚积累。现为香港科技大学教授。

黄高 / 刘壮 (DenseNet 作者群)

DenseNet 论文第一作者黄高（清华副教授）和共同作者刘壮（普林斯顿博士/伯克利博士后）是华人 CV 研究者的杰出代表。

林达华

香港中文大学副教授，上海 AI 实验室领军科学家。在 OpenMMLab 开源生态、3D 重建等方向有重要贡献。MMDetection、MMSegmentation 等库成为计算机视觉研究的标准工具。

其他值得关注的华人研究者

• 王小龙 (Xiaolong Wang): UCSD 副教授，机器人学习和视频理解
• 王井东 (Jingdong Wang): 微软亚洲研究院，HRNet 高分辨率网络
• 孙剑 (已故): 前旷视科技首席科学家，ResNet 共同作者
• 卢策吾: 上海交大教授，具身智能和机器人学习
• 朱俊彦 (Jun-Yan Zhu): CMU 助理教授，CycleGAN、GAN 反演
• 宋飏 (Yang Song): OpenAI，Score-based 生成模型（扩散模型的理论基础）

---

十、强化学习领域重要研究者

Richard Sutton

强化学习之父，DeepMind 杰出科学家，阿尔伯塔大学教授。经典教材《Reinforcement Learning: An Introduction》（与 Andrew Barto 合著）是 RL 领域的圣经。他在 TD 学习、策略梯度、通用人工智能架构方面有奠基性贡献。

Sergey Levine

UC Berkeley 副教授，机器人强化学习领域的领军人物。他的团队将 RL 成功应用于真实的机器人操作任务，推动了 offline RL 的发展。

David Silver

DeepMind 首席研究科学家，AlphaGo 的首席架构师。他在深度强化学习（DQN）、蒙特卡洛树搜索与神经网络结合方面的贡献被公认为里程碑级。

John Schulman

前 OpenAI 联合创始人，Anthropic 联合创始人。PPO（Proximal Policy Optimization）算法的主要作者，GPT 系列 RLHF 训练 pipeline 的核心设计者之一。PPO 是 ChatGPT 等对齐训练的基础算法。

---

十一、关键数据集

计算机视觉

数据集	规模	任务	年份
ImageNet	1400 万+ 图像，21841 类	图像分类	2009
MS COCO	33 万+ 图像，80 类	检测/分割/描述	2014
PASCAL VOC	~2 万图像，20 类	检测/分割	2005-2012
Open Images	900 万图像，600 类	检测/分割	2017+
LAION-5B	58.5 亿图文对	多模态	2022
ImageNet-21K	1419 万图像，21841 类	预训练/迁移	2021

自然语言处理

数据集	规模	任务	年份
SQuAD 2.0	15 万+ 问题	阅读理解	2018
GLUE/SuperGLUE	9/8 个任务	语言理解基准	2018/2019
Common Crawl	数 PB	预训练语料	持续更新
The Pile	825 GB	预训练语料	2020
C4 (Colossal Clean Crawled Corpus)	750 GB	预训练语料	2020
RedPajama	1.2 TB	LLaMA 复制语料	2023
FineWeb	15T tokens	高质量 Web 语料	2024

强化学习

环境/数据集	特点
OpenAI Gym/Gymnasium	经典 RL 环境集合
MuJoCo	物理仿真（机器人和连续控制）
Procgen	程序化生成环境（泛化能力测试）
DM Control Suite	DeepMind 的连续控制环境

---

十二、推荐在线课程

入门级

• Andrew Ng - Machine Learning (Coursera): 史上最成功的 ML 课程，重新录制版使用 Python
• fast.ai - Practical Deep Learning for Coders: 自上而下的实用教学法，先跑起来再理解原理
• MIT 6.S191 - Introduction to Deep Learning: MIT 的年度深度学习入门课

中级

• Stanford CS231n - Convolutional Neural Networks for Visual Recognition: Andrej Karpathy 等主讲，深度学习从业者的必修课
• Stanford CS224n - Natural Language Processing with Deep Learning: Christopher Manning 主讲，NLP 经典课程
• Stanford CS229 - Machine Learning: Andrew Ng 主讲的数学取向 ML 课程
• UC Berkeley CS285 - Deep Reinforcement Learning: Sergey Levine 主讲，RL 方向首选课程

进阶

• 李沐 - 动手学深度学习 (D2L): MXNet/PyTorch/TensorFlow 三版本，理论与代码并重
• Andrej Karpathy - Neural Networks: Zero to Hero: 从零用 Python 实现一切（反向传播、GPT、Tokenizer）
• DeepMind - Advanced Deep Learning & Reinforcement Learning: 2018 版由 Silver 和 Hinton 主讲，尽管有些过时但核心概念极为清晰

---

十三、经典书籍推荐

书名	作者	适合人群
《机器学习》（西瓜书）	周志华	ML 入门理论基础
《统计学习方法》	李航	ML 算法数学基础
《深度学习》（花书）	Goodfellow, Bengio, Courville	DL 理论基础
《动手学深度学习》	李沐等	DL 代码实践
《Python 机器学习》	Raschka	Scikit-learn + PyTorch 实践
《神经网络与深度学习》	Michael Nielsen	神经网络直觉入门
《强化学习导论》	Sutton & Barto	RL 理论圣经
《自然语言处理综论》	Jurafsky & Martin	NLP 领域全景
《模式识别与机器学习》(PRML)	Bishop	贝叶斯 ML 经典
《Probabilistic Machine Learning》	Kevin Murphy	现代 ML 理论与概率视角

---

十四、竞赛平台

平台	特点
Kaggle	最大的数据科学竞赛平台，丰富的数据集和 Notebook 环境
DrivenData	面向社会公益的 DS 竞赛
CodaLab	学术竞赛常用平台
AIcrowd	开放式 AI 挑战（RL、CV 等）
TIANCHI (天池)	阿里云主办的亚洲最大 AI 竞赛平台
Biendata	中文 AI 竞赛和数据集平台
Hugging Face Spaces / Leaderboard	开放模型排行榜（Open LLM Leaderboard 等）

Kaggle 晋升路径：

• Novice → Contributor → Expert → Master → Grandmaster
• 获得 Grandmaster 是数据科学界最高的竞赛荣誉之一（全球不到 300 人）

---

十五、AI 工具链与 MLOps

实验追踪

• Weights & Biases (W&B): 最流行的实验追踪平台，可视化训练曲线、超参数对比、模型注册
• MLflow: 开源 ML 生命周期管理（Databricks 维护）
• TensorBoard: TensorFlow/PyTorch 通用的训练可视化
• Neptune.ai: 实验管理和模型注册表

数据处理

• Apache Spark: 大规模数据分布式处理
• Dask: 类似 Pandas API 的分布式计算
• Ray: 通用分布式计算框架（数据处理+训练+推理）
• Polars: 高性能 DataFrame 库（Rust 实现，Python 绑定）
• DuckDB: 嵌入式 OLAP 数据库（分析查询极快）

模型服务

• Triton Inference Server: NVIDIA 的多框架推理服务器（支持 dynamic batching, model ensemble）
• TorchServe: PyTorch 官方模型服务框架
• BentoML: 统一的模型打包和部署框架
• Ray Serve: 基于 Ray 的可编程模型服务
• vLLM: 高性能 LLM 推理引擎（PagedAttention + 连续批处理）
• Text Generation Inference: Hugging Face 的文本生成推理服务器

LLM 应用开发

• LangChain: LLM 应用开发框架（链式调用、RAG、Agent）
• LlamaIndex: 数据增强 LLM 框架（主打 RAG 和索引）
• Semantic Kernel: 微软的 LLM 编排 SDK
• DSPy: 斯坦福的声明式语言模型编程框架
• Ollama: 本地运行开源 LLM 的最简方式
• LM Studio: GUI 化的本地 LLM 运行工具

---

十六、AI 安全与对齐

随着 AI 能力的快速增长，AI 安全和对齐已成为重要研究方向：

• Anthropic: Constitutional AI, RLHF 改进, 可解释性（mechanistic interpretability）
• OpenAI Alignment Team: Superalignment 的方向探索（已解散，但研究思路有参考价值）
• DeepMind Alignment: Scalable oversight, debate, causal alignment
• ARC (Alignment Research Center): Paul Christiano 领导，探索 Eliciting Latent Knowledge (ELK)
• Redwood Research: Mechanistic interpretability 和 alignment 研究

关键论文：

• “Constitutional AI: Harmlessness from AI Feedback” (Anthropic, 2022)
• “Training Language Models to Follow Instructions” (OpenAI, 2022) — RLHF 鼻祖论文
• “Scaling Monosemanticity” (Anthropic, 2024) — 稀疏自编码器解释大模型内部表征

---

十七、每日/每周 AI 追踪推荐

每日

• arXiv 邮件订阅（cs.LG, cs.CV, cs.CL, cs.AI）
• Hugging Face Daily Papers (huggingface.co/papers)
• Google Scholar Alerts（关注特定研究者或关键词）

每周

• The Batch (Andrew Ng): deeplearning.ai 的每周 AI 新闻精选
• Import AI (Jack Clark): Anthropic 联合创始人写的每周 AI 趋势分析
• Last Week in AI: Podcast + Newsletter 形式的 AI 周报
• The Gradient: 深度 AI 文章和评论
• Papers With Code Newsletter: 每周重要论文 + 代码汇总

每月/每季度

• State of AI Report: Nathan Benaich 和 Ian Hogarth 的年度报告（每年 10 月发布）
• AI Index Report: 斯坦福 HAI 的年度 AI 指数报告
• Andreessen Horowitz (a16z) AI 分析: 投资视角的 AI 趋势报告

---

十八、LLM 推理与部署技术栈

量化技术

• GPTQ (Frantar et al., 2023): 基于 OBQ 的权重量化，4-bit 精度下保持性能
• AWQ (Lin et al., 2023): 基于激活感知的权重量化，比 GPTQ 更快的校准
• GGUF/GGML (ggerganov): llama.cpp 使用的格式，在消费级 CPU 上高效运行
• bitsandbytes (Tim Dettmers): QLoRA 和 4-bit 正常浮点量化
• AQLM (2024): 加性量化，2-bit 精度下仍保持竞争力的质量

推理引擎对比

引擎	开发者	关键技术	硬件支持	特点
vLLM	UC Berkeley	PagedAttention, 连续批处理	NVIDIA GPU	最高吞吐
TensorRT-LLM	NVIDIA	算子融合、内核优化	NVIDIA GPU	最佳延迟
llama.cpp	ggerganov	GGUF 量化、Metal/CUDA	CPU/GPU/Apple	最大兼容性
Ollama	Ollama	基于 llama.cpp 封装	CPU/GPU	最简单易用
SGLang	Stanford	RadixAttention、结构化生成	NVIDIA GPU	高级编程模型
MLC-LLM	陈天奇团队	TVM Unity 编译	全平台（含手机）	最佳端侧

Prompt Engineering 与结构化生成

# Outlines 库 — 确保 LLM 输出符合 JSON Schema
import outlines

model = outlines.models.transformers("mistralai/Mistral-7B-Instruct-v0.2")

# 定义输出结构
from pydantic import BaseModel, Field

class PersonInfo(BaseModel):
    name: str = Field(description="人物姓名")
    age: int = Field(description="年龄")
    occupation: str = Field(description="职业")
    skills: list[str] = Field(description="技能列表")

# 约束生成
generator = outlines.generate.json(model, PersonInfo)
result = generator("Describe a software engineer named John, 30 years old")
print(result)  # 保证返回合法的 PersonInfo JSON

# Guidance / LMQL — 类似的结构化生成方案
# - Guidance: 微软开发，基于 Handlebars 模板
# - LMQL: 苏黎世联邦理工，Python 风格的查询语言

RAG 技术栈深度解析

简单 RAG 架构：
用户提问 → 检索相关内容 → 拼接 Prompt → LLM 生成

高级 RAG 改进方向：

1. 检索优化：
   - 混合检索：稀疏检索(BM25) + 稠密检索(Embedding)
   - 多向量检索：每文档存储多个向量（摘要、关键段落、实体）
   - 递归检索：先检索引相关文档，再从文档中检索相关段落
   - Self-RAG：让模型判断是否需要检索，以及检索结果的相关性

2. 分块策略：
   - 固定长度分块（最简单，但可能切断语义）
   - 语义分块（基于句号和段落边界）
   - 递归分块（类似 LangChain 的 RecursiveCharacterTextSplitter）
   - 基于模型的语义分割（使用 Sentence Boundary Detection）

3. 嵌入模型选择：
   - OpenAI: text-embedding-3-small/large
   - Cohere: embed-v3 (支持多语言)
   - BGE (BAAI): bge-large-en-v1.5, bge-m3 (多语言)
   - E5 (Microsoft): multilingual-e5-large
   - Jina AI: jina-embeddings-v2 (支持 8K 上下文)

4. 上下文重排（Reranking）：
   - 粗召回（高召回率，N 个候选）
   - 精排（Cohere Rerank / BGE Reranker / Cross-Encoder）
   - 选取 Top-K 送 LLM

Agent 开发框架

Agent 的四个核心能力：
1. Reasoning（推理）: 规划任务步骤
2. Acting（行动）: 调用工具/API
3. Memory（记忆）: 短期/长期记忆管理
4. Reflection（反思）: 自我评估和改进

框架对比：
- LangChain: 最成熟，生态最丰富，但抽象层多
- LangGraph: LangChain 的图式 Agent（更灵活的流程控制）
- CrewAI: 多 Agent 协作框架
- AutoGen (Microsoft): 对话式多 Agent 框架
- CrewAI: 角色扮演式多 Agent 协作
- Semantic Kernel: 微软的企业级 LLM 编排
- OpenAI Swarm/Assistants API: 官方 Agent 框架

十九、重要 AI 博客与 Newsletter 推荐

个人博客

• Lil’Log (Lilian Weng): https://lilianweng.github.io/ — OpenAI 研究员的深度技术博客，对 RLHF、扩散模型、Agent 等主题的总结极为清晰
• Distill.pub: 交互式 ML 论文解读（已停更但文章经典）
• Andrej Karpathy’s Blog: http://karpathy.github.io/ — 从 RNN 到 GPT 的演进最清晰的讲解
• Jay Alammar: https://jalammar.github.io/ — “图解 Transformer”系列启蒙无数人
• Colah’s Blog (Chris Olah): https://colah.github.io/ — 神经网络可解释性的前沿探索
• The Gradient: https://thegradient.pub/ — AI 研究者撰写的深度评论

中文 AI 博客与媒体

• 机器之心 (jiqizhixin.com): 每日 AI 新闻 + 论文解读
• 量子位 (qbitai.com): 最快的 AI 新闻媒体
• 新智元: AI 行业资讯
• PaperWeekly: 论文推荐和解读
• 李rumor (苏剑林): https://spaces.ac.cn/ — 科学空间，NLP 方向深度分析
• 夕小瑶的卖萌屋: NLP 前沿论文解读

Video & Podcast

• Two Minute Papers: 最简洁的 AI 论文视频解读（YouTube）
• Yannic Kilcher: 深度 ML 论文解读视频（YouTube）
• Lex Fridman Podcast: 长深度对话 AI 和科技领袖
• Machine Learning Street Talk: 高质量 AI 学术讨论
• Practical AI: 面向开发者的 AI 应用 Podcast

---

二十、行业趋势观察

2024-2026 关键趋势

1. 大模型”小”化：Phi-3、Llama-3-8B、Gemma-2 等小型高质量模型证明了数据质量优于参数规模。7-8B 参数级别的模型在多数任务上已接近 GPT-3.5 水平。

2. 开源追赶闭源：Llama 3 70B、Mistral Large、Qwen2、DeepSeek-V2 等开源模型逐步缩小与 GPT-4 的差距，尤其在代码和数学推理方面。

3. 多模态深度融合：GPT-4o、Gemini 1.5 Pro 的原生多模态能力（跨文本、图像、音频、视频的理解和生成）标志着 AI 进入”全模态”时代。

4. Agent 与工具使用：AI 自主规划、调用工具、执行多步骤任务的能力快速提升。SWE-bench 等基准显示 AI 编码 Agent 已能解决真实 GitHub issue。

5. 端侧 AI：Apple Intelligence、Qualcomm AI Engine、MLC-LLM 等将 AI 能力推向手机、PC 和 IoT 设备，AI PC 成为硬件新品类。

6. 合成数据与自我改进：随着高质量人类数据的枯竭，合成数据生成和自我对弈训练变得越来越重要。DeepSeek-V2 的”自我奖励”方法展示了这一方向的前景。

7. AI 安全与治理：全球 AI 治理加速（EU AI Act、美国 AI 行政令、中国生成式 AI 管理办法），安全研究从学术讨论变为产业刚需。

8. 算力竞赛持续：NVIDIA Blackwell (B200/B100)、AMD MI300X、Google TPU v5p、自研芯片（Amazon Trainium、Microsoft Maia）多路线并进，训练集群规模突破 10 万 GPU。

---

二十一、持续更新说明

机器学习和大模型领域的发展日新月异，本文将持续追踪以下方面的更新：

• 重要论文的发表和 GitHub 开源实现
• 新兴研究者和组织的重要贡献
• 新的框架和工具的出现
• 会议最佳论文和趋势性方向
• 值得关注的中文 AI 社区资源
• AI 领域重大事件的及时记录

技术栈在不断变化，但基础原理和经典的论文理解是持久的。建议以”理解原理+动手实践+追踪前沿”的三位一体方式持续学习。

推荐起步路径：

1. 系统学习：完成 Andrew Ng 的 Machine Learning 课程或李沐的《动手学深度学习》
2. 动手项目：在 Kaggle 上参与 Table 竞赛（Beginner 级别开始），或复现一篇感兴趣的论文
3. 加入社区：Datawhale 组队学习、GitHub 开源贡献、本地 AI Meetup
4. 持续追踪：订阅 arXiv 邮件列表 + Hugging Face Daily Papers + 2-3 个 Newsletter
5. 输出倒逼输入：写博客、录视频、做 presentation，用输出检验理解的深度

避免的常见陷阱：

• 只看不练：”论文收藏家”综合征——收藏了大量论文和教程但从未动手
• 追逐热点：频繁切换方向，没有在一个方向深耕
• 忽视基础：跳过了数学和经典算法，直接上手调 LLM API
• 闭门造车：不参与社区讨论，不分享，不交流

在 AI 这个快速发展的领域，终身学习不是可选项，而是必备素质。保持好奇心，保持动手能力，与社区保持连接——这是在 AI 领域长期成长的最佳策略。

文章更新日志：

• 2019/11/17: 初始版本，收录早期 ML 大牛资源
• 2020-2023: 持续更新 NLP/CV 研究者和 GitHub 仓库
• 2024/06: 大规模更新，新增：
  • Transformer/LLM 时代核心论文和研究者
  • 华人 AI 研究者完整章节
  • 强化学习领域重要研究者
  • 关键数据集汇总
  • 在线课程与书籍推荐
  • MLOps 工具链与 LLM 应用开发框架
  • AI 安全与对齐研究
  • 推理部署技术栈（量化、推理引擎、RAG、Agent）
  • 行业趋势观察
  • 学习路径建议与常见陷阱

本文会持续更新，欢迎通过评论补充你发现的优秀资源和值得关注的大牛~

提示：本文收录的研究者、项目和资源基于其公开贡献和行业影响力，排名不分先后。如果你发现了值得推荐的新兴研究者或资源，欢迎在评论区分享，我会定期更新到正文中。Star、Fork 和 Follow 是 GitHub 上表示认可的方式，如果某个仓库对你有帮助，不妨给作者一个 Star~