机器学习与深度学习学习路线：从数据直觉到大模型系统

学习机器学习时最容易犯的错误，是把它当成一堆名词背：均值、方差、MLE、逻辑回归、过拟合、梯度消失、Attention、KV Cache、量化。这样学会很散，因为每个概念看起来都像一个单独问题。

更好的方式是把它们串成一条线：

先描述数据 -> 再建立预测模型 -> 再训练更深的模型 -> 再理解大模型如何生成和部署

这篇文章是整个 AI 栏目的学习地图。后面的文章会按这条路线展开，每篇都先从基础问题讲起，再慢慢引出公式、模型结构和工程优化。

第一站：先学会描述数据

机器学习的输入是数据。数据不是一上来就可以喂给模型的，我们首先要会描述它。

比如有两组成绩：

A: 60, 70, 80
B: 10, 70, 130

它们的平均数都是 70，但第二组明显更不稳定。这里自然引出两个最基础的问题：

• 数据中心在哪里？这对应均值、中位数、众数。
• 数据离中心有多远？这对应方差、标准差。

再往前一步，如果我们只看到了部分样本，还想估计总体情况，就会遇到样本方差、估计偏差、最大似然估计这些概念。

对应文章：概率统计基础：从数据波动到贝叶斯网络

这一站的目标不是背公式，而是建立一个直觉：

模型学习之前，先要知道数据本身长什么样。

第二站：从描述数据走向预测数据

当我们能描述数据后，就会问下一个问题：

能不能根据已有特征预测未知结果？

这就是机器学习建模。

最简单的例子是线性回归。假设学习时间越长，考试分数越高，我们可以先用一条直线描述这种关系：

这里已经出现了机器学习的核心思想：参数 $w,b$ 不是人手写死的，而是模型根据数据学出来的。

你已有的文章 机器学习基础：从概念到线性回归与梯度下降实战 已经讲了线性回归和梯度下降。接下来我们要顺着它继续往前走：

• 如果预测的是连续值，用线性回归。
• 如果预测的是“是/否”，需要逻辑回归。
• 如果特征太多，要做特征选择。
• 如果训练集很好、测试集很差，要讨论过拟合和泛化。

对应文章：机器学习建模：从线性模型到泛化诊断

这一站的目标是理解：

机器学习不是让训练集分数最高，而是让模型在没见过的数据上也能工作。

第三站：从线性模型走向神经网络

线性模型能力有限。真实世界里的关系经常不是一条直线，比如图像、语音、文本、复杂行为序列。这个时候我们会把很多线性变换和非线性激活叠起来，形成神经网络。

你已有的 浅谈神经网络原理 已经给出了一个重要直觉：

神经网络的核心计算，本质上是矩阵乘法、加权求和和非线性变换。

但网络一深，就会出现新的问题：模型不是只要写出来就能训练。它可能梯度消失、梯度爆炸，或者因为初始化不合理导致 loss 不下降。

所以在进入 Transformer 之前，需要先补上训练稳定性：

• 梯度是什么。
• 反向传播为什么会连乘很多导数。
• 为什么深层网络会梯度消失或爆炸。
• Xavier / He 初始化在控制什么。
• 残差连接、归一化和梯度裁剪为什么有用。

对应文章：深度学习训练稳定性：从梯度到初始化

这一站的目标是理解：

深度学习的难点不只是表达能力更强，还包括如何让深层计算图稳定地被优化。

第四站：从神经网络走向序列和语言

图片可以看成像素矩阵，文本则是一串 token。要让模型处理语言，我们先要把文字变成数字。

这一块你的博客已经有一组连续文章：

1. NLP基础：文本预处理、词元化、词表构建与BPE分词器
2. GPT输入层：Token ID、Embedding与RoPE位置编码
3. Attention 机制与 QKV 矩阵
4. 从 Attention 到 RoPE 与 GQA：现代大模型核心结构全景解析
5. 深入理解 GPT 大模型：从 Token 到文本生成的全链路解析

这几篇可以看成一条完整路线：

文本 -> token id -> embedding -> attention -> RoPE/GQA -> GPT生成

读 Transformer 相关内容时，不要急着背结构图。先抓住一个问题：

一个 token 如何读取上下文里其他 token 的信息？

Attention 就是在回答这个问题。后面的 RoPE、GQA、KV Cache 都是在这个基础上继续解决位置、显存和推理效率问题。

第五站：从模型结构走向推理系统

理解 GPT 结构以后，还要继续问：

模型真正上线时，为什么会慢，为什么会占显存？

这就进入大模型推理优化。

自回归模型一次只能生成一个 token。生成第 100 个 token 时，模型已经有 99 个历史 token。朴素做法会反复计算历史 token 的 Key 和 Value，KV Cache 则把它们保存下来，避免重复计算。

于是自然引出：

• Prefill：先处理完整 prompt。
• Decode：逐 token 生成。
• KV Cache：缓存历史 K/V。
• GQA / MQA：减少 KV head 数，降低缓存压力。
• INT8 量化：用低位宽降低模型和带宽成本。

对应文章：大模型推理优化：从自回归生成到 KV Cache 与量化

这一站的目标是理解：

大模型部署不是只看参数量，还要看计算、显存、带宽和请求调度。

这条路线怎么读

建议按下面顺序读：

概率统计基础
  -> 浅谈机器学习
  -> 机器学习建模
  -> 多项式回归
  -> 浅谈神经网络
  -> 深度学习训练稳定性
  -> 文本预处理
  -> Embedding与位置编码
  -> Attention机制
  -> ROPE与GQA
  -> GPT
  -> 大模型推理优化

多项式回归：深入理解欠拟合与过拟合 可以放在机器学习建模之后读，因为它用具体实验展示了欠拟合和过拟合。

多层感知机 可以放在神经网络和训练稳定性之间读，因为它是从线性模型进入深度模型的中间桥梁。

学习时的判断标准

每一阶段都可以用一个问题检查自己：

总结

这组文章的写法会尽量保持一个原则：

先从简单现象出发，再引出概念；先用例子建立直觉，再给公式；先讲模型为什么需要这个东西，再讲它怎么实现。

源文档里的主题会被放进这条学习链里，而不是拆成一个个孤立答案。这样读下去，概率统计、机器学习、深度学习和大模型系统才能连成一套完整知识结构。