第 01 篇
机器学习与深度学习学习路线：从数据直觉到大模型系统
这不是知识点清单，而是一条从概率统计、机器学习、深度学习、Transformer 到大模型推理的连续学习路线。
先建立全局地图，知道后面的文章分别解决什么问题。
石砚 · 从基础到工程
AI 基础到大模型路线
从机器学习直觉、概率统计和训练稳定性开始，逐步进入 Transformer、大模型输入层、Attention、RoPE/GQA 与推理优化。
第 02 篇
机器学习基础：从概念到线性回归与梯度下降实战
本文深入浅出地介绍了机器学习的基本概念，通过对比传统算法与机器学习算法，详细阐述了线性回归模型、均方误差损失函数及梯度下降优化过程，并提供了Python实战代码。
理解线性回归、损失函数和梯度下降。
第 03 篇
第 04 篇
第 05 篇
第 06 篇
NLP基础：文本预处理、词元化、词表构建与BPE分词器
本文介绍NLP中的文本预处理基础步骤，包括数据集读取、文本清洗、词元化、词表构建，并结合nanochat项目说明BPE分词器训练、对话渲染和预训练数据加载流程。
进入 NLP 前先处理 token、词表和 BPE。
第 07 篇
GPT输入层：Token ID、Embedding与RoPE位置编码
结合nanochat源码，说明文本被Tokenizer转成token id之后，如何进入GPT的Embedding层，并在Attention中通过RoPE注入位置信息。
看 token 如何变成向量，位置如何进入模型。
第 08 篇
第 09 篇
第 10 篇
第 11 篇
大模型推理优化：从自回归生成到 KV Cache 与量化
从 GPT 自回归生成开始，逐步讲清楚 Prefill、Decode、KV Cache、GQA、分页式缓存管理、INT8 量化、校准集和离群值。
最后进入 Prefill、Decode、KV Cache 和量化。