Know Thyself · 阅读、技术与生活札记

量化：INT8、INT4 到底损失了什么？

少存几个比特，换来数值近似；质量和速度要另算

2026 年 10 月 3 日

目录第二十课目录1、一个数字2、丢掉什么3、交互实验4、分组与敏感度5、量化了哪些张量6、速度边界7、复习总图继续阅读 →

参数、梯度、优化器状态与激活值，到底谁占得最多

2026 年 10 月 3 日

目录第五课目录1、训练与推理2、参数3、梯度与优化器4、激活值5、简化算例6、省显存方法估算清单复习总图继续阅读 →

把数据、模型、训练、评估和推理服务连成一条可复现链路

2026 年 10 月 3 日

目录第二十四课目录1、先定义可验证目标2、数据与 Tokenizer3、模型与训练4、评估不能只看训练 Loss5、Checkpoint 与恢复6、推理与部署7、最终交付清单易错点复习总图继续阅读 →

从“我喜欢苹果”到绝对位置、相对距离、RoPE 与 NoPE

2026 年 10 月 3 日

目录第十一课·位置编码1、为什么需要位置线索2、位置的本质3、四种位置方法4、NoPE 的反转5、交互实验6、视频总结7、容易混淆的事8、复习总图继续阅读 →

把 Batch、Forward、Loss、Backward 和 Optimizer Step 真正连起来

2026 年 10 月 3 日

目录第八课目录1、循环什么2、准备输入3、Forward4、Loss5、Backward6、更新参数7、完整代码复习总图继续阅读 →

数据并行、张量并行、流水线并行与 ZeRO 到底在拆什么

2026 年 10 月 3 日

目录第六课目录1、为什么需要多卡2、数据并行3、张量并行4、流水线并行5、ZeRO / FSDP6、如何组合方式对比复习总图继续阅读 →