训练数据是怎样送进 GPU 的？
从原始文本到 Batch，看懂大模型的数据流水线
目录第四课目录1、数据清洗2、Tokenize 与边界3、切块与 Packing4、组成 Batch5、Padding 与 Mask6、送进 GPU完整迭代复习总图
继续阅读 →
THOUGHTS · NOTES · LIFE
思成言
生活是一个过程
大模型是怎样学会预测下一个 Token 的？
从训练样本、交叉熵到反向传播，看懂一次完整训练
Attention 为什么能让 Token 彼此“看见”？
从 Q、K、V 到上下文表示，拆解一次注意力计算
一句话进入 LLM 后，到底发生了什么？
从文字到回答，拆解一次完整的预测过程
月光：音乐中的印象派朦胧意境
用音乐描绘月光
如何用音乐描绘月光？你可能听过贝多芬的月光曲的故事，虽然那是杜撰的，但用钢琴这种音色描绘月光委实贴切。我们今天来看看被誉为“音乐中的莫奈”的德彪西，是如何用音乐描绘月光。
继续阅读 →
自注意力机制（Self-attention）
大模型基石
在Seq2Seq问题中，一般采用Encoder-Decoder的架构来解决多输入到多输出学习，但学习效果受限于中间被压缩的Context Vector大小。那么能不能一口气直接看整个序列呢？聪明的大脑提出了今天的主角——Self-attention，不光能看全序列、提取信息相关性，甚至还能并行，TA不伟大谁伟大？！🐂🍺
继续阅读 →