THOUGHTS · NOTES · LIFE

思成言

生活是一个过程

月光：音乐中的印象派朦胧意境

用音乐描绘月光

　　如何用音乐描绘月光？你可能听过贝多芬的月光曲的故事，虽然那是杜撰的，但用钢琴这种音色描绘月光委实贴切。我们今天来看看被誉为“音乐中的莫奈”的德彪西，是如何用音乐描绘月光。 继续阅读 →
#古典乐

自注意力机制（Self-attention）

大模型基石

　　在Seq2Seq问题中，一般采用Encoder-Decoder的架构来解决多输入到多输出学习，但学习效果受限于中间被压缩的Context Vector大小。那么能不能一口气直接看整个序列呢？聪明的大脑提出了今天的主角——Self-attention，不光能看全序列、提取信息相关性，甚至还能并行，TA不伟大谁伟大？！🐂🍺 继续阅读 →
#深度学习

误差反向传播算法（Backpropagation）

深度学习的基础

　　机器学习本质是学习一个函数，学习的过程是指找到这个函数中合适的参数。那该如何更新参数？一般采用梯度下降法（Gradient Descent）。在深度学习中，需要更高效的更新参数，研究出了链式法则（Chain Rule）。 继续阅读 →
#深度学习