从 Transformer 到 LLM：RoPE、KV Cache、FlashAttention 的工程化落地
面向工程实战系统讲清 RoPE、KV Cache、FlashAttention：核心公式、复杂度分析、显存估算与可落地代码实现。
Kirito's Blog · 首页
欢迎来到 Kirito's Blog
这是一个纯静态的博客骨架：主页文章列表 + 文章页样式 + 简易搜索。 你可以先用它跑通部署，然后再迁移到 Hugo + Markdown。
最近文章
全文检索
已启用全文搜索（search.json）。输入关键词会自动过滤文章列表。
命中 0 篇
Transformer 详解：从注意力公式到最小可运行代码
系统讲清 Transformer 的核心公式：缩放点积注意力、多头机制、位置编码、残差与归一化，并给出可运行的 PyTorch 最小实现。
强化学习速记：公式、直觉与最小实现
用公式和代码把 RL 的核心环节串起来：价值函数、策略梯度与优势估计。