# Transformer

这篇文章介绍了一种让 Transformer 更快、更省算力的稀疏化思路，核心是把原本稠密的注意力或计算结构改造成大规模稀疏形式。作者围绕 99% 稀疏这一目标，讨论了如何在尽量不损失效果的前提下大幅减少计算量，从而提升推理和训练效率。文章会解释这种方法为什么有效，以及它和传统 Transformer 在计算瓶颈上的差异。同时，文中也关注了稀疏化带来的工程实现问题，比如哪些部分可以稀疏、如何维持稳定性、以及加速是否真的能落地到实际硬件上。整体来看，这是一篇偏技术前沿的解析/解读文章，主要面向对大模型结构优化、稀疏注意力和高效推理感兴趣的读者。