the Fresh logo: a sliced lemon dripping with juice

Exstyty的博客

深度学习注意力机制并行计算

传统Attention由于在计算时涉及多次访存操作造成计算效率下降,并且由于Softmax的计算机制破坏了并行计算的流畅性,导致几所过程阻塞,本文将探究Flash-Attention怎么优化这些问题的👍

Cpp汇编多态虚表继承

带你一起探索Cpp虚表的魔力