attention

1. 前言 The Transformer——一个使用注意力来提高这些模型的训练速度的模型。Transformer 在特定任务中的表现优于谷歌神经机器翻译模型。然而，最大的好处来自…

transformers目前大火，但是对于长序列来说，计算很慢，而且很耗费显存。对于transformer中的self attention计算来说，在时间复杂度上，对于每个位置，模…

文章目录 写在最前边 正文 从高层面看 图解张量 现在我们来看一下编码器 自注意力 细说自注意力机制 用矩阵计算self-attention 多头注意力 使用位置编码表示序列的位置…