Attention机制的本质思想 原图定位 注意力模型可以用 Query、Key 和 Value 模型进行描述。本质上 Attention 机制是对 Source中元素的 Value 值进行加权求和,而 Query 和 Key 用来计算对应 Value 的权重系数。以大脑读图为例,Value 可以理解为人眼视网膜对整张图片信息的原始捕捉,不受“注意力”所影响;Key 与 Value 相关联(<Key,Value>数据对),是图片原始信息所对应的关键性提示信息;读者大脑有意识地向图片获取信息,即发起了一次 Query,包含了读者的意图等信息。在一次读图过程中,Query 与 Key 之间计算出每个 Key 对应 Value 的权重系数,得到