为什么我要写这篇

我正在学习人工智能，而 Transformer 是现代人工智能中绕不开的一种重要结构。

过去我知道：

  • Attention
  • Query
  • Key
  • Value
  • Encoder
  • Decoder

这些名词。

但“知道名词”和“真正建立理解”不是一回事。

一个最初的理解

我目前把 Attention 暂时理解成：

在处理当前信息时，根据问题，从已有信息中决定哪些部分更值得关注。

以后随着学习深入，我会继续修改这里的理解。

未完成的问题

目前还有几个问题值得继续研究：

  1. Query、Key 和 Value 为什么需要三个不同的表示？
  2. Self-Attention 为什么能够捕获长距离依赖？
  3. Multi-Head Attention 的多个 Head 到底学到了什么？

这篇笔记不会结束。

它会随着我的理解继续变化。