Q、K、V 是什么

Self-Attention 公式里出现 $\mathbf{Q}$（Query）、$\mathbf{K}$（Key）、$\mathbf{V}$（Value）。它们不是三套独立数据，而是同一输入 $\mathbf{X}$ 经三个线性层得到的三种「视角」：问什么、匹配什么、传递什么。理解这三者，就读懂了 attention 权重的来源。

直觉：图书馆检索

• Query：你手里的检索词——「我想找关于 attention 的书」
• Key：每本书 spine 上的标签——用于与 Query 比对相似度
• Value：书里的实际内容——相似度高就多读几本的内容进摘要

每个 token 同时扮演「读者」和「书」：自己的 Query 去匹配所有人的 Key，再按权重取所有人的 Value。

定义

$\mathbf{W}^Q, \mathbf{W}^K, \mathbf{W}^V \in \mathbb{R}^{d_{\text{model}} \times d_{\text{model}}}$（单头全维写法；多头时投影到 $d_k$）。

Attention 权重：

输出第 $i$ 行：$\mathbf{z}_i = \sum_j A_{ij} \mathbf{v}_j$。

例子

例 1：BERT-base 单头维度

• 输入 $\mathbf{X}$：$(n, 768)$
• $\mathbf{W}^Q$：$(768, 64)$ → $\mathbf{Q}$：$(n, 64)$（单头）
• 12 头时各有独立的 $\mathbf{W}^Q_h$，最后 concat 成 $(n, 768)$

三个投影层参数量（单头）：$3 \times 768 \times 64 = 147{,}456$；12 头合计 $3 \times 768 \times 768 = 1{,}769{,}472 \approx 1.77\text{M}$（含输出投影 $\mathbf{W}^O$ 则再 $768^2$）。

例 2：数值小例

$n=3$，$d_k=2$，某头：

缩放（$\sqrt{2}\approx 1.41$）后 softmax → 权重约 $[0.10, 0.85, 0.05]$。token 1 的输出主要来自 token 2 的 Value。

量化

QKV 投影 FLOPs：$6 n d^2$（乘加各算一次）；$n=512$ 时约 $1.5 \times 10^9$ / 层。

常见误区

1. K 和 V 必须相同：否。K 只参与打分，V 参与加权求和；分工不同。
2. Q·K 越大越好：未经 softmax 的 raw score 可任意大；$\sqrt{d_k}$ 缩放是为避免 softmax 饱和、梯度消失。
3. 三个 W 可以合并成一个：推理优化里常把 QKV 合成一次 GEMM（$768 \to 2304$），数学等价，省 kernel launch。

动手试一试

import torch
import torch.nn as nn

n, d_model, n_heads = 128, 768, 12
d_k = d_model // n_heads  # 64

X = torch.randn(n, d_model)
W_q = nn.Linear(d_model, d_model, bias=False)
W_k = nn.Linear(d_model, d_model, bias=False)
W_v = nn.Linear(d_model, d_model, bias=False)

Q = W_q(X).view(n, n_heads, d_k).transpose(0, 1)  # (12, 128, 64)
K = W_k(X).view(n, n_heads, d_k).transpose(0, 1)
V = W_v(X).view(n, n_heads, d_k).transpose(0, 1)

scores = (Q @ K.transpose(-2, -1)) / (d_k ** 0.5)  # (12, 128, 128)

小结

Q、K、V 是同一隐藏状态的三次线性投影：Query 发起匹配，Key 被匹配，Value 被汇聚。BERT-base 每层约 2.36M 参数花在 Multi-Head Attention 的 QKV+输出上。下一篇看训练稳定性的关键——残差连接。

下一篇：Residual 连接