Transformer概述

Transformer是目前最主流的AI架构，GPT、BERT、Claude等几乎所有大语言模型都基于它。2017年由Google在论文"Attention is All You Need"中提出，彻底改变了自然语言处理领域。

Transformer的核心：注意力机制

注意力机制（Attention）让模型能关注输入中最相关的部分，就像人读书时会重点关注某些词句。

Self-Attention（自注意力）详解

自注意力让序列中的每个词都能关注其他所有词，获取上下文信息。

Query、Key、Value的比喻

自注意力计算过程

1. 创建向量：每个词生成Query、Key、Value三个向量
2. 计算相似度：Query与所有Key的点积，得到注意力分数
3. 归一化：分数除以\(\sqrt{d_k}\)（防止数值太大），再通过Softmax变成概率
4. 加权求和：用概率权重对所有Value加权，得到新的词表示

注意力分数计算的数学公式

Self-Attention的Python/NumPy代码实现

import numpy as np

def softmax(x):
    """计算softmax，防止数值溢出"""
    exp_x = np.exp(x - np.max(x, axis=-1, keepdims=True))
    return exp_x / np.sum(exp_x, axis=-1, keepdims=True)

def self_attention(Q, K, V):
    """
    Self-Attention计算
    Q: (seq_len, d_k) 查询矩阵
    K: (seq_len, d_k) 键矩阵
    V: (seq_len, d_v) 值矩阵
    """
    d_k = Q.shape[-1]

    # 1. 计算注意力分数: Q * K^T
    scores = Q @ K.T  # (seq_len, seq_len)

    # 2. 缩放
    scores = scores / np.sqrt(d_k)

    # 3. Softmax归一化
    attention_weights = softmax(scores)

    # 4. 加权求和
    output = attention_weights @ V  # (seq_len, d_v)

    return output, attention_weights

# 示例：3个词，每个词用4维向量表示
np.random.seed(42)
seq_len = 3
d_k = 4
d_v = 4

Q = np.random.randn(seq_len, d_k)
K = np.random.randn(seq_len, d_k)
V = np.random.randn(seq_len, d_v)

output, weights = self_attention(Q, K, V)

print("注意力权重矩阵：")
print(np.round(weights, 3))
# 每行表示一个词对其他词的关注程度
print(f"\n输出形状: {output.shape}")

多头注意力（Multi-Head Attention）

多头注意力是让模型从多个不同角度理解句子。

多头注意力工作原理

• 把Query、Key、Value分成多份（比如8份）
• 每份独立做一次自注意力计算
• 得到8个不同的"视角"结果
• 把8个结果合并，得到最终表示

位置编码（Positional Encoding）

位置编码告诉模型每个词在句子中的位置，弥补Transformer无法识别顺序的缺陷。

位置编码的数学公式

Transformer架构详解

Transformer由两个主要部分组成：

Encoder（编码器）——理解输入

Encoder负责理解输入文本，提取其中的信息。

• 输入：原始文本（如"把这段话翻译成英语"）
• 处理：多层自注意力+前馈网络，理解每个词及其上下文
• 输出：每个词的深层语义表示
• 代表模型：BERT（双向理解，适合分类、问答）

Decoder（解码器）——生成输出

Decoder负责生成输出文本，逐词预测下一个词。

• 输入：Encoder的输出 + 已生成的词
• 处理：自注意力（看已生成部分）+ 交叉注意力（看Encoder输出）
• 输出：下一个词的概率分布，选择最可能的词
• 代表模型：GPT（单向生成，适合写作、对话）

Encoder vs Decoder 对比

维度	Encoder	Decoder
注意力类型	自注意力（看全部输入）	自注意力（只能看已生成的词）+ 交叉注意力（看Encoder输出）
处理方式	双向理解	单向生成（从左到右）
代表模型	BERT、RoBERTa	GPT、LLaMA、Qwen
适合任务	分类、问答、命名实体识别	写作、对话、代码生成

不同架构的应用场景

架构	模型	特点	适合任务
仅Encoder	BERT、RoBERTa	双向理解整个文本	文本分类、情感分析、问答系统
仅Decoder	GPT、LLaMA、Qwen	单向生成，预测下一个词	写作、对话、代码生成
Encoder-Decoder	T5、BART	理解+生成结合	翻译、摘要、改写