LLM的工作原理

大语言模型（Large Language Model，LLM）是基于Transformer Decoder架构的大规模预训练模型，通过预测下一个词来生成文本。

预训练任务详解

LLM的预训练通常基于以下两种任务之一：

1. Next Token Prediction（下一个词预测）

这是GPT系列使用的预训练任务。模型看到前面的词，预测下一个词。

2. 掩码语言模型（Masked Language Model）

这是BERT使用的预训练任务。随机遮盖输入中的一些词，让模型预测被遮盖的词。

分词算法

分词（Tokenization）是将文本切分为模型可处理的Token序列的过程。

BPE（Byte Pair Encoding）原理

BPE是最常用的分词算法，核心思想是：从字符开始，反复合并最高频的字符对，逐步构建词表。

推理采样策略

LLM在生成文本时，需要从概率分布中选择下一个Token。不同的采样策略影响输出的多样性和质量。

策略	原理	优点	缺点	适用场景
Greedy（贪心）	每步选概率最高的Token	确定性强，速度快	容易重复，缺乏多样性	翻译、摘要等确定性任务
Beam Search	同时保留多个候选序列	全局最优，质量高	计算量大，输出保守	机器翻译
Temperature	调整概率分布的"尖锐度"	控制输出的随机性	需要调参	通用（低=事实，高=创意）
Top-k	只从概率最高的k个Token中采样	过滤低质量选项	k值固定，不够灵活	对话、故事生成
Top-p（核采样）	从概率累积达到p的最小Token集合中采样	动态调整候选集大小	实现稍复杂	通用，最推荐

使用transformers库生成文本

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和分词器
model_name = "gpt2"  # 可替换为 "meta-llama/Llama-2-7b-hf" 等
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 编码输入文本
prompt = "人工智能的未来发展方向包括"
input_ids = tokenizer.encode(prompt, return_tensors="pt")

# 生成文本（使用不同的采样策略）
# 方式1：贪心搜索（确定性输出）
output_greedy = model.generate(input_ids, max_new_tokens=50, do_sample=False)
print("Greedy:", tokenizer.decode(output_greedy[0], skip_special_tokens=True))

# 方式2：带温度的采样（创造性输出）
output_temp = model.generate(
    input_ids,
    max_new_tokens=50,
    do_sample=True,
    temperature=0.8,
    top_p=0.9
)
print("Temperature:", tokenizer.decode(output_temp[0], skip_special_tokens=True))

# 方式3：Top-k采样
output_topp = model.generate(
    input_ids,
    max_new_tokens=50,
    do_sample=True,
    top_k=50,
    top_p=0.95
)
print("Top-k+p:", tokenizer.decode(output_topp[0], skip_special_tokens=True))

模型压缩技术

为了在资源有限的设备上运行大模型，需要使用模型压缩技术：

技术	原理	效果	代价
量化（Quantization）	降低参数精度（FP16→INT8→INT4）	显存减少50%-75%	精度略有下降
知识蒸馏（Distillation）	用大模型教小模型	小模型获得接近大模型的效果	需要训练过程
剪枝（Pruning）	删除不重要的参数或层	减少模型大小和计算量	可能影响性能
LoRA（低秩适配）	只训练少量额外参数	微调成本大幅降低	推理时需要合并参数