AI 学习笔记

什么是上下文（Context）？

上下文（Context）是指LLM在一次对话中能够"看到"的所有信息。它包括系统提示、用户消息、助手回复和历史对话等内容。上下文决定了LLM"知道什么"来回答当前问题。

上下文的组成

上下文管理策略

Agent记忆系统

对于AI Agent来说，记忆系统比简单的对话历史更加复杂，需要支持不同类型和不同时效的记忆。

记忆类型

记忆的作用

• 保持连贯性：让Agent记住之前的对话和决策，避免重复询问
• 积累经验：从历史交互中学习，逐步提升任务完成质量
• 个性化：记住用户偏好和习惯，提供个性化服务
• 协作支持：在多Agent协作中共享信息和状态

记忆存储技术

• 向量数据库：存储语义记忆，支持相似度检索（Chroma、Milvus）
• 关系数据库：存储结构化信息（用户档案、任务记录）
• 键值存储：存储简单的配置和状态（Redis）
• 文件系统：存储长期文档和日志

上下文窗口计算示例

理解上下文窗口的token消耗对于优化LLM应用非常重要。以下是一个具体的计算示例：

import tiktoken

def count_tokens(text, model="gpt-4o-mini"):
    """计算文本的token数量"""
    encoding = tiktoken.encoding_for_model(model)
    return len(encoding.encode(text))

# 计算各部分token消耗
system_prompt = "你是一个专业的AI学习助手，擅长用简单易懂的语言解释复杂的技术概念。"
user_message = "请解释什么是Transformer架构？"

system_tokens = count_tokens(system_prompt)
user_tokens = count_tokens(user_message)

print(f"系统提示：{system_tokens} tokens")
print(f"用户消息：{user_tokens} tokens")
print(f"当前总消耗：{system_tokens + user_tokens} tokens")

# 模拟10轮历史对话
history_tokens = 10 * (30 + 150)  # 每轮约180 tokens
reserved_for_output = 1024

total = system_tokens + user_tokens + history_tokens + reserved_for_output
print(f"含历史对话总消耗：{total} tokens")
print(f"8K窗口剩余：{8192 - total} tokens")