什么是RAG？

RAG（Retrieval-Augmented Generation，检索增强生成）是一种将信息检索与大语言模型生成相结合的技术。它先从外部知识库中检索相关信息，再将检索到的信息作为上下文提供给LLM，从而生成更准确、更有依据的回答。

RAG工作流程

RAG的核心组件

RAG的优势

• 减少幻觉：基于真实文档生成回答，提高准确性
• 知识可更新：只需更新向量数据库中的文档，无需重新训练模型
• 支持私有数据：可以整合企业内部知识库
• 可追溯来源：回答可以标注引用的文档来源
• 成本更低：相比微调，RAG的实现成本更低、速度更快

文档切分策略

文档切分（Chunking）是RAG系统中至关重要的一步，切分策略直接影响检索质量。

推荐使用重叠窗口切分，通常设置块大小为500-1000个Token，重叠比例为10%-20%。

Embedding模型选择

向量数据库详细对比

使用LangChain构建简单RAG

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_community.llms import Ollama
from langchain.chains import RetrievalQA

# 1. 加载文档
loader = TextLoader("knowledge_base.txt", encoding="utf-8")
documents = loader.load()

# 2. 切分文档
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,       # 每块最大500个字符
    chunk_overlap=50,    # 块之间重叠50个字符
    separators=["\n\n", "\n", "。", "！", "？", " ", ""]
)
chunks = text_splitter.split_documents(documents)
print(f"文档被切分为 {len(chunks)} 个文本块")

# 3. 初始化Embedding模型
embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-large-zh-v1.5"  # 中文Embedding模型
)

# 4. 创建向量数据库
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"  # 持久化存储目录
)

# 5. 创建检索器
retriever = vectorstore.as_retriever(
    search_kwargs={"k": 3}  # 检索最相关的3个文本块
)

# 6. 初始化LLM
llm = Ollama(model="qwen2.5:7b")  # 使用本地Ollama运行

# 7. 构建RAG链
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",     # 将所有检索结果拼接到一起
    retriever=retriever,
    return_source_documents=True
)

# 8. 提问
question = "什么是机器学习？"
result = qa_chain({"query": question})

print(f"问题：{question}")
print(f"回答：{result['result']}")
print(f"引用来源：{[doc.metadata for doc in result['source_documents']]}")

RAG评估方法

评估RAG系统的质量需要从检索和生成两个维度进行：

常用评估框架：RAGAS（RAG Assessment）是一个专门用于评估RAG系统的开源框架，提供上述指标的自动化计算。