AI 学习笔记

什么是知识库？

知识库是有组织地存储和管理知识的系统，为AI应用提供可靠的信息来源。在AI系统中，知识库是RAG、Agent等应用的基础设施。

知识库的类型

知识库建设流程

向量数据库详解

向量数据库是专门用于存储和检索高维向量的数据库。它通过向量相似度搜索（而非精确匹配）来找到语义相关的内容。

传统搜索 vs 向量搜索

向量搜索的优势

• 语义理解：能匹配含义相近的内容，而非仅字面匹配
• 容错性强：对拼写错误、表述方式变化不敏感
• 跨模态：可以实现图文互搜（图片向量与文本向量在同一空间）
• 个性化：可以结合用户偏好向量进行个性化推荐

常见向量数据库

• Chroma：轻量级、Python友好、适合开发和小规模应用
• Milvus：分布式、高性能、适合大规模生产环境
• Pinecone：全托管云服务、无需运维
• Weaviate：支持混合搜索（向量+关键词）
• Qdrant：Rust编写、高性能、支持复杂过滤
• FAISS：Meta开源的向量检索库（非完整数据库）

向量检索流程

使用Chroma构建向量数据库

import chromadb
from chromadb.utils import embedding_functions

# 1. 创建Chroma客户端
client = chromadb.PersistentClient(path="./my_chroma_db")

# 2. 初始化Embedding函数
embedding_fn = embedding_functions.SentenceTransformerEmbeddingFunction(
    model_name="BAAI/bge-small-zh-v1.5"
)

# 3. 创建集合（相当于一张表）
collection = client.get_or_create_collection(
    name="ai_knowledge_base",
    embedding_function=embedding_fn,
    metadata={"description": "AI学习笔记知识库"}
)

# 4. 添加文档
documents = [
    "机器学习是人工智能的一个分支，通过数据训练模型来学习规律。",
    "深度学习使用多层神经网络来学习数据的复杂表示。",
    "自然语言处理（NLP）让计算机能够理解和生成人类语言。",
    "计算机视觉让机器能够理解和处理图像和视频数据。",
    "强化学习通过奖励和惩罚机制来训练智能体做出最优决策。"
]

collection.add(
    documents=documents,
    ids=["doc1", "doc2", "doc3", "doc4", "doc5"],
    metadatas=[
        {"category": "ML", "chapter": 4},
        {"category": "DL", "chapter": 5},
        {"category": "NLP", "chapter": 11},
        {"category": "CV", "chapter": 9},
        {"category": "RL", "chapter": 4}
    ]
)
print(f"已添加 {collection.count()} 条文档")

# 5. 向量搜索
results = collection.query(
    query_texts=["如何让计算机理解人类语言？"],
    n_results=3
)

print("\n搜索结果：")
for i, (doc, distance, metadata) in enumerate(zip(
    results["documents"][0],
    results["distances"][0],
    results["metadatas"][0]
)):
    print(f"\n[{i+1}] 相似度距离: {distance:.4f}")
    print(f"    分类: {metadata['category']}")
    print(f"    内容: {doc}")

# 6. 带条件过滤的搜索
filtered_results = collection.query(
    query_texts=["学习方法"],
    n_results=2,
    where={"category": "ML"}
)