第34章：企业级AI架构认知
学习目标
- 理解企业AI应用的技术架构全景图
- 掌握AI技术选型的关键考量因素
- 了解云端、私有化、混合三种部署模式
- 认识企业AI落地的核心架构组件
前置要求
- 已完成《AI学习笔记》Part 1-2的学习
- 了解LLM、RAG、Agent等基础概念
- 有一定的企业软件开发经验
企业AI架构全景图
企业级AI应用不是简单的"调用API"，而是涉及多个层级、多个组件的复杂系统。理解这张架构全景图，是做企业AI测试的第一步。
企业AI架构全景
┌─────────────────────────────────────────────────────────────────────┐
│ 企业AI应用架构全景图 │
│ │
│ 【应用层】 │
│ ├─ 业务应用：客服机器人、文档助手、代码助手、测试自动化... │
│ ├─ 用户界面：Web/App/API/CLI │
│ └─ 交互协议：自然语言 → 结构化指令 → 执行结果 │
│ │
│ 【智能层】 │
│ ├─ Agent（智能体）：任务规划、多步执行、自主决策 │
│ ├─ Skills（技能）：领域专业能力包、工作流封装 │
│ ├─ MCP（协议）：工具发现与调用的标准接口 │
│ └─ LLM（大脑）：GPT-4/Claude/开源模型 │
│ │
│ 【能力层】 │
│ ├─ RAG系统：文档分块 → Embedding → 向量检索 → Prompt增强 │
│ ├─ 向量数据库：Pinecone/Milvus/Qdrant/Chroma │
│ ├─ Embedding模型：text-embedding-3/BGE/voyage │
│ └─ Fine-tuning：领域微调、LoRA/QLoRA │
│ │
│ 【数据层】 │
│ ├─ 知识库：企业文档、API文档、测试用例库、缺陷历史... │
│ ├─ 数据处理：清洗、分块、向量化、更新同步 │
│ └─ 数据治理：权限、审计、合规 │
│ │
│ 【基础设施层】 │
│ ├─ 模型推理：vLLM/TensorRT-LLM/Ollama │
│ ├─ 云服务：OpenAI API/Anthropic API/云GPU │
│ ├─ 私有部署：本地GPU/边缘设备 │
│ └─ 监控运维：日志、指标、告警 │
│ │
└─────────────────────────────────────────────────────────────────────┘AI技术选型的关键考量
企业引入AI时，需要从多个维度评估技术选型，而非简单追求"最强模型"。
选型决策矩阵
以下是最关键的选型考量因素，建议团队逐一评估：
| 考量维度 | 关键问题 | 选型建议 |
|---|---|---|
| 业务场景 | 是问答、文档处理、代码生成还是测试自动化？ | 不同场景对模型能力要求不同 |
| 数据敏感性 | 数据能否传给第三方云服务？ | 敏感数据 → 私有化部署；非敏感 → 云API |
| 成本预算 | Token成本、GPU成本、运维成本？ | 高频使用 → 私有化更经济；低频 → 云API更灵活 |
| 响应延迟 | 需要毫秒级响应还是秒级可接受？ | 实时交互 → 本地推理；离线处理 → 云API |
| 定制化需求 | 需要领域微调还是通用能力够用？ | 强定制 → LoRA微调；通用 → 直接使用 |
| 团队能力 | 运维GPU集群、微调模型的能力？ | 能力有限 → 优先云服务；能力强 → 私有化可行 |
| 合规要求 | 行业监管、数据出境、审计要求？ | 强合规 → 私有化+审计日志 |
三种部署模式对比
部署模式选择要点
部署模式直接影响测试策略——云API测试关注接口稳定性和响应质量；私有化测试关注模型性能和资源消耗；混合模式需同时验证两端的一致性。
| 模式 | 说明 | 优点 | 缺点 | 测试重点 |
|---|---|---|---|---|
| 云API调用 | 直接调用OpenAI/Claude等云端API | 无需运维、开箱即用、模型更新自动获得 | 数据外传、成本随用量增长、无法定制 | 接口稳定性、响应延迟、错误处理、Token成本 |
| 私有化部署 | 在企业内部GPU服务器部署开源模型 | 数据不出域、可控可定制、长期成本可控 | 运维复杂、需要GPU资源、模型更新需手动 | 推理性能、资源消耗、模型稳定性、版本更新 |
| 混合模式 | 敏感任务私有化、通用任务用云API | 兼顾安全与效率、灵活路由 | 架构复杂、需维护两套系统 | 路由策略、数据分类准确性、两端一致性 |
核心架构组件详解
1. LLM层（大脑层）
LLM是企业AI应用的"大脑"，负责理解、推理和生成。选择合适的LLM是架构设计的第一步。
| 模型类别 | 代表模型 | 适用场景 | 企业考量 |
|---|---|---|---|
| 商业云API | GPT-4o, Claude 4, Gemini | 通用能力强、快速验证 | 数据安全、成本控制、可用性SLA |
| 开源可部署 | Llama 3, Qwen, DeepSeek | 私有化、定制化需求 | GPU资源、运维能力、版本管理 |
| 领域微调 | 基于开源模型LoRA微调 | 垂直领域深度适配 | 训练数据质量、微调成本、效果评估 |
2. RAG层（知识增强层）
RAG是企业AI"有知识"的关键——让模型能回答企业私有文档中的问题。
RAG系统架构
RAG系统的核心组件：
┌─────────────────────────────────────────────────────────────────┐
│ 知识库构建流程 │
│ │
│ 企业文档 → 文档分块(Chunking) → Embedding向量化 → 向量数据库存储 │
│ │
│ 关键参数： │
│ - 分块大小：500-1000字/块 │
│ - 重叠窗口：50-100字（保留跨块上下文） │
│ - Embedding维度：768-1536维 │
│ - 向量数据库选型：Pinecone/Milvus/Qdrant/Chroma │
│ │
└─────────────────────────────────────────────────────────────────┘
┌─────────────────────────────────────────────────────────────────┐
│ 查询增强流程 │
│ │
│ 用户问题 → Embedding向量化 → 向量检索Top-K → Prompt拼接 → LLM生成 │
│ │
│ 关键参数： │
│ - 检索数量(Top-K)：3-10条 │
│ - 相似度阈值：>0.7 │
│ - 重排序策略：可选Cross-Encoder重排 │
│ │
└─────────────────────────────────────────────────────────────────┘3. Agent层（执行层）
Agent让AI从"回答问题"进化到"完成任务"，是企业AI自动化落地的关键。
Agent在企业测试中的典型应用
- 需求分析Agent：自动分析需求文档，提取测试点
- 用例生成Agent：根据需求自动生成测试用例
- 执行Agent：自动执行测试、收集结果、分析异常
- 报告Agent：汇总测试结果、生成可视化报告
企业AI落地路径
推荐落地阶段
企业AI落地建议按以下阶段循序渐进：
| 阶段 | 目标 | 技术栈 | 测试团队准备 |
|---|---|---|---|
| 阶段1：验证 | 用云API验证AI能否解决实际问题 | OpenAI/Claude API + 简单Prompt | 学习Prompt Engineering、评估AI输出质量 |
| 阶段2：增强 | 引入RAG让AI"懂"企业知识 | 向量数据库 + Embedding + 云API | 准备知识库数据、测试检索准确率 |
| 阶段3：行动 | 让AI能"做事"而非只"说话" | Agent框架 + MCP + 工具集成 | 验证工具调用准确性、测试Agent决策逻辑 |
| 阶段4：掌控 | 私有化部署、完全可控 | 开源模型 + 本地推理 + 自建RAG | 测试推理性能、资源消耗、模型稳定性 |
测试团队视角：架构理解的意义
为什么测试人员需要懂架构？
理解架构是设计有效测试策略的前提：
- 知道测什么：了解组件边界，才能设计针对性测试
- 知道测哪里：识别风险点，优先测试高风险组件
- 知道怎么测：不同组件测试方法不同——LLM测一致性、RAG测检索准确性、Agent测决策逻辑
- 知道何时测：了解架构变更点，在关键节点加强测试
本章小结
- 企业AI架构包含应用层、智能层、能力层、数据层、基础设施层五个层级
- 技术选型需综合考量业务场景、数据安全、成本、延迟、定制化、团队能力和合规
- 三种部署模式各有优劣：云API适合快速验证，私有化适合敏感场景，混合模式兼顾两者
- 测试团队理解架构才能设计有效测试策略，识别风险点，选择合适的测试方法
扩展阅读
- 第35章：AI架构设计原则 - 分层架构与模块化设计
- 第36章：MCP协议标准 - AI工具通信的USB接口
- 第28章：提示词工程 - Prompt Engineering基础