AI Product Manager · Knowledge Asset

Agent 知识体系
与工程化框架

这不是“某节课的摘录”,而是我对 Agent 产品化的结构化沉淀:从定义、架构、记忆、工具调用,到评估、守护、人机协同与上线治理。核心判断是:Agent 不是更会聊天的模型,而是能在边界内持续完成任务的系统。

Agent Architecture RAG / Memory MCP / Tools Evals / Guardrails
Core
6
模型、指令、工具、记忆、编排、守护
Loop
O-P-A
Observe / Plan / Act 持续闭环
Risk
HITL
高风险动作进入人工审批
Quality
Trace
用轨迹、数据集和评测驱动迭代
01 · Definition

先把 Agent 定义清楚:它是一个可运行工作流单元

一个专业的 Agent 不应只被描述成“会自主思考”。在工程语境里,它更像一个封装好的运行单元:模型负责推理,指令定义边界,工具连接外部系统,记忆提供状态,守护负责风险控制,评估负责持续改进。

Model

推理内核

决定理解、生成、工具选择与复杂任务分解能力。模型越强,并不自动等于 Agent 越可靠,还需要边界、工具和评估体系。

ReasoningLatencyCost
Instructions

角色与约束

定义 Agent 的任务、禁止事项、输出格式、判断标准和交互风格。它是产品需求在运行时的具体化。

RolePolicyOutput Type
Tools

行动能力

通过 Function Calling、MCP、浏览器、数据库、搜索或内部 API,让模型可以获取新信息或触发动作。

SchemaMCPAPI
Memory

状态连续性

短期记忆维持当前上下文,长期记忆沉淀用户偏好和业务知识,情景记忆记录任务过程与关键决策。

ContextRAGProfile
Orchestration

编排与移交

单 Agent 适合边界清晰任务;多 Agent 适合专业分工。关键选择是“谁拥有最终答案”,以及何时移交。

HandoffManagerRouting
Guardrails

质量与安全边界

输入、输出、工具参数和高风险动作都应有检查机制。敏感动作需要人审,而不是让模型自由执行。

ValidationApprovalAudit
Product View

产品经理看 Agent,不应只看“能不能回答”,而要看它是否能在明确边界内稳定完成任务:任务成功率、工具选择正确率、人工介入率、错误恢复能力和可追溯性,才是能否上线的判断标准。

02 · Architecture

从“能力清单”到“系统架构”:Agent 的六层拆解

原笔记里的“记忆、规划、工具、执行”是好的骨架,但还不够工程化。真正可上线的 Agent 需要把上下文、工具、运行时、评估和治理放进同一张图里。

Layer 01

目标层:任务、边界与成功定义

先定义任务输入、输出、失败条件、不可做事项、成功标准。没有清晰目标,后面的模型和工具都会变成“炫技”。

Layer 02

上下文层:短期上下文 + 长期知识

短期上下文解决当前对话连续性;长期知识通过 RAG、文件检索、用户画像或业务数据库提供事实依据。

Layer 03

推理层:计划、分解、选择与反思

让模型把目标拆成步骤,决定是否需要工具,观察工具结果,再调整计划。复杂任务需要限制步数、预算和重试策略。

Layer 04

工具层:函数、MCP、工作流与外部系统

工具描述要足够清楚,参数要结构化,结果要可校验。工具越多,越需要检索、分组和权限控制。

Layer 05

控制层:Guardrails、人审与权限

输入过滤、输出校验、工具调用前后检查、敏感动作审批,是 Agent 从 Demo 走向生产的分水岭。

Layer 06

评估层:Trace、数据集、回归测试

不要靠主观体验判断 Agent 好坏。要用轨迹记录、人工标注、评测集和线上反馈,持续发现失败模式。

03 · Memory

记忆不是“把资料塞进向量库”,而是上下文治理

长期记忆的核心难点不是存储,而是“何时写入、写什么、如何召回、如何防止污染”。RAG 是常见方案,但不是所有记忆问题都应该用 RAG 解决。

Memory Type
解决问题
典型实现
风险点
短期记忆
维持当前任务上下文
Context Window / Conversation State
上下文过长导致噪声、成本和遗忘
长期知识
补充模型训练外事实
RAG / File Search / DB Query
分块不佳、召回偏差、来源不可信
用户记忆
沉淀偏好、历史选择和个人状态
Profile Store / Preference Memory
隐私、过期信息、错误偏好固化
过程记忆
记录任务步骤、工具结果和决策
Trace / Event Log / Episodic Memory
轨迹膨胀、不可解释或难复盘
RAG Design Checklist

面向 Agent 的 RAG 需要额外关注:查询改写、混合检索、重排、引用来源、答案置信度、失败兜底,以及工具结果是否能进入下一轮规划。

04 · Tools & MCP

工具调用的关键不是“能调”,而是“可发现、可校验、可治理”

Function Calling 把工具调用结构化,MCP 进一步把工具、资源、提示词等能力以协议方式暴露出来。工具生态越开放,越要补上权限、确认、日志和异常处理。

Step 01工具发现

Agent 需要知道有哪些工具、何时使用、需要什么参数。

Step 02参数生成

模型按 JSON Schema 或工具协议生成结构化参数。

Step 03调用执行

运行时调用外部 API、MCP Server、数据库或工作流。

Step 04结果观察

工具结果进入上下文,供模型继续判断、追问或下一步行动。

Step 05验证收口

对结果做格式、事实、权限和副作用检查,必要时人审。

Function Calling

单平台工具标准化

适合应用内少量稳定工具。重点是 schema、工具描述、错误返回和二次确认。

MCP

跨平台能力复用

通过客户端与服务器的能力协商、工具列表和工具调用,使同一能力被不同 AI 应用复用。

Tool Search

大规模工具检索

当工具数量很大时,不应一次塞给模型,而应按需求动态检索和加载候选工具。

05 · Orchestration

单 Agent、Manager、Handoff:先选组织形态,再谈智能

多 Agent 不是越多越高级。只有当任务需要不同角色、不同工具权限、不同审批策略或不同输出责任时,才值得拆成多 Agent。

Pattern A

单 Agent

适合边界清晰、工具少、风险低的任务。优点是链路短、延迟低;缺点是复杂任务容易失控。

FAQ轻量工作流
Pattern B

Manager 调用专家

一个主 Agent 保持最终答复权,把专家 Agent 当工具调用。适合需要统一口径的复合任务。

SupervisorAgents as Tools
Pattern C

Handoff 移交

当某个专家需要接管对话或完整任务分支时使用。关键是移交条件、上下文摘要和责任边界。

DelegateOwnership
06 · Delivery

Agent 产品上线,应该按“闭环质量”而不是“演示效果”验收

真正的交付不是做出一次惊艳 Demo,而是让系统在大量真实输入下稳定工作,并且失败时可解释、可恢复、可追责。

01

任务定义

明确用户、场景、输入、输出、成功标准、禁止行为和升级路径。

02

最小工具面

只暴露完成任务必需的工具,先做少而稳,再扩展能力面。

03

评测集

沉淀黄金样本、边界样本、坏例样本,用数据集跑回归。

04

Trace 复盘

记录模型调用、工具调用、移交、守护和最终输出,用轨迹定位失败原因。

05

Guardrails

输入、输出和工具调用都要校验;敏感动作必须进入人工审批。

06

灰度上线

先在低风险场景上线,观察成功率、人工介入率、失败类型和成本。

07

反馈闭环

把线上失败样本回流到评测集、提示词、工具描述和业务规则。

08

治理机制

沉淀权限、审计、版本管理、模型回滚和数据安全机制。

07 · Glossary

术语表:保留通用概念,去掉个案痕迹

术语表从“课堂速记”调整为面向项目沟通和面试表达的专业词汇表。

中文
英文
产品含义
关注点
智能体
Agent
封装模型、指令、工具、记忆和控制策略的任务执行单元
目标边界、工具权限、评估
函数调用
Function Calling
模型按结构化 schema 请求外部功能或数据
参数校验、错误处理
模型上下文协议
MCP
用于连接 AI 应用与外部工具、资源、提示词的开放协议
能力发现、权限、审计
检索增强生成
RAG
从外部知识源检索内容并注入上下文辅助回答
分块、召回、重排、引用
移交
Handoff
把任务或对话控制权交给另一个专门 Agent
移交条件、上下文压缩
人机协同
Human-in-the-loop
在高风险或低置信动作前让人批准、修改或拒绝
审批体验、责任链路
守护机制
Guardrails
自动检查输入、输出、工具参数或执行结果的控制层
误杀率、漏放率、延迟
轨迹
Trace
记录一次 Agent 运行中的模型、工具、移交和守护事件
复盘、评测、审计
08 · References

参考来源

内容参考官方文档与一手资料后重新整理为个人知识沉淀,页面中的判断和表达已转化为产品经理视角。