第0章 Agent能力全景展示
来源:https://ai-agent-guide.xiaofuge.cn/chapters/ch00-fundamentals.html 所属:序章
第0章 Agent 能力全景展示
🎬 序章
📍 这一章怎么读
这不是术语章,而是建立直觉的序章。你只需要先记住三件事:Agent 不只是聊天、Agent 会自己决定下一步做什么、Agent 不是万能的,只有在"需要调用工具、需要多步决策、需要持续反馈"时才值得使用。
小白路线:先看 0.1 和 0.2,建立感受后立刻进入第1章基础概念。
开发路线:重点看 0.1、0.3、0.4,快速建立"能力地图 → 实现组件"的对应关系。
面试路线:这一章只回答"Agent 是什么、比 ChatBot 强在哪、适合解决什么问题",不要在这里死记底层术语。
0.1 五分钟体验 Agent
在深入学习 Token、Prompt、Embedding 这些底层概念之前,先让我们直观感受一下 Agent 到底能做什么。与其从定义开始,不如从一个真实的交互开始——你问一个问题,Agent 自己判断意图、选择工具、获取数据、总结回答。整个过程你不需要告诉它"该查天气"或"该用哪个 API",它自主决策、自主行动。
下面这个演示模拟了一个天气查询 Agent 的完整工作流程。注意观察每个步骤中 Agent 的"思考过程"——这正是 Agent 和普通 ChatBot 的核心区别:ChatBot 只能聊天,Agent 能行动。
Agent 交互流程图
交互式对话模拟
下面是一个逐步展示的对话模拟——每一行会按时间顺序依次出现,让你看到 Agent 是如何一步步完成任务的。整个过程不到 5 秒,但背后包含了"感知→思考→行动→观察→回答"的完整闭环。
👤 用户 北京明天适合户外运动吗? 🧠 思考 (Thought)
用户问的是"适合户外运动吗",这需要天气信息来判断。我需要知道温度、天气状况、湿度等数据。应该调用 get_weather 工具查询北京明天的天气。 ⚡ 行动 (Action)
调用工具:get_weather(city="北京", date="2026-07-03")
👀 观察 (Observation) 天气API返回:晴,最高温 28°C,最低温 19°C,湿度 45%,风速 3m/s(微风),紫外线指数中等,空气质量良好。 🧠 思考 (Thought)
根据观察数据分析:28°C 是舒适的运动温度,晴天无雨,湿度 45% 适宜,微风不影响运动,空气质量良好。紫外线中等需要注意防晒。综合判断:非常适合户外运动。 💬 最终回答 (Final Answer)
北京明天非常适合户外运动!☀️ 天气晴朗,气温 19-28°C,湿度适中(45%),微风,空气质量良好。
**建议:**推荐早上 7-10 点或下午 4 点后运动,避免午后高温时段。紫外线中等,记得涂防晒霜。适合跑步、骑行、登山等各类户外活动。
▶ 点击开始演示 ↺ 重置
看到这个演示后,你可能已经注意到几个关键点: 🔑 Agent vs ChatBot:核心差异 | 对比维度 | 普通 ChatBot | AI Agent | | --- | --- | --- | | 回答方式 | 基于训练数据直接回答 | 判断是否需要工具,主动调用获取实时数据 | | 数据来源 | 只能用训练时的历史数据 | 可以调用 API、搜索网页、查询数据库 | | 思考过程 | 一次生成,无中间步骤 | Thought→Action→Observation 循环推理 | | 纠错能力 | 无法自我纠错 | 观察结果后可重新决策,自动纠错 | | 记忆能力 | 仅限当前对话上下文 | 短期+长期记忆,跨会话保持 | 这就是 Agent 的魅力——它不是"更聪明的聊天机器人",而是一个能自主感知、思考、行动、观察的数字助手。接下来的章节会带你深入了解 Agent 的每一个能力维度和底层原理。
"不要从定义开始学 Agent,从体验开始。看它做了什么,再理解它怎么做。"
0.2 Agent 能力全景图
Agent 不是一个单一的技术,而是四大能力域的有机整合。就像一个人需要眼睛看(感知)、大脑想(思考)、手脚动(行动)、耳朵听反馈(观察),Agent 也需要这四个能力才能完成复杂任务。下面这张全景图展示了 Agent 的能力架构,以及每个能力对应本书的哪些章节。
你可以把这张图当作整本书的导航地图——每学习一个章节,就回来看看它属于哪个能力域、和其他能力如何联动。Agent 的精髓不是某个单一能力的强大,而是四个能力协同运作形成的闭环。
四大能力域详解
👁️
感知 (Perceive)
Agent 的"眼睛和耳朵"——接收用户输入、环境信号、工具返回结果。感知能力决定了 Agent 能"看到"多少信息,包括多模态输入(文字、图片、语音)、上下文理解、意图识别。 📖 相关章节:ch01 大模型基础 · ch04 提示词工程 · ch20 RAG 检索增强
🧠
思考 (Think)
Agent 的"大脑"——推理、规划、记忆检索。思考能力包括思维链推理(CoT)、任务拆解与规划(Plan & Execute)、记忆检索与整合、多路径探索(ToT)。这是 Agent 最重要的能力域。 📖 相关章节:ch04 提示词工程 · ch06 记忆系统 · ch07 意图识别 · ch08 运行时 · ch09 Harness · ch14 多Agent
感知→ 思考→ 行动→ 观察↻ 再思考 ⚡
行动 (Act)
Agent 的"手脚"——工具调用、代码执行、多Agent协作。行动能力让 Agent 从"只会想"进化到"能做事",包括 Function Calling 调用外部 API、代码生成与执行、浏览器自动化、多 Agent 协同工作。 📖 相关章节:ch10 工具设计 · ch11 MCP 协议 · ch12 Skills · ch18 CLI Agent
👀
观察 (Observe)
Agent 的"反馈回路"——结果评估、循环决策、自我纠错。观察能力让 Agent 判断"做得对不对",包括工具返回结果解析、执行效果评估、反思与纠错(Reflection)、循环决策直到满意。 📖 相关章节:ch06 记忆系统 · ch21 评估与可观测性 · ch22 安全防护 · ch08 运行时架构
🔄 Agent 核心闭环:感知 → 思考 → 行动 → 观察 → 再思考
四大能力域不是孤立的模块,而是形成一个持续运转的闭环。Agent 接收输入(感知),分析决策(思考),执行操作(行动),评估结果(观察),然后根据观察重新调整策略(再思考)。这个循环一直运行,直到任务完成或达到终止条件。
全景架构图
🗺️ 本教程章节导航(ch00 - ch25) | 章节 | 主题 | 所属篇 | 核心内容 | | --- | --- | --- | --- | | ch00 | Agent 能力全景展示 | 序章 | Agent 体验 + 全景图 + 进化史 + 基础概念 | | ch01 | 大模型与 Agent 基础概念 | 第一篇 基础 | LLM 原理、Transformer、模型家族、Token 与上下文窗口 | | ch02 | 什么是 AI Agent? | 第一篇 基础 | Agent 定义、架构组件、与 ChatBot 的区别、能力闭环 | | ch03 | 你的第一个 Agent:天气查询助手 | 第一篇 基础 | 从零搭建天气 Agent,Function Calling 实战 | | ch04 | 提示词工程:与 LLM 沟通的语言 | 第二篇 大脑 | 三层结构、采样参数、C.L.E.A.R 原则、Jinja2 模板、PromptOps | | ch05 | ReAct:让 Agent 学会思考 | 第二篇 大脑 | ReAct 模式、ReWOO、LLM Compiler、Reflexion 反思、CoT/ToT | | ch06 | Agent 的记忆系统 | 第二篇 大脑 | 短期/长期/工作记忆、上下文压缩、Context Engineering | | ch07 | 意图识别与决策中枢 | 第二篇 大脑 | 意图识别、工具路由、任务规划、Agent Loop 执行循环 | | ch08 | Agent 运行时:Loop 引擎与沙箱 | 第二篇 大脑 | Agent Loop 主循环、Runtime 五层架构、沙箱隔离、稳定性保障 | | ch09 | Harness 工程:大脑的工程化外壳 | 第二篇 大脑 | Prompt→Context→Harness 三范式、六大组件、Claude Code/Cursor/Trae 对比 | | ch10 | Function Calling 与工具设计 | 第三篇 手脚 | 工具调用原理、Schema 设计、信号提取、多协议适配 | | ch11 | MCP:工具的标准化接口 | 第三篇 手脚 | MCP 协议、Stdio/SSE/Streamable HTTP、Server 开发实战 | | ch12 | Skills:工具的组合与复用 | 第三篇 手脚 | Skill 体系、L0/L1/L2 分层、沉淀机制、匹配与路由 | | ch13 | CLI 能力:Agent 操作本地工具 | 第三篇 手脚 | CLI 工具注册、NL2Shell、SSH Agent、错误自愈 | | ch14 | 多 Agent 系统架构 | 🧬 第四篇 神经系统 | 多Agent协作模式、A2A 协议、任务分解与编排 | | ch15 | LangGraph 与状态机 | 🧬 第四篇 神经系统 | LangGraph 状态机、Graph 编排、Checkpoint 与中断恢复 | | ch16 | 主流 Agent 框架对比 | 第五篇 框架 | LangChain vs LangGraph vs AutoGen vs CrewAI vs OpenAI Agents SDK | | ch17 | Dify、Coze 与可视化编排 | 第五篇 框架 | Dify/Coze/n8n 低代码平台、可视化工作流编排 | | ch18 | CLI Agent:命令行智能助手 | 第六篇 实战 | CLI Agent 完整实现、工具链集成、交互式对话 | | ch19 | GUI Agent:浏览器自动化 | 第六篇 实战 | Computer Use、浏览器操控、代码索引与 AST 检索 | | ch20 | RAG:检索增强生成 | 第六篇 实战 | Chunk→Embed→Retrieve→Rerank��Generate 全流程、GraphRAG | | ch21 | Agent 评估与可观测性 | 第七篇 工程化 | SWE-bench/HumanEval/AgentBench 评测、Trace 分析、EDD | | ch22 | Agent 安全与防护 | 第七篇 工程化 | Prompt 注入攻防、红队测试、GDPR 合规、权限分级 | | ch23 | Agent 部署与运维 | 第七篇 工程化 | K8s 部署、Prometheus 监控、灰度发布、SLA 保障 | | ch24 | 推理框架与模型服务化 | 第七篇 工程化 | vLLM/TensorRT-LLM/SGLang、推理优化、模型服务化 | | ch25 | 2026 Agent 技术展望 | 终章 | 技术趋势、Context Engineering、OpenAI Responses API、未来方向 | "Agent 的精髓不是某个单一能力的强大,而是感知、思考、行动、观察四大能力协同形成的闭环。理解了闭环,就理解了 Agent。"
0.3 从 Chatbot 到 Agent:三次进化
AI 和人类的交互方式经历了三次重大进化,每一次都解锁了全新的能力维度。理解这三次进化,你就能理解为什么 Agent 是当前 AI 应用最前沿的方向——它不是 ChatBot 的"升级版",而是一个全新的物种。
第一代:纯聊天(ChatOnly)
第一代 · 2022-2023 💬 纯聊天(ChatOnly)—— 只能对话,不能行动
代表产品:ChatGPT 早期版本。这一代的 AI 只有一个能力——生成文本。它能和你聊天、写文章、翻译、回答问题,但所有回答都基于训练时的历史数据。它不能查实时天气、不能调用 API、不能执行代码、不能帮你订机票。它只是一个"会说话的通识教程"。
**核心限制:**没有行动能力,只能"想"不能"做"。训练数据截止后,所有实时信息都是猜测。回答质量完全取决于训练数据和 Prompt 质量。
👤 用户
北京今天天气怎么样? 🤖 ChatGPT (早期)
我无法提供实时天气信息,因为我的数据只更新到 2023 年。建议你查看天气预报网站或 App 获取北京今天的天气。 ❌ 没有行动能力,只能建议用户自己去查
第二代 · 2023-2024 🔧 +工具(Tool-Enabled)—— 能查天气、能搜网页
代表能力:Function Calling。这一代 AI 获得了行动能力——它可以调用外部工具了!你说"北京天气怎么样",AI 不再说"我查不了",而是主动调用天气 API 获取实时数据,然后基于数据回答你。它还能搜索网页、计算数学表达式、查询数据库。
**核心突破:**从"只能想"进化到"能做"——Function Calling 让 AI 能输出结构化的函数调用 JSON,开发者代码执行后把结果注入回 AI 继续对话。但这一代 AI 仍是"一问一答"模式——用户问一次,AI 调一次工具,回答一次。它不能自主规划多步任务。
👤 用户
北京今天天气怎么样? 🤖 Tool-Enabled AI
⚡ 调用工具:get_weather(city="北京")
📊 工具返回:晴,28°C,湿度 45%
北京今天晴,28°C,湿度 45%,适合户外活动。 ✅ 能调用工具获取实时数据,但仍是单步调用
第三代 · 2024-2026 🤖 +循环+记忆(ReAct Agent)—— 自主规划、多步执行、持续记忆
代表架构:ReAct Agent。这一代 AI 获得了自主决策能力——它不再只是"用户问一次,我做一次",而是自己规划任务、多步执行、观察结果、自动纠错。你说"帮我安排明天的北京旅行",Agent 会自己拆解任务:查天气→查景点→查路线→查酒店→综合推荐。
核心突破:三个关键能力叠加——①循环决策(Thought→Action→Observation 循环,不是一问一答);②自主规划(自动拆解复杂任务为多步子任务);③持续记忆(短期记忆保持当前任务上下文,长期记忆跨会话积累经验)。Agent 不再是"工具",而是"助手"。
👤 用户
帮我安排明天去北京的旅行计划 🤖 ReAct Agent
**🧠 **思考:安排旅行需要查天气、景点、路线、酒店,我来逐步规划。
⚡ 行动1:get_weather(city="北京", date="明天")
👀 **观察1:**晴,28°C,适合出行
⚡ 行动2:search(query="北京热门景点推荐")
👀 **观察2:**故宫、长城、颐和园排名前三
⚡ 行动3:search(query="故宫到长城最优路线")
👀 **观察3:**地铁2号线→8号线,约1小时 **🧠 **思考:综合以上信息,我来生成完整旅行计划。
✅ 自主规划多步任务,循环调用工具,综合分析给出完整方案
📊 三次进化能力对比 | 能力维度 | 第一代 💬 | 第二代 🔧 | 第三代 🤖 | | --- | --- | --- | --- | | 对话能力 | ✅ 基础对话 | ✅ 基础对话 | ✅ 基础对话 | | 工具调用 | ❌ 不能 | ✅ 单步调用 | ✅ 多步循环调用 | | 自主规划 | ❌ 不能 | ❌ 一问一答 | ✅ 自动拆解多步任务 | | 自我纠错 | ❌ 不能 | ❌ 不能 | ✅ 观察后调整策略 | | 持续记忆 | ❌ 仅当前对话 | ❌ 仅当前对话 | ✅ 短期+长期记忆 | | 实时数据 | ❌ 只有训练数据 | ✅ 可调用API | ✅ 多API协同调用 | "从 ChatBot 到 Agent,不是升级,是进化。第一代只会说话,第二代能动手,第三代会思考、会规划、会纠错——它不再是工具,而是助手。" 📋 八股总结 — 面试高频考点
Q1: Agent 和 ChatBot 的核心区别是什么?
ChatBot只能基于训练数据生成文本回答,无法与外部世界交互。Agent具备四大能力域——感知(接收输入)、思考(推理规划)、行动(调用工具)、观察(评估纠错),能自主决策、多步执行、自我纠错。核心区别在于行动能力和循环决策能力:ChatBot 是"一问一答",Agent 是"感知→思考→行动→观察→再思考"的闭环。
Q2: Token 是什么?为什么中英文 Token 数不同?
Token 是大语言模型处理文本的最小单位,由分词器(Tokenizer)根据 BPE 算法切分。中英文 Token 数不同是因为主流模型的词表以英文为核心:英文通常 1 词 ≈ 1-1.3 Token,而中文 1 字 ≈ 1.5-2 Token。这导致同样长度的中文比英文消耗更多 Token,费用也更高。实际开发中需要考虑这个差异来估算成本。
Q3: System Prompt 和 User Prompt 的区别是什么?
System Prompt 设定模型的角色、行为规则和全局约束,在整个对话中持续生效,像一份"工作手册"。User Prompt 是用户每次具体的请求,表达"我要什么"。System Prompt 决定"怎么做",User Prompt 决定"做什么"。在 API 调用中,它们分别对应 role="system" 和 role="user" 的消息。
Q4: CoT(链式思考)如何提升推理能力?
CoT 通过要求模型"一步步推理"而非直接输出答案,让模型在生成最终答案前先产出中间推理步骤。这有两个好处:①扩展了推理空间——每生成一步推理就为下一步提供了更多上下文,降低了单步推理难度;②减少了错误传播——中间步骤可以自我检查,避免一步错步步错。研究表明 CoT 在数学推理上能提升 15-30% 的准确率。核心用法是在 Prompt 中加入"Let's think step by step"或"请一步步推理"。
Q5: Embedding 的作用是什么?怎么计算语义相似度?
Embedding 将文本转换为高维向量(通常 768-3072 维),使语义相近的文本在向量空间中距离也近。它是语义搜索和 RAG 的基础。计算语义相似度最常用的是余弦相似度(衡量向量方向一致性,范围 [-1,1],值越大越相似),此外还有欧氏距离(衡量绝对距离)和点积(同时考虑方向和大小)。在 RAG 系统中,用户问题和文档都经过 Embedding 后,用余弦相似度找到最相关的文档片段。
Q6: Function Calling 的底层原理是什么?
Function Calling 的本质是LLM 经过训练后能输出结构化的函数调用 JSON。训练阶段,模型学习了大量"用户意图→函数调用"的样本;推理阶段,模型根据用户消息和可用工具列表,判断是否需要调用工具,如果需要则输出符合 JSON Schema 的函数名和参数。需要注意的是:LLM 只负责"决定"调用什么,不负责"执行"。执行由开发者的代码完成,结果再注入回 LLM 继续对话。strict 模式可以强制模型 100% 遵守 Schema,减少格式错误。
Q7: 什么是上下文窗口?窗口满了怎么处理?
上下文窗口是模型一次能处理的最大 Token 数量(输入+输出)。窗口满了有四种处理策略:①截断策略——保留最新的消息,截断最早的历史;②摘要策略——用 LLM 把旧对话压缩成摘要,释放空间;③向量检索策略——将历史对话存入向量库,按需检索相关片段注入;④滑动窗口——维护固定长度的对话窗口,旧消息自动移出。Agent 系统通常组合使用摘要 + 向量检索。
Q8: 从 ChatBot 到 Agent 经历了哪三次进化?
三次进化:①第一代纯聊天(2022-2023,ChatGPT 早期)——只能对话,所有回答基于训练数据,无法获取实时信息;②第二代+工具(2023-2024,Function Calling)——能调用外部 API 获取实时数据,但仍是一问一答模式;③第三代+循环+记忆(2024-2026,ReAct Agent)——自主规划多步任务、循环调用工具、自我纠错、持续记忆。每次进化都解锁了全新的能力维度。
Q9: Self-Consistency 的原理是什么?
Self-Consistency(自一致性)是对 CoT 的增强:对同一个问题用 CoT 生成多个推理路径(通过设置 temperature > 0 多次采样),然后对所有答案进行多数投票(Majority Voting),选择出现次数最多的答案作为最终结果。原理是:正确的推理路径更可能收敛到同一个答案,而错误路径更可能发散。代价是需要多次 LLM 调用,成本是单次 CoT 的 N 倍(N 为采样次数,通常 5-10 次),适用于有确定答案的推理任务。
Q10: 主流 Embedding 模型有哪些?怎么选型?
主流模型包括:OpenAI 的 text-embedding-3-small/large(通用性好、API 方便)、智源的 bge-large-zh/bge-m3(开源、中文优秀、长文本支持)、text2vec-base-chinese(轻量中文专用)、Cohere embed-v3(企业级)。选型考虑三个维度:①语言——中文场景优先 bge 系列;②成本——开源模型免费但需自建服务,闭源按 Token 付费;③精度——维度越高精度越好但存储和计算成本也越高。一般推荐 bge-m3 做起步。
Q11: ReAct 能不能处理 CoT 处理不了的任务?
能。CoT 只能做"纯推理",无法与外部世界交互——如果问题需要实时数据(如天气、股价)或外部计算(如精确数学运算),CoT 就无能为力了。ReAct 在 CoT 的推理链中插入了"行动"环节,允许 LLM 调用工具获取信息或执行操作,然后将工具返回的结果作为新的"观察"继续推理。这使得 ReAct 能处理需要工具辅助的复杂任务,如"北京明天会下雨吗"(需要调用天气 API)。但 ReAct 的代价是 Token 消耗更多、延迟更高、实现更复杂。
Q12: 深度学习 vs Agent 的区别?Agent 比纯 LLM 多了什么?
深度学习是训练模型的方法学(神经网络、反向传播),解决"模型怎么学"的问题。LLM是深度学习的产物,解决"语言理解和生成"的问题。Agent是基于 LLM 的应用架构,解决"如何使用 LLM 完成复杂任务"的问题。Agent 比纯 LLM 多了四个核心模块:①记忆系统(短期+长期,跨会话上下文);②规划能力(任务拆解、多步执行);③工具调用(Function Calling,与外部世界交互);④反思机制(自我纠错、持续优化)。纯 LLM 是"大脑",Agent 是"大脑+手脚+记忆"。
0.4 能力矩阵与学习路径
AI Agent 涉及的技术栈非常广——从 LLM 原理到 Prompt 工程,从 Function Calling 到 MCP 协议,从 RAG 到多 Agent 协作。不同角色的学习重点不同,本节提供能力矩阵和学习路径帮你高效入门。
0.4.1 角色能力矩阵
🎯 不同角色的学习重点 | 角色 | 必须掌握 | 建议了解 | 可选深入 | | --- | --- | --- | --- | | 应用开发者 | ch01-02 LLM基础、ch03 Agent架构、ch06 工具调用、ch08 Skills | ch07 MCP、ch13 Dify/Coze、ch16 RAG | ch12 框架对比、ch19 部署 | | 平台工程师 | ch05 记忆系统、ch09 工具调用、ch22 部署、ch23 推理框架 | ch07 MCP、ch18 安全、ch22 Harness | ch21 运行时沙箱、ch14 CLI Agent | | 架构师 | ch04 推理引擎、ch06 决策中枢、ch07 运行时、ch08 Harness、ch13 多Agent、ch15 框架对比 | ch17 评估、ch18 安全、ch19 部署 | ch11 LangGraph、ch21 运行时 | | AI 产品经理 | ch01-02 LLM基础、ch02 Agent概念、ch13 Dify/Coze | ch16 RAG、ch17 评估、ch22 Harness | ch09 CLI、ch15 GUI Agent | ### 0.4.2 四周学习路径
📅 28 天 Agent 开发入门路线
第 1 周:基础概念(ch00-ch04)
Day 1-2:阅读 ch00-ch01,理解 LLM 基本原理(Token、上下文窗口、温度)
Day 3-4:阅读 ch02-ch03,理解 Agent = LLM + 工具 + 循环,动手跑天气 Agent
Day 5-7:阅读 ch04,理解 ReAct 模式(推理+行动循环),完成 ReAct 练习
第 2 周:核心能力(ch05-ch08)
Day 8-10:阅读 ch05-ch06,理解记忆系统和工具调用,实现带记忆的 Agent
Day 11-12:阅读 ch07,理解 MCP 协议,跑通 MCP Server 示例
Day 13-14:阅读 ch08,理解 Skills 体系,定义自己的 Skill
第 3 周:进阶实战(ch09-ch16)
Day 15-17:阅读 ch09-ch10,理解 CLI Agent 和多 Agent 协作
Day 18-19:阅读 ch11-ch12,对比 LangChain/LangGraph/AutoGen/CrewAI
Day 20-21:阅读 ch13-ch16,尝试 Dify/Coze 低代码平台,理解 RAG 检索
第 4 周:工程化(ch17-ch23)
Day 22-23:阅读 ch17-ch18,掌握 Agent 评估方法和安全防护
Day 24-25:阅读 ch19-ch20,学习 Agent 部署和推理优化
Day 26-28:阅读 ch21-ch23,理解运行时沙箱、Harness Engineering 和未来展望