第七章：从对话到行动

AI Agent 与应用落地的关键突破（2024-2026）

---

7.1 聊天机器人的天花板

ChatGPT 的爆发给行业带来了一个巨大的期望：AI 将彻底改变我们的工作方式。但到 2024 年，一个尴尬的现实浮出水面——大多数人与大模型的交互仍然停留在”聊天”层面。

问一个问题，得到一段文字。翻译一段话，润色一封邮件。很有用，但远算不上”革命”。

为什么？因为聊天模型只能”说”，不能”做”。它可以告诉你怎么写一个程序，但不能替你写好、测试好、部署好。它可以分析一份数据的特征，但不能自己去下载数据、清洗数据、画出图表。

从”能说”到”能做”的跨越，是 2024-2026 年大模型应用层面最关键的转折。

---

7.2 工具使用：第一步

第一步突破是让模型能够调用外部工具。

Function Calling（2023.06）： OpenAI 在 GPT-3.5/GPT-4 中引入了函数调用能力。模型可以在对话中决定调用某个预定义的函数（比如搜索 API、数据库查询、计算器），获取结果后继续推理。

这看起来只是一个 API 特性，但它打开了一扇大门：模型不再只是语言生成器，而是可以与外部世界交互的决策中枢。

紧随其后的是各种 RAG（检索增强生成） 系统、代码解释器（Code Interpreter）等工具。GPT-4 的 Code Interpreter 允许模型编写并执行 Python 代码、处理上传的文件——这让”聊天机器人”第一次能做一些实际的数据分析工作。

但 Function Calling 和 Code Interpreter 有一个根本限制：它们需要人类预定义好工具和接口，模型只能在划定的范围内操作。 这离”自主完成复杂任务”还有很远。

---

7.3 计算机操作：Claude 的突破

2024 年 10 月，Anthropic 推出了一个看起来简单但意义深远的功能：Claude Computer Use。

Claude 可以直接操作计算机——移动鼠标、点击按钮、输入文字、查看屏幕截图、在应用程序之间切换。不是通过 API 调用预定义的工具，而是像人类一样直接使用图形界面。

这意味着：理论上，人类能在计算机上做的任何事情，AI 都可以尝试做。 不需要为每个应用写专门的集成代码，不需要等待 API 支持。模型直接看屏幕、操作鼠标。

早期版本的准确率只有约 22%（OSWorld benchmark），离实用还有距离。但方向是清晰的——AI 的操作空间从”预定义工具”扩展到了”整个数字世界”。

关键认知 #11： Computer Use 的意义不在于今天的准确率，而在于它改变了 AI 应用的可能性边界。当 AI 可以像人一样操作任何软件时，所有现有的数字化工作流都可能被自动化。

---

7.4 Coding Agent：最先落地的 Agent 场景

如果要选一个”AI Agent 最先达到实用水平”的场景，答案毫无疑问是编程。

编程是一个完美的 Agent 场景：任务目标清晰（代码能运行、测试能通过）、反馈信号明确（编译报错、测试失败可以自动检测）、迭代路径直接（改代码→运行→看结果→再改）。

关键里程碑：

GitHub Copilot（2021-2024）： 从内联补全起步，逐步进化。到 2024 年已成为最广泛使用的 AI 编程工具，数百万开发者日常使用。但 Copilot 本质上还是”辅助”——帮人写代码片段，不能独立完成任务。

Cursor（2024-2025）： 将大模型深度集成到编辑器中，支持多文件编辑、上下文理解和对话式开发。Cursor 模糊了”编辑器”和”AI 助手”的边界，开发者开始习惯与 AI 协作完成整个功能模块。

Claude Code / Codex CLI（2025）： 命令行 Agent，可以理解代码仓库全貌、自主编写代码、运行测试、提交 PR。这标志着 AI 编程从”辅助补全”进化到”自主工程”——给一个任务描述，Agent 自己完成从理解需求到提交代码的全过程。

Devin（2024.03）： Cognition 发布了”第一个 AI 软件工程师”，可以自主使用终端、浏览器和代码编辑器完成编程任务。虽然实际能力与宣传有差距，但它第一个清晰地展示了”完全自主的 coding agent”的方向。

到 2025-2026 年，编程领域的 AI 渗透已经到了惊人的程度。Anthropic CEO Dario Amodei 在 2025 年表示，公司 90% 以上的代码都有 AI 参与编写。

---

7.5 通用 Agent：Manus 与 Agent 元年

2025 年 3 月，一个来自中国团队的产品引爆了 Agent 赛道：Manus。

Manus 是一个通用 AI Agent。用户只需要用自然语言描述任务，Manus 会自主规划步骤、打开浏览器搜索信息、编写代码处理数据、生成报告文档——全程自动，用户只在关键决策点介入。

Manus 的技术并没有单点突破。它的创新在于产品层面的整合：将大模型的推理能力、工具使用能力和任务规划能力打包成一个流畅的、用户可感知的体验。它让”AI Agent”从技术概念变成了普通人可以使用的产品。

发布后，Manus 的邀请码在社交媒体上被疯抢，OpenAI 和 Google 被迫加速自己的 Agent 产品计划。

2025 年随后的 Agent 爆发：

• OpenAI Operator（2025.01）： 通过浏览器自动完成任务的 Agent。可以帮用户买东西、填表、预订。
• OpenAI Codex（2025.05）： 云端编程 Agent，可以并行处理多个工程任务。
• Google Project Mariner： 基于 Gemini 的浏览器操作 Agent。
• 各种垂直 Agent： 客服、数据分析、研究、写作——每个垂直场景都开始出现 Agent 形态的产品。

关键认知 #12： 2025 年是 Agent 元年。AI 的角色从”回答问题的聊天机器人”进化为”执行任务的数字员工”。这个转变不是一夜之间完成的，而是工具使用、计算机操作、推理能力三者逐步积累的结果。

---

7.6 多模态：不只是文字

Agent 能力的另一个关键支撑是多模态理解。

GPT-4V（2023.09）： 第一个广泛可用的”能看图”的大模型。用户可以上传图片，模型可以描述、分析、推理。

GPT-4o（2024.05）： “o” 代表 “omni”。原生多模态模型——不是图像和文字分开处理再拼在一起，而是同一个模型同时理解文字、图像和音频。语音对话延迟降到 320 毫秒，接近人类对话的自然节奏。

Gemini 的长上下文（2024）： Gemini 1.5 Pro 支持 100 万 token 的上下文窗口。这意味着一次性输入一整本书、一整个代码仓库、甚至一小时的视频——模型可以在这个巨大的上下文中进行推理和检索。

图像和视频生成的飞跃：

• DALL·E 3（2023）和 Midjourney V6（2024）让 AI 生成的图像达到了商业可用水平。
• Sora（2024.02 预告，2024.12 公开）展示了视频生成的未来方向。
• GPT-4o 的原生图像生成能力（2025）将图像创作能力集成到了对话中。

多模态能力对 Agent 至关重要——要操作计算机，需要”看”屏幕；要分析数据，可能需要理解图表；要完成现实世界的任务，需要处理多种信息类型。

---

7.7 杀手级应用仍在路上

尽管 Agent 领域热火朝天，一个诚实的评估是：到 2026 年初，大模型还没有产生一个真正意义上的”杀手级应用”——一个改变了大多数人日常行为方式的产品。

ChatGPT 是最接近的——周活跃用户超过 4 亿，但对大多数人来说，它仍然是一个”高级搜索引擎”或”写作助手”，而不是一个不可或缺的工具。

编程助手对开发者来说已经接近不可或缺——但开发者只是人群中的小比例。

这与移动互联网的早期非常相似。iPhone 2007 年发布，但真正的杀手级应用（Instagram 2010、Uber 2012、微信 2011）是在基础设施成熟后才出现的。大模型可能也处在同样的阶段——基础能力已经就绪，但最具变革性的应用形态还在酝酿之中。

---

本章回顾

事件	时间	为什么重要
Function Calling & Code Interpreter	2023.06	模型从”只能说”到”能调用工具”
Claude Computer Use	2024.10	AI 的操作空间扩展到整个数字世界
Manus 发布	2025.03	Agent 从概念变为产品，引爆 Agent 元年
GPT-4o 原生多模态	2024.05	文字、图像、语音统一理解，接近人类交互

如果这一章只需要记住一句话： 大模型从”聊天”走向”行动”，Agent 让 AI 不再只是回答问题，而是真正替你做事。这个转变正在发生——而接下来的两章将会讲述，这个转变在 2025-2026 年是如何真正爆发的。