AgentLoop QuickStart 全流程实践

创建步骤

1. 登录 AgentLoop 控制台。

2. 在控制台首页智能体空间列表区域，单击右上角新建空间。

3. 在新建智能体空间对话框中，配置参数。

   参数	说明
   所在地域	选择 cn-hangzhou、cn-shanghai 或 cn-hongkong。创建后不可更换。
   智能体空间（AgentSpace）	空间名称。3–63 个字符，支持小写字母、数字、连字符（-）和下划线（_），所有用户全局唯一。创建后不可更换。
   空间描述	空间用途简要说明（可选）。
   云监控 2.0 工作空间	自动创建：系统创建命名为 agentloop-<32位编码> 的新工作空间。 选择已有：从下拉列表中选择当前账号下、同地域的 CMS 2.0 工作空间复用，便于与已有应用监控统一视图。 创建后绑定关系不可更换。
   MSE 命名空间	系统自动创建（命名 agentloop-<32 位编码>），承载 Prompts、Skills 等 Agent 资产。
   SLS Project	系统自动创建（命名 agentloop-<32 位编码>），承载审计与评估等日志。

4. 单击创建空间。系统自动执行 AgentLoop 资源及关联云产品资源创建与映射关系绑定。如某一步失败，已创建的资源不会回滚，未创建资源可在空间管理页面进行重建。

验证

进入系统管理 > 空间管理，在基础信息与资源绑定区块确认 AgentSpace 名称、地域、关联的 CMS 2.0 工作空间、MSE 命名空间、SLS Project 均已就绪。

1. 选择接入方式

进入接入中心，根据 Agent 技术栈选择接入方式。

2. 完成 SDK 接入

以 LangChain/LangGraph 应用为例：

# 安装阿里云探针
pip install aliyun-bootstrap
aliyun-bootstrap -a install

# 配置环境变量
export ARMS_APP_NAME=my-agent-app
export ARMS_REGION_ID=cn-hangzhou
export ARMS_LICENSE_KEY=<从接入中心获取>
export ARMS_WORKSPACE=<AgentSpace 关联的 CMS 2.0 工作空间名称>

# 使用探针启动应用
aliyun-instrument python app.py

业务代码无需改造，探针会自动采集 LLM 调用、工具调用、Retriever、LangGraph 节点等链路数据。

3. 验证接入

进入AI Agent 可观测，在链路追踪 标签页中查看：

• Trace 数、平均耗时、Token 数折线图随接入流量上涨。

• Trace 列表列出最新 Trace 记录，单击 Trace ID 进入调用链详情，可逐 Span 查看模型输入输出、工具参数、耗时与 Token 消耗。

4. 在 Agent 总览中查看核心指标

进入 Agent 总览，可在 Agent 洞察页面查看会话数、对话数、用户数、Token 用量、平均耗时等核心指标，并在趋势图与 Agent 列表中按 Agent 维度查看每个 Agent 的关键指标。

1. 使用预置评估器

进入评估 > 评估器，左侧分组列出 AgentLoop 内置评估器：

单击评估器名称进入详情页，在 Prompt & 能力标签页中查看评估器的 Prompt 和能力挂载（如 Skills、MCP）。预置评估器开箱即用，无需额外配置。

2. 创建自定义评估器

业务专属评估场景（如复杂任务规划合理性、多轮对话连贯性）可通过创建自定义评估器进行精准评估。

1. 在评估器列表页右上角，单击创建评估器。

2. 输入评估器基本信息，如名称、描述、标签等。

3. 配置 Prompt：编写评估指令，明确评估目标、评估维度、打分尺度。例如 Skill 完整度评估器：

   你是一个严谨、严格的 AI Agent 评测专家，针对待评测的 Agent
   Trace（即 Agent 完整执行轨迹），从以下维度进行打分（0–1）：
   1. 任务理解准确性
   2. 工具调用合理性
   3. 多步推理正确性
   4. 最终输出完整性

4. 查看已提取变量：例如 input、output、agent_trajectory、tool_context、rag_context，由评估任务运行时自动绑定到对应映射字段。

5. 配置能力扩展（可选）：为评估器 Agent 绑定 Skills 或 MCP，使其在评估过程中可调用外部检索、规则校验、知识库查询等能力，实现 Agent-as-a-Judge 评估范式。

6. 查看输出定义，确认是否开启评估过程轨迹。

7. 点击右上角进行保存。

创建评估任务

1. 进入评估 > 评估任务，单击右上角新建任务，按数据配置 → 选择评估器两步向导配置。

2. 参考下表进行数据配置：

   配置项	说明
   任务名称	评估任务的业务标识。
   任务描述	用途简述（可选）。
   数据来源	链路（Trace）、日志、数据集 三选一。
   Agent 智能体	选择目标 Agent 应用，例如 ai-coding-agent-claude-code。
   运行策略	基于新数据持续评估：对未来上报的数据实时打分； 基于历史数据评估：对指定时间窗口内的历史数据进行回测。
   时间范围	历史数据评估的时间范围配置（如最近 24 小时）。
   采样比例	控制评估数据采样率（1%–100%），结合最大评估条数控制单次评估任务执行的条数。

3. 选择评估器：

   • 左侧勾选预置或自定义评估器，支持多选并行运行。

   • 右侧配置信息区按评估器要求绑定变量映射字段：常见映射如 input ← trace.input、output ← trace.output、agent_trajectory ← trace.agent_trajectory。

   • 配置完成后单击更新并运行立即保存任务并触发执行，或点击运行测试进行调试。

解读评估结果

任务运行后，在评估任务详情页查看评估结果明细与分布。

1. 导入 Trace 数据

进入数据中心 > 数据集，单击创建数据集：

1. 输入数据集名称和描述。

2. 数据来源选择从 Trace 数据处理。

3. 数据筛选中下拉选择 Agent 应用。

4. 数据处理中选择需要的处理模板，比如 ot_trace_qa_extract（Trace QA 问答对提取）以及时间范围。

5. 数据预览点击右侧生成预览查看预览数据。

6. 确认无误后，点击右下角创建数据集，系统将在后台创建数据集及关联的 Pipeline 任务完成数据处理与导入。

2. 人工标注

进入数据集详情页，点击标注页签创建标注模板：

• 在左侧配置数据标注界面和标注控件。右侧可预览效果。

• 配置完成后点击右上角开始标注，进行逐项标注，可以选择跳过。

• 已标注内容可以在数据集 agentloop_annotations 字段中查看标注结果。

3. 沉淀 Golden Set 与 BadCase Set

基于评估结果与人工标注审核，可将数据集拆分为：

1. 创建 Prompt 资产

进入Agent 资产 > Prompts，单击新建 Prompt：

1. 填写基础信息：名称（如 my-prompt）和描述。

2. 在 Prompt 编辑区编写 Prompt 内容，使用 {{input}} 等占位符声明变量。

3. 单击保存草稿或发布版本。每次编辑发布将自动递增版本号（v0.0.1、v0.0.2、v0.0.3 …）。

2. 版本管理

资产详情页右侧版本信息展示历史版本：

• 每个版本显示版本号、提交人、变更说明与时间戳。

• 单击版本对比可对比当前版本与目标版本的差异。

• 单击使用说明可查看 Agent 引用该资产的客户端接入方式。

3. 灰度发布与协同

Agent 资产可配合 MSE AI 治理中心进行流量切分；多人编辑时通过版本锁与提交说明避免冲突。Skills 资产管理流程与 Prompts 类似。

1. 创建记忆库

进入上下文工程 > 记忆库，单击创建记忆库：

2. 在 Agent 中集成记忆库

选择记忆库实例，进入集成方式标签页获取接入示例，如：

# 初始化客户端

from mem0 import MemoryClient

client = MemoryClient(
    api_key="sk-xxxxxxxx",  # 在「API Key」页签创建并复制
    host="https://agentloop.cn-hongkong.aliyuncs.com",
)

# 写入对话（短期记忆）
client.add(
    messages=[
        {"role": "user", "content": "我住在杭州，喜欢喝无糖美式咖啡"},
        {"role": "assistant", "content": "好的，已记住你住在杭州、喜欢无糖美式。"},
    ],
    user_id="user-001",
    infer=True,
)

# 在 Agent 推理前检索相关记忆
res = client.search(
    query="我住在哪里？喜欢喝什么？",
    user_id="user-001",
    limit=5,
)
print(res)

API Key 在 API Key 标签页创建，建议按环境（dev / prod）分别签发，避免越权访问。

3. 通过控制台检索记忆

进入记忆库详情页长期记忆检索标签页：

• 在搜索框输入查询语句（例如"用户偏好查看哪些告警？"），配置 topK 返回数量。

• 单击开始检索，结果区按相关性展示长期记忆条目，可在分页与检索召回配置信息区块查看召回链路。

• 切换到短期记忆检索标签页可按会话维度查询当前活跃上下文。