ListCrawlers - 查询元数据采集器列表-大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心

分页查询元数据采集器，并可按工作空间、数据源、类型、环境、负责人和名称筛选。

接口说明

使用场景

分页查询有权访问的元数据采集器，并可按工作空间、数据源、采集器类型、环境、负责人和名称筛选。

版本要求

需要购买 DataWorks 基础版及以上版本才能使用。

注意事项

多个筛选条件同时提供时组合生效，名称支持模糊匹配。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

操作：是指具体的权限点。
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
资源类型：是指操作中支持授权的资源类型。具体说明如下：
- 对于必选的资源类型，用前面加 * 表示。
- 对于不支持资源级授权的操作，用全部资源表示。
条件关键字：是指云产品自身定义的条件关键字。
关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

dataworks:ListCrawlers

list

*全部资源

*

无

请求语法

POST  HTTP/1.1

请求参数

名称	类型	必填	描述	示例值
ProjectId	integer	否	DataWorks 工作空间 ID。	100
DataSourceIds	array	否	数据源 ID 列表，最多支持 10 个。
	integer	否	单个数据源 ID。	12345
Type	string	否	采集器类型。可调用 GetCrawlerTypeCapabilities 查询当前地域支持的取值。	starrocks
EnvType	string	否	DataWorks 环境类型。Dev 表示开发环境，Prod 表示生产环境。	Prod
Owner	string	否	采集器负责人的 DataWorks 用户 ID。	1000
Name	string	否	元数据采集器名称，支持模糊查询。	example_crawler
PageNumber	integer	否	分页页码，从 1 开始，默认值为 1。	1
PageSize	integer	否	每页条目数，默认值为 20，最大值为 100。	20

多个筛选条件同时提供时组合生效；DataSourceIds 最多支持 10 个。

返回参数

名称	类型	描述	示例值
	object	返回结果。
RequestId	string	请求 ID。用于定位日志，排查问题。	9252F32F-D855-549E-8898-61CF5A733050
Success	boolean	请求是否成功。
PagingInfo	object	分页信息。
TotalCount	integer	符合查询条件的记录总数。	1
PageNumber	integer	当前页码。	1
PageSize	integer	每页条目数。	20
Crawlers	array<object>	元数据采集器列表。
	array<object>	元数据采集器概要信息。
Id	integer	采集器 ID	1234
Name	string	采集器名称	example_crawler
DataSourceId	integer	数据源 ID	12345
Type	string	采集器类型	starrocks
Status	string	采集器状态。采集器配置有效且关联数据源存在时为 VALID，否则为 INVALID	VALID
MetaEntityId	string	采集器关联的元实体 ID，可用于衔接元数据查询 API	starrocks:example-instance
ProjectId	integer	DataWorks 工作空间 ID	100
EnvType	string	DataWorks 环境类型。取值：Dev、Prod	Prod
ResourceGroupId	string	运行采集任务使用的 Serverless 2.0 资源组 ID。	Serverless_res_group_1234567890123456_1234567890
ScheduleConfig	object	调度配置
Type	string	调度类型。取值：MANUAL、NORMAL	NORMAL
CronExpress	string	Cron 表达式	0 0 2 ? * *
LastRunStatus	string	最近一次运行状态。取值：WAITING、RUNNING、SUCCESS、ERROR、SHUTDOWN。采集器尚未运行时可能为空。	SUCCESS
Owner	string	采集器负责人的 DataWorks 用户 ID。	1000
CreateTime	integer	创建时间，毫秒级 Unix 时间戳	1710239005403
ModifyTime	integer	修改时间，毫秒级 Unix 时间戳	1710239005403
TaskId	integer	采集器关联的 DataWorks 调度任务 ID，可用于调用 GetTask 查询任务定义	1234

Crawlers 返回当前页元数据采集器概要信息。

示例

正常返回示例

JSON格式

{
  "RequestId": "9252F32F-D855-549E-8898-61CF5A733050",
  "Success": true,
  "PagingInfo": {
    "TotalCount": 1,
    "PageNumber": 1,
    "PageSize": 20,
    "Crawlers": [
      {
        "Id": 1234,
        "Name": "example_crawler",
        "DataSourceId": 12345,
        "Type": "starrocks",
        "Status": "VALID",
        "MetaEntityId": "starrocks:example-instance",
        "ProjectId": 100,
        "EnvType": "Prod",
        "ResourceGroupId": "Serverless_res_group_1234567890123456_1234567890",
        "ScheduleConfig": {
          "Type": "NORMAL",
          "CronExpress": "0 0 2 ? * *"
        },
        "LastRunStatus": "SUCCESS",
        "Owner": "1000",
        "CreateTime": 1710239005403,
        "ModifyTime": 1710239005403,
        "TaskId": 1234
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息，参考变更详情。