RestAPI Reader最佳实践

本实践示例的场景为读取一个RESTful接口数据并写入一个MaxCompute分区表中，其中使用的示例RESTful接口为一个自建的测试GET接口，会根据接口输入的时间范围参数返回该时间范围内读取到的数据。本示例的接口详情如下。

• 接口请求示例：

  http://TestAPIAddress:Port/rest/test2?startTime=<StartTime>&endTime=<EndTime>

  其中startTime和endTime为请求参数，表示读取数据的时间范围。

• 返回结果示例：

  {
      "status": "success",
      "totalNum": 187,
      "data": [
          {
              "axis": "series1",
              "value": 9191352,
              "createTime": "2023-01-04 00:07:20"
          },
          {
              "axis": "series1",
              "value": 6645322,
              "createTime": "2023-01-04 00:14:47"
          },
          {
              "axis": "series1",
              "value": 2078369,
              "createTime": "2023-01-04 00:22:13"
          },
          {
              "axis": "series1",
              "value": 7325410,
              "createTime": "2023-01-04 00:29:30"
          },
          {
              "axis": "series1",
              "value": 7448456,
              "createTime": "2023-01-04 00:37:04"
          },
          {
              "axis": "series1",
              "value": 5808077,
              "createTime": "2023-01-04 00:44:30"
          },
          {
              "axis": "series1",
              "value": 5625821,
              "createTime": "2023-01-04 00:52:06"
          }
      ]
  }

  其中data为返回的数据存储路径，读取到的数据有3个字段：axis、value、createTime。

• 接口测试工具调用示例：

本实践将从接口处读取的数据同步至MaxCompute分区表中，因此首先需要创建一张用于存储同步过来的数据的分区表。

建表语句如下。

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest2
(
  `axis`  STRING
  ,`value` BIGINT
  ,`createTime` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

如果您使用的是标准版的DataWorks，并将创建的分区表提交到生产环境，后续您可以在数据地图中查看到创建的此表。

本实践使用了调度参数，因此完成离线同步任务的配置后，您可以在离线同步节点页面顶部单击带参运行，根据界面提示填写测试的调度参数取值，进行离线同步任务测试。测试运行完成后，您可以在界面下方查看运行日程，检查调度参数取值是否符合预期。

您可以在DataStudio的临时查询中查看数据是否正确同步到了MaxCompute，临时查询的示例语句如下。

select * from ods_xiaobo_rest2 where ds='20230104' order by createtime;

其中ods_xiaobo_rest2为上述步骤中创建的MaxCompute分区表，20230104为测试运行时的分区取值。

运行完成后，您可以在下方的查询结果处查看数据是否正确同步到了MaxCompute。

测试运行与数据检查完成后，您可将离线同步任务提交发布到生产环境，操作详情请参见标准模式工作空间任务发布流程。提交发布成功后，您可以在DataWorks的运维中心中找到这个周期任务，此时可通过补数据的方式，将历史时间段内的数据补上。补数据的功能介绍和操作指导请参见执行补数据并查看补数据实例。

本实践示例的场景为读取一个RESTful接口数据并写入一个MaxCompute分区表中，其中使用的示例RESTful接口为一个自建的测试GET接口，本示例的接口详情如下。

• 接口请求示例：

  http://TestAPIAddress:Port/rest/test1?pageSize=5&pageNum=1

  其中pageSize和pageNum为请求参数，表示页长和页号。

• 返回结果示例：

  {
      "status": "success",
      "totalNum": 304,
      "data": [
          {
              "id": 6,
              "name": "测试用户6"
          },
          {
              "id": 7,
              "name": "测试用户7"
          },
          {
              "id": 8,
              "name": "测试用户8"
          },
          {
              "id": 9,
              "name": "测试用户9"
          },
          {
              "id": 10,
              "name": "测试用户10"
          }
      ]
  }

  其中data为返回的数据存储路径，读取到的数据有2个字段：id、name。

• 接口测试工具调用示例：

本实践将从接口处读取的数据同步至MaxCompute分区表中，因此首先需要创建一张用于存储同步过来的数据的分区表。

建表语句如下。

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest1
(
  `id` BIGINT
  ,`name` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

如果您使用的是标准版的DataWorks，并将创建的分区表提交到生产环境，后续您可以在数据地图中查看到创建的此表。

本实践使用了调度参数，因此完成离线同步任务的配置后，您可以在离线同步节点页面顶部单击带参运行，根据界面提示填写测试的调度参数取值，进行离线同步任务测试。测试运行完成后，您可以在界面下方查看运行日程，检查调度参数取值是否符合预期。

您可以在DataStudio的临时查询中查看数据是否正确同步到了MaxCompute，临时查询的示例语句如下。

select * from ods_xiaobo_rest1 where ds='20230104' order by id;

其中ods_xiaobo_rest1为上述步骤中创建的MaxCompute分区表，20230104为测试运行时的分区取值。

运行完成后，您可以在下方的查询结果处查看数据是否正确同步到了MaxCompute。

本实践示例的场景为读取一个RESTful接口数据并写入一个MaxCompute分区表中，其中使用的示例RESTful接口为一个自建的测试POST接口，本示例的接口详情如下。

• 接口请求示例：

  http://TestAPIAddress:Port/rest/test3

  requestBody的格式为JSON。

  {
    "userId":16,
    "startTime":"2023-01-04 00:00:00",
    "endTime":"2023-01-04 23:59:59"
  }

• 返回结果示例：

  {
      "status": "success",
      "totalNum": 289,
      "data": [
          {
              "user": {
                  "id": 16,
                  "name": "用户16"
              },
              "axis": "series1",
              "value": 8231053,
              "createTime": "2023-01-04 00:04:57"
          },
          {
              "user": {
                  "id": 16,
                  "name": "用户16"
              },
              "axis": "series1",
              "value": 6519928,
              "createTime": "2023-01-04 00:09:51"
          },
          {
              "user": {
                  "id": 16,
                  "name": "用户16"
              },
              "axis": "series1",
              "value": 2915920,
              "createTime": "2023-01-04 00:14:36"
          },
          {
              "user": {
                  "id": 16,
                  "name": "用户16"
              },
              "axis": "series1",
              "value": 7971851,
              "createTime": "2023-01-04 00:19:51"
          },
          {
              "user": {
                  "id": 16,
                  "name": "用户16"
              },
              "axis": "series1",
              "value": 6598996,
              "createTime": "2023-01-04 00:24:30"
          }
      ]
  }

  其中data为返回的数据存储路径，读取到的数据有5个字段：user.id、user.name、axis、value、createTime。

• 接口测试工具调用示例：

本实践将从接口处读取的数据同步至MaxCompute分区表中，因此首先需要创建一张用于存储同步过来的数据的分区表。

建表语句如下。

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest3
(
  `user_id` BIGINT
  ,`name` STRING
  ,`axis`  STRING
  ,`value` BIGINT
  ,`create_time` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

如果您使用的是标准版的DataWorks，并将创建的分区表提交到生产环境，后续您可以在数据地图中查看到创建的此表。

本实践使用了调度参数，因此完成离线同步任务的配置后，您可以在离线同步节点页面顶部单击带参运行，根据界面提示填写测试的调度参数取值，进行离线同步任务测试。测试运行完成后，您可以在界面下方查看运行日程，检查调度参数取值是否符合预期。

您可以在DataStudio的临时查询中查看数据是否正确同步到了MaxCompute，临时查询的示例语句如下。

select * from ods_xiaobo_rest3 where ds='20230105' order by create_time;

其中ods_xiaobo_rest3为上述步骤中创建的MaxCompute分区表，20230105为测试运行时的分区取值。

运行完成后，您可以在下方的查询结果处查看数据是否正确同步到了MaxCompute。