ListQualityResultsByRule - 校验数据源质量

更新时间:
复制 MD 格式

根据校验规则校验数据源的质量,并查询校验结果。

说明

目前该API接口已标记为弃用,推荐使用替代API:dataworks-public(2024-05-18) - ListDataQualityScanRuns。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

当前API暂无授权信息透出。

请求参数

名称

类型

必填

描述

示例值

RuleId

integer

是

使用的校验规则 ID。您可以使用该规则 ID 与分区表达式等信息进行联合查询。

152322134

StartDate

string

是

业务日期起始时间,格式为 yyyy-MM-dd HH:mm:ss。

该参数与 EndDate 配合使用,二者所取的时间区间不能大于 7 天。

2020-09-20 00:00:00

EndDate

string

是

业务日期截止时间,格式为 yyyy-MM-dd HH:mm:ss。

该参数与 StartDate 配合使用,二者所取的时间区间不能大于 7 天。

2020-09-22 00:00:00

PageSize

integer

是

每页显示的条数,默认为 10 条,最大 20 条。

10

PageNumber

integer

是

页码数。

1

ProjectName

string

是

需要进行数据质量校验的引擎或者数据源名称。

autotest

ProjectId

integer

是

DataWorks 项目空间 ID。

123456

返回参数

名称

类型

描述

示例值

object

校验结果

HttpStatusCode

integer

HTTP 状态码。

200

ErrorMessage

string

错误信息。

You have no permission.

RequestId

string

请求 ID。

CBA58543-00D4-41****

ErrorCode

string

错误码。

401

Success

boolean

请求是否成功。

true

Data

object

校验结果的顶层结构体。

PageNumber

integer

页码数。

1

PageSize

integer

每页显示的条数,默认为 10 条,最大 100 条。

10

TotalCount

integer

数据的总记录数。

200

RuleChecks

array<object>

校验结果的列表。

array<object>

校验结果

BlockType

integer

校验规则的强弱。强弱表示规则的重要程度。取值如下:

  • 1,表示强规则。

  • 0,表示弱规则。 您可以根据实际需求设置重要的规则为强规则。如果使用强规则并触发了红色告警,则会阻塞调度任务。

1

WarningThreshold

number

橙色阈值。表示与样本预期的偏离程度,您可以根据业务需求自定义该阈值。

0.1

Property

string

规则属性的字段,即被校验数据源表的 column 名称。

type

TableName

string

进行校验的表名称。

dual

Comment

string

校验规则的描述。

The description of the rule.

CheckResultStatus

integer

校验结果状态。

2

TemplateName

string

使用的校验模板的名称。

Expected value verification

CheckerName

string

校验器的名称。

fulx

RuleId

integer

规则 ID。

123421

FixedCheck

boolean

是否为固定值校验。取值如下:

  • true:是固定值校验。

  • false:非固定值校验。

false

Op

string

比较符。

>

UpperValue

number

预测上限。设置阈值后自动生成。

22200

ActualExpression

string

被校验的数据源表的实际分区。

ds=20200925

ExternalId

string

调度任务的节点 ID。

123112232

TimeCost

string

执行校验任务花费的时间。

10

Trend

string

校验结果的趋势。

up

ExternalType

string

调度系统的类型。目前仅支持 CWF。

CWF2

BizDate

integer

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000

CheckResult

integer

校验结果。

2

ResultString

string

校验结果的字符串形式。

ResultString

MatchExpression

string

分区表达式。

ds=$[yyyymmdd]

CheckerType

integer

校验器的类型。

0

ProjectName

string

需要进行数据质量校验的引擎或者数据源名称。

autotest

BeginTime

integer

执行校验操作的开始时间。

1600704000000

DateType

string

调度周期的类型。通常为 YMD,即年任务、月任务、天任务。

YMD

CriticalThreshold

number

红色阈值。表示与样本预期的偏离程度。您可以根据业务需求自定义该阈值。使用强规则并触发红色阈值,会阻塞调度任务。

0.6

IsPrediction

boolean

是否为预测的结果。取值如下:

  • true:是预测的结果。

  • false:不是预测的结果。

false

RuleName

string

规则的名称。

The name of the rule.

CheckerId

integer

校验器的 ID。

7

DiscreteCheck

boolean

是否为离散校验。取值如下:

  • true:是离散校验。

  • false:非离散校验。

true

EndTime

integer

查询校验结果的截止时间。

1600704000000

MethodName

string

采集样本数据的方法。包括 avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct 等。

max

LowerValue

number

预测下限。根据您设置的阈值自动生成。

2344

EntityId

integer

分区表达式 ID。

14534343

WhereCondition

string

校验任务使用的过滤条件。

type!='type2'

ExpectValue

number

期望值。

90

TemplateId

integer

使用的校验模板的 ID。

5

TaskId

string

校验任务的 ID。

16008552981681a0d6****

Id

integer

主键 ID。

2231123

ReferenceValue

array<object>

历史样本值。

object

校验结果

DiscreteProperty

string

通过 group by 分组后的样本字段取值。例如 group by 性别字段,则 DiscreteProperty 为男生、女生和 null。

type1

Value

number

样本值。

20

BizDate

string

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000

SingleCheckResult

integer

校验结果的字符串。

2

Threshold

number

阈值。

0.2

SampleValue

array<object>

当前使用的样本。

object

校验结果

DiscreteProperty

string

通过 group by 分组后的样本字段取值。例如 group by 性别字段,则 DiscreteProperty 为男生、女生和 null。

type2

BizDate

string

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000

Value

number

样本值。

23

Open

boolean

规则是否开启。

true

示例

正常返回示例

JSON格式

{
  "HttpStatusCode": 200,
  "ErrorMessage": "You have no permission.",
  "RequestId": "CBA58543-00D4-41****",
  "ErrorCode": "401",
  "Success": true,
  "Data": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 200,
    "RuleChecks": [
      {
        "BlockType": 1,
        "WarningThreshold": 0.1,
        "Property": "type",
        "TableName": "dual",
        "Comment": "The description of the rule.",
        "CheckResultStatus": 2,
        "TemplateName": "Expected value verification",
        "CheckerName": "fulx",
        "RuleId": 123421,
        "FixedCheck": false,
        "Op": ">",
        "UpperValue": 22200,
        "ActualExpression": "ds=20200925",
        "ExternalId": "123112232",
        "TimeCost": "10",
        "Trend": "up",
        "ExternalType": "CWF2",
        "BizDate": 1600704000000,
        "CheckResult": 2,
        "ResultString": "ResultString",
        "MatchExpression": "ds=$[yyyymmdd]",
        "CheckerType": 0,
        "ProjectName": "autotest",
        "BeginTime": 1600704000000,
        "DateType": "YMD",
        "CriticalThreshold": 0.6,
        "IsPrediction": false,
        "RuleName": "The name of the rule.",
        "CheckerId": 7,
        "DiscreteCheck": true,
        "EndTime": 1600704000000,
        "MethodName": "max",
        "LowerValue": 2344,
        "EntityId": 14534343,
        "WhereCondition": "type!='type2'",
        "ExpectValue": 90,
        "TemplateId": 5,
        "TaskId": "16008552981681a0d6****",
        "Id": 2231123,
        "ReferenceValue": [
          {
            "DiscreteProperty": "type1",
            "Value": 20,
            "BizDate": "1600704000000",
            "SingleCheckResult": 2,
            "Threshold": 0.2
          }
        ],
        "SampleValue": [
          {
            "DiscreteProperty": "type2",
            "BizDate": "1600704000000",
            "Value": 23
          }
        ],
        "Open": true
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息,参考变更详情。