ListQualityResultsByRule - 校验数据源质量

更新时间:
复制为 MD 格式

根据校验规则校验数据源的质量,并查询校验结果。

说明

目前该API接口已标记为弃用,推荐使用替代API:dataworks-public(2024-05-18) - ListDataQualityScanRuns

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

当前API暂无授权信息透出。

请求参数

名称

类型

必填

描述

示例值

RuleId

integer

使用的校验规则 ID。您可以使用该规则 ID 与分区表达式等信息进行联合查询。

152322134

StartDate

string

业务日期起始时间,格式为 yyyy-MM-dd HH:mm:ss。

该参数与 EndDate 配合使用,二者所取的时间区间不能大于 7 天。

2020-09-20 00:00:00

EndDate

string

业务日期截止时间,格式为 yyyy-MM-dd HH:mm:ss。

该参数与 StartDate 配合使用,二者所取的时间区间不能大于 7 天。

2020-09-22 00:00:00

PageSize

integer

每页显示的条数,默认为 10 条,最大 20 条。

10

PageNumber

integer

页码数。

1

ProjectName

string

需要进行数据质量校验的引擎或者数据源名称。

autotest

ProjectId

integer

DataWorks 项目空间 ID。

123456

返回参数

名称

类型

描述

示例值

object

校验结果

HttpStatusCode

integer

HTTP 状态码。

200

ErrorMessage

string

错误信息。

You have no permission.

RequestId

string

请求 ID。

CBA58543-00D4-41****

ErrorCode

string

错误码。

401

Success

boolean

请求是否成功。

true

Data

object

校验结果的顶层结构体。

PageNumber

integer

页码数。

1

PageSize

integer

每页显示的条数,默认为 10 条,最大 100 条。

10

TotalCount

integer

数据的总记录数。

200

RuleChecks

array<object>

校验结果的列表。

array<object>

校验结果

BlockType

integer

校验规则的强弱。强弱表示规则的重要程度。取值如下:

  • 1,表示强规则。

  • 0,表示弱规则。 您可以根据实际需求设置重要的规则为强规则。如果使用强规则并触发了红色告警,则会阻塞调度任务。

1

WarningThreshold

number

橙色阈值。表示与样本预期的偏离程度,您可以根据业务需求自定义该阈值。

0.1

Property

string

规则属性的字段,即被校验数据源表的 column 名称。

type

TableName

string

进行校验的表名称。

dual

Comment

string

校验规则的描述。

The description of the rule.

CheckResultStatus

integer

校验结果状态。

2

TemplateName

string

使用的校验模板的名称。

Expected value verification

CheckerName

string

校验器的名称。

fulx

RuleId

integer

规则 ID。

123421

FixedCheck

boolean

是否为固定值校验。取值如下:

  • true:是固定值校验。

  • false:非固定值校验。

false

Op

string

比较符。

>

UpperValue

number

预测上限。设置阈值后自动生成。

22200

ActualExpression

string

被校验的数据源表的实际分区。

ds=20200925

ExternalId

string

调度任务的节点 ID。

123112232

TimeCost

string

执行校验任务花费的时间。

10

Trend

string

校验结果的趋势。

up

ExternalType

string

调度系统的类型。目前仅支持 CWF。

CWF2

BizDate

integer

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000

CheckResult

integer

校验结果。

2

ResultString

string

校验结果的字符串形式。

ResultString

MatchExpression

string

分区表达式。

ds=$[yyyymmdd]

CheckerType

integer

校验器的类型。

0

ProjectName

string

需要进行数据质量校验的引擎或者数据源名称。

autotest

BeginTime

integer

执行校验操作的开始时间。

1600704000000

DateType

string

调度周期的类型。通常为 YMD,即年任务、月任务、天任务。

YMD

CriticalThreshold

number

红色阈值。表示与样本预期的偏离程度。您可以根据业务需求自定义该阈值。使用强规则并触发红色阈值,会阻塞调度任务。

0.6

IsPrediction

boolean

是否为预测的结果。取值如下:

  • true:是预测的结果。

  • false:不是预测的结果。

false

RuleName

string

规则的名称。

The name of the rule.

CheckerId

integer

校验器的 ID。

7

DiscreteCheck

boolean

是否为离散校验。取值如下:

  • true:是离散校验。

  • false:非离散校验。

true

EndTime

integer

查询校验结果的截止时间。

1600704000000

MethodName

string

采集样本数据的方法。包括 avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct 等。

max

LowerValue

number

预测下限。根据您设置的阈值自动生成。

2344

EntityId

integer

分区表达式 ID。

14534343

WhereCondition

string

校验任务使用的过滤条件。

type!='type2'

ExpectValue

number

期望值。

90

TemplateId

integer

使用的校验模板的 ID。

5

TaskId

string

校验任务的 ID。

16008552981681a0d6****

Id

integer

主键 ID。

2231123

ReferenceValue

array<object>

历史样本值。

object

校验结果

DiscreteProperty

string

通过 group by 分组后的样本字段取值。例如 group by 性别字段,则 DiscreteProperty 为男生、女生和 null。

type1

Value

number

样本值。

20

BizDate

string

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000

SingleCheckResult

integer

校验结果的字符串。

2

Threshold

number

阈值。

0.2

SampleValue

array<object>

当前使用的样本。

object

校验结果

DiscreteProperty

string

通过 group by 分组后的样本字段取值。例如 group by 性别字段,则 DiscreteProperty 为男生、女生和 null。

type2

BizDate

string

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000

Value

number

样本值。

23

Open

boolean

规则是否开启。

true

示例

正常返回示例

JSON格式

{
  "HttpStatusCode": 200,
  "ErrorMessage": "You have no permission.",
  "RequestId": "CBA58543-00D4-41****",
  "ErrorCode": "401",
  "Success": true,
  "Data": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 200,
    "RuleChecks": [
      {
        "BlockType": 1,
        "WarningThreshold": 0.1,
        "Property": "type",
        "TableName": "dual",
        "Comment": "The description of the rule.",
        "CheckResultStatus": 2,
        "TemplateName": "Expected value verification",
        "CheckerName": "fulx",
        "RuleId": 123421,
        "FixedCheck": false,
        "Op": ">",
        "UpperValue": 22200,
        "ActualExpression": "ds=20200925",
        "ExternalId": "123112232",
        "TimeCost": "10",
        "Trend": "up",
        "ExternalType": "CWF2",
        "BizDate": 1600704000000,
        "CheckResult": 2,
        "ResultString": "ResultString",
        "MatchExpression": "ds=$[yyyymmdd]",
        "CheckerType": 0,
        "ProjectName": "autotest",
        "BeginTime": 1600704000000,
        "DateType": "YMD",
        "CriticalThreshold": 0.6,
        "IsPrediction": false,
        "RuleName": "The name of the rule.",
        "CheckerId": 7,
        "DiscreteCheck": true,
        "EndTime": 1600704000000,
        "MethodName": "max",
        "LowerValue": 2344,
        "EntityId": 14534343,
        "WhereCondition": "type!='type2'",
        "ExpectValue": 90,
        "TemplateId": 5,
        "TaskId": "16008552981681a0d6****",
        "Id": 2231123,
        "ReferenceValue": [
          {
            "DiscreteProperty": "type1",
            "Value": 20,
            "BizDate": "1600704000000",
            "SingleCheckResult": 2,
            "Threshold": 0.2
          }
        ],
        "SampleValue": [
          {
            "DiscreteProperty": "type2",
            "BizDate": "1600704000000",
            "Value": 23
          }
        ],
        "Open": true
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息,参考变更详情