运维中心概述

数据质量通过表配置的分区表达式来匹配节点产出的表分区,数据质量规则关联产出该表数据的调度节点,当节点运行后(运维中心中通过测试实例,补数据实例,周期实例的运行及重跑操作产出表数据),会触发该数据质量规则校验,您可以设置规则...

0031-00000054

问题描述 数据复制规则关联的源Bucket处于暂停版本控制状态。问题原因 您发起了PutBucketReplication请求,但是数据复制规则关联的源Bucket处于暂停版本控制状态。问题示例 对处于暂停版本控制状态的源Bucket配置数据复制规则,出现报错。...

数据质量规则配置流程

质量规则列表 在上图的区域②,为您展示 规则名称、规则ID、表名、规则字段、分区表达式、关联调度、规则模板、强/弱、启停状态、配置人 等质量规则详细信息,同时您可以在操作列对规则进行 订阅管理、修改 规则、删除 规则、停止/启动 ...

replication(数据复制)

ossutil64 replication-method get-item progress oss:/srcbucket 37417af4-f2dc-4b24-92d3-82092af6*获取srcbucket所有关联规则数据复制进度。ossutil64 replication-method get-item progress oss:/srcbucket 以下输出结果表明源存储...

配置规则:按模板(批量)

定义规则触发方式:关联调度 您可以单击 推荐关联调度 或 手动关联调度,为单个或多个数据质量规则关联产出表数据的调度节点(运维中心中产出表数据的节点,包括自动调度的周期实例,手动触发的补数据实例,测试实例),当节点任务执行时便...

UpdateQualityRule

false:在数据质量规则关联产出表数据的调度任务执行时,不会触发质量规则校验。ProjectId Long 否 26 DataWorks项目空间ID。TaskSetting String 否 x=a,y=b 在自定义规则之前插入的变量设置,格式如:x=a,y=b 返回数据 名称 类型 示例值 ...

支持服务关联角色的云服务

本文为您介绍支持RAM服务关联角色的阿里云服务,方便您查询和使用。云服务 云服务标识 服务关联角色 相关文档 资源管理 resourcemanager.aliyuncs.com AliyunServiceRoleForResourceDirectory 资源目录中的RAM角色 rmc.resourcemanager....

管理问题数据

数据质量监控规则关联调度节点后,您可进入调度节点的 运行详情 页面,在 任务执行>DQC 面板,单击目标规则 操作 列的 查看详情,查看问题数据采集过程。详情请参见:智能诊断。附录:支持保留问题数据规则列表与问题数据口径 校验类型...

配置数据质量监控

表的行数非0校验(强规则)主键唯一性校验(弱规则)3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,即通过关联调度节点触发数据质量校验规则执行。...

配置数据质量监控

表的行数非0校验(强规则)主键唯一性校验(弱规则)3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,即通过关联调度节点触发数据质量校验规则执行。...

数据质量入门

步骤五:订阅质量规则 数据质量为您提供监控报警功能,通过订阅某表数据质量校验规则,第一时间接收质量校验异常结果并快速处理,保障数据安全、稳定、按时产出。在规则列表页面单击 订阅管理。配置报警消息的接收信息。DataWorks支持您...

规则概述

数据库审计系统提供规则配置功能,您可以根据客户端、服务端、SQL语句等特征自定义检测规则数据库审计系统将针对不同类型规则执行是否审计或上报告警。规则说明 规则名称 应用场景 说明 过滤规则 无需审计部分SQL报文,希望节省存储空间...

创建数据脱敏规则

创建静态脱敏规则数据集成静态脱敏场景 在 数据脱敏管理 页面,选择 脱敏场景 为 数据集成静态脱敏>默认场景,单击右侧+脱敏规则。新建数据脱敏规则。在 新建脱敏规则 对话框中,配置规则信息。选择敏感数据类型并配置规则名称。参数 ...

关联数据

背景信息 在 关联数据 页面定义了关联数据后,在自定义规则时您可以直接选择对应的数据组。管理IP组 IP组功能可以帮您管理IP集合。如果自定义的规则需要对某个固定的IP集合生效,您可以通过新增IP组定义该IP集合,直接在自定义规则中使用...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

0031-00000045

问题描述 当前Bucket关联数据复制规则数量超出限制。问题原因 您发起了PutBucketReplication请求,但是当前Bucket关联数据复制规则数量超出限制。单个Bucket关联的复制规则数量不能超过100条。问题示例 在名为oss-example的Bucket已...

巡检任务

关联规则 标签页上,进行以下规则操作:添加关联规则:单击 关联规则,勾选要绑定的规则,单击 关联 即可。关联的规则将出现在规则列表中。解绑规则:勾选要取消绑定的规则,单击 解绑 即可。编辑绑定的规则:单击目标规则 操作 列下的 ...

构建模型

数据关联(JOIN)用来连接不同的数据表。在数据分析时,当需要分析的数据存储在不同的表,您可以通过数据关联,把多个表连接起来,形成模型进行数据分析。前提条件 您已创建数据集,请参见 创建并管理数据集。背景信息 Quick BI支持左外...

数据质量概述

配置规则 创建规则数据质量支持您按表创建数据质量规则,同时,也支持您通过内置规则模板来快速为一批表批量创建数据质量规则。详情请参见:按表配置监控规则、配置规则:按模板(批量)。订阅规则:规则创建完成后,您可以通过规则订阅...

数据使用诊断

DataWorks的数据使用诊断,为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力,以及诊断相关安全问题的最佳实践及解决方案,帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

查看规则详情

规则关联资源的统计数据 统计项 描述 不合规资源数 目标规则关联的资源中,上次评估结果为 不合规 的资源数量。审计的总资源数 目标规则从启用至今,累计评估过的资源数量,包括您已经释放的资源。合规资源数 目标规则关联的资源中,上次...

典型使用场景

数据查询分析 AnalyticDB PostgreSQL版 既通过索引排序等特性支持高并发低延时的多维度点查范围查场景,也通过向量化引擎,CBO优化器,列式存储支持大数据量多表关联聚合的复杂分析场景。例如,数据类业务应用对ADS层数据进行快速查询;...

自定义申请权限的审批流程

本示例中 poc_prod 数据关联的安全规则为POC生产库规则。管理员配置安全规则。以管理员账号 登录 数据管理DMS 5.0。单击控制台左上角的 图标,选择 全部功能>安全与规范>安全规则。说明 若您使用的是非极简模式的控制台,在顶部菜单栏中...

配置数据过滤转换

数据过滤插件可以对数据进行规则过滤,例如过滤字段的大小等,符合规则数据才会被保留。前提条件 配置数据过滤节点前,您需要先配置好相应的输入节点,详情请参见 实时同步支持的数据源。操作步骤 进入 数据开发 页面。登录 DataWorks...

关联选择器

间距 数据 选择数据 关联选择器 组件需要配置目标数据和关联。通常将其绑定数据实体的一个 多对一 或 一对一 关联。关于此部分属性的更多信息,请参见 数据。可选集 选择可选集 关联选择器 组件需要配置可选集数据源。通常需要绑定与上述...

配置数据质量监控

本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控规则。前提条件 在进行本实验前,请确保已完成 采集数据 和 加工数据。操作步骤 进入数据质量页面。登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据质量,在下拉框中...

导出数据

前提条件 数据关联的安全规则已开启 结果集是否支持导出 规则(系统默认开启)。更多信息,请参见 SQL窗口-关系型数据库。具有目标数据库的查询、导出等权限。更多信息,请参见 管理访问控制权限。导出表结构 登录 数据管理DMS 5.0。在...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

数据保护伞概述

数据保护伞是一款数据安全管理产品,为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能,帮助您快速梳理敏感数据并进行安全管控,保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...

使用协同过滤实现商品推荐

协同过滤算法是一种基于关联规则的算法。以购物行为为例,如果用户甲和用户乙都购买了商品A和商品B,则可以假定用户甲和用户乙的购物品味相似。当用户甲购买了商品C,而用户乙未购买时,可以将商品C推荐给用户乙,这就是经典的User-Based,...

配置安全规则

查看规则引用 您可以查询数据库关联的规则信息,并按需进行关联规则、取消关联规则、禁用规则、启用规则等操作。登录数据库审计系统。具体操作,请参见 登录数据库审计系统。在左侧导航栏,选择 规则配置>安全规则>规则引用。在 规则引用 ...

ScanSensitiveData

调用ScanSensitiveData识别输入数据中是否存在敏感数据。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...

设置关联数据源及其启停状态

数据目的配置成功后,可重新设置或添加关联数据源。数据源添加成功后,需要启动数据源,IoT孪生节点属性变更数据才能转发到数据目的。本文介绍关联数据源和设置数据源启停状态的具体操作。前提条件 已添加数据源。具体操作,请参见 添加...

订单关联项目操作、规则及常见问题

1.关联规则 1.关联操作只适用于新购订单。2.客户的预付费新购订单和后付费开通订单在关联项目(合作伙伴)后,后续的续费、升级等相关订单均绑定此合作伙伴。3.请务必提醒客户在订单支付当月操作关联项目,过期将视为客户自主下单,与合作...

转发管理

设置规则生效范围 关联规则生效范围 创建完转发规则后,需要进行 转发规则生效范围 设置,转发规则才能在对应VPC内生效。登录到 云解析DNS控制台。点击左侧导航栏 内网DNS解析(PrivateZone),在页面右上角选择 配置管理模式,再点击 转发...

通过样本库识别

说明 如果目标样本库已被数据识别规则引用,您可以在样本库列表查看该样本库关联数据识别规则,并在数据识别规则的配置页面取消引用该样本库,取消引用后该样本库才能被删除。配置 数据识别规则,详情请参见 通过内置规则识别。

DescribeRules-查询识别规则的列表

调用本接口查询敏感数据识别规则的列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的...

创建和查看DataWorks导入任务

数据质量导入步骤会依赖周期任务导入步骤成功才会执行,因为同一个导入包里面如果同时有数据质量规则和关联的调度节点信息,您需要先把关联的节点先导入目标空间且成功提交发布了,才能将调度节点和正确的质量规则关联上。如果只单独导入...

敏感数据访问及导出情况

数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等,帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 阿里云主账号已授权开通数据保护...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据库备份 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用