质量规则模板类型
实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...
质量规则模板类型
实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...
企业版和标准版功能对比
自治服务开启后，DAS会在数据库出现异常时，自动进行根因分析，给出优化或止损建议，并自动进行优化或止损操作（需经您授权后才会开启优化操作）。支持 支持 会话管理 PolarDB MySQL版 的一键诊断融合了DAS部分功能，您可以通过其中的会话...
异常检测
及时发现数据库的异常问题是数据库日常运维的重点。数据库自治服务DAS提供异常检测功能，基于...相关文档 您可以利用DAS的自治功能，在数据库出现异常时进行自动处理。自动SQL限流 自动SQL优化 自动性能扩展 自动空间扩展 空间碎片自动回收
查看并管理整改流程
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。重新校验：仅待处理、已...
查看并管理整改流程
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。重新校验：仅待处理、已...
查看并管理治理工作台
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
查看并管理治理工作台
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
实例告警
及时发现数据库异常是数据库日常运维的重要...当数据库出现异常情况或达到预设的告警阈值时，系统会立即通知设定的告警联系人，以帮助您及时发现数据库异常并维护数据库的稳定性。操作步骤 为实例配置警规则和告警模板，详情请参见 配置告警。
实例告警
当数据库出现异常情况或达到预设的告警阈值时，系统会立即通知设定的告警联系人，以帮助您及时发现数据库异常并维护数据库的稳定性。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入目标实例详情...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
区域热力层（v2.x版本）
动作 动作 说明 请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 http://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则...
3D环图
动作 动作 说明 请求3d环图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如3D环图配置了API数据源为 https://api.test ，传到 请求3D环图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
梯形柱状图
请求梯形柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如梯形柱状图配置了API数据源为 https://api.test ，传到 请求梯形柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
旭日图
动作 动作 说明 请求旭日图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如旭日图配置了API数据源为 https://api.test ，传到 请求旭日图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
分组柱状图
请求分组柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如分组柱状图配置了API数据源为 https://api.test ，传到 请求分组柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
基本柱状图（v3.0及以上版本）
动作 动作 说明 请求基本柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如基本柱状图配置了API数据源为 https://api.test ，传到 请求基本柱状图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
词云
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如词云配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 ...
事务执行状态说明
已回滚：事务结束，事务执行的数据变更已回滚 异常 提交异常：一阶段结束，二阶段处理提交操作时出现异常 回滚异常：一阶段结束，二阶段处理回滚操作时出现异常 回查异常：一阶段结束，二阶段处理回查业务接口时出现异常
Iceberg概述
数据质量控制 借助于Iceberg Schema的校验功能，在数据导入时剔除异常数据，或者对异常数据做进一步处理。数据Schema变更 数据的Schema并非固定不变，Iceberg支持通过Spark SQL的DDL语句完成表结构变更。Iceberg在变更表结构的时候，历史...
百分比条形图（v4.x版本）
动作 动作 说明 请求百分比条形图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如百分比条形图配置了API数据源为 https://api.test ，传到 请求百分比条形图接口 动作的数据为 { id:'1'}，则最终请求接口...
区域热力层（v4.x版本）
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。切换...
垂直分组柱状图
动作 动作 说明 请求垂直分组柱状图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如垂直分组柱状图配置了API数据源为 https://api.test ，传到 请求垂直分组柱状图接口 动作的数据为 { id:'1'}，则最终...
常见错误处理方法
连接异常 连接异常即应用程序或者客户端与数据库的连接出现异常，例如已经创建的连接，提示连接不存在或连接超时，无法与数据库实例建立连接等。连接异常经常发生在网络闪断，或者数据库服务重启时，您需要在应用程序中就此类异常，添加重...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
通过数据同步功能同步SLS数据至数仓版
脏数据处理模式取值如下：中断同步（默认值）：数据同步终止，您需修改目标表的字段类型或修改为其他脏数据处理模式，再重启同步任务。按NULL处理：脏数据按NULL值写入目标表，并丢弃脏数据。例如：SLS数据总共有10行，某一字段中有2行是脏...
通过数据同步功能同步SLS数据至湖仓版
脏数据处理模式取值如下：中断同步（默认值）：数据同步终止，您需修改目标表的字段类型或修改为其他脏数据处理模式，再重启同步任务。按NULL处理：脏数据按NULL值写入目标表，并丢弃脏数据。例如：SLS数据总共有10行，某一字段中有2行是脏...
实例画像
数据库自治服务DAS...单击 立即处理，进入 风险处理 页面，查看数据库实例各个维度的评分和诊断结果，当出现异常与缺陷时，系统将给出对应自治功能使用建议，单击 立即处理 跳转到自治功能页面，根据使用建议完成相关自治功能的配置。
实例画像
数据库自治服务DAS...单击 立即处理，进入 风险处理 页面，查看数据库实例各个维度的评分和诊断结果，当出现异常与缺陷时，系统将给出对应自治功能使用建议，单击 立即处理 跳转到自治功能页面，根据使用建议完成相关自治功能的配置。
实例画像
数据库自治服务DAS...单击 立即处理，进入 风险处理 页面，查看数据库实例各个维度的评分和诊断结果，当出现异常与缺陷时，系统将给出对应自治功能使用建议，单击 立即处理 跳转到自治功能页面，根据使用建议完成相关自治功能的配置。
告警服务
当数据库出现异常情况或达到预设的告警阈值时，系统会立即通知设定的告警联系人，以帮助您及时发现数据库异常并维护数据库的稳定性。背景信息 了解以下概念，能帮助您更好地配置告警：告警规则：定义了触发告警的监控项、触发次数、告警...
数据类型转换
平台上其他数据处理组件。按照平台组件开发的自定义组件。OUT端口-输出参数 参数名 参数描述 输出数据类型 输出 输出类型转换后的转换变量。与选择的转换类型一致 其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 转换类型 选择要...
客户案例
张炜宇 阿里妈妈基础共享技术开发平台总监“OceanBase 很好的满足了我们广告业务对于存储系统扩展性，并行计算，统计计算，高吞吐，低时延，资源隔离等大数据处理的需求，在报表业务的演进中帮助我们建立了一套业务和平台分离，面向效果...
常见问题
如何处理使用SLB链接时的异常断链 阿里云上的SLB链接在长时间内没有数据报文发送时会自动断开链接，客户端收到”read timeout“错误，查询无法追踪。对于这种情况您可以在DMS上执行以下命令来设置全局参数，设置后需要重启集群。set global...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
运维中心入门
背景信息 DataWorks运维中心支持对周期任务、手动任务、实时同步任务等多种类型任务进行运维管理，并针对任务本身及任务执行使用的资源等各类对象提供多种监控方式，方便您根据监控报警及时发现并处理异常，保障数据生产的高效与稳定。...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
常见问题
案例：某公司自己的监控系统发现OSS请求数据有延迟 某公司因业务需求搭建了一套监控系统监控OSS的数据，发现访问OSS延迟较大，可通过如下步骤排查：排查公司网络是否正常，可通过ping其他网站的形式测试延迟。在OSS同地域创建一个ECS服务器...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
数据导入常见问题
Broker Load导入HDFS数据时，数据的导入日期字段出现异常，比正确的日期时间多加了8小时，该如何处理？Broker Load导入ORC格式的数据时，报错“ErrorMsg:type:ETL_RUN_FAIL;msg:Cannot cast '<slot 6>' from VARCHAR to ARRAY(30)>”，该...
- 产品推荐
- 这些文档可能帮助您