等值面层(v1.x版本)

等值面层是基础平面地图的子组件,适用于将已知的矢量点数据制作成栅格区域图进行大屏展示,例如使用等值面组件,实时插值出全国的空气质量图,满足一些气象等行业的可视化需求。本文介绍等值面层各配置项的含义。注意 当前为v1.x版本的...

等值面层(v2.x版本)

等值面层是基础平面地图的子组件,适用于将已知的矢量点数据制作成栅格区域图进行大屏展示,例如使用等值面组件,实时插值出全国的空气质量图,满足一些气象等行业的可视化需求。本文介绍等值面层各配置项的含义。注意 当前为v2.x版本的...

获取数据

数据是可视化的原材料,本文档为您介绍获取春节期间全国的空气质量数据的方法。您可以从空气检测官网上,自行获取全国空气质量历史数据。本示例中,采用了2017年1月1日至2017年2月2日,全国1497个监测点的数据。

智能控制空气净化

在业务逻辑开发页,单击左侧的 节点 按钮,拖拽一个 设备触发 节点到画布上,并配置输入数据为空气质量监测设备 airDetector 上报的属性:PM2.5浓度。拖拽一个 条件判断 节点到画布上,与设备触发节点相连,并进行配置配置条件1:设备...

配置集成管道质量监控

按照下图指引进入 新建质量规则 对话框,配置质量规则,监测数据表的质量配置质量规则需开通资产质量模块)。在 新建质量规则 对话框,配置质量规则参数。参数 描述 规则模板 选择规则模板,支持 表结构异动监测、表稳定性校验、表波动性...

批量上传质量规则

支持通过Excel批量上传质量规则,帮助您为多个数据表配置质量规则,提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境,请参见 管理发布任务。使用说明 Dataphin数据表和全域...

创建全域数据表质量规则

Dataphin支持创建校验数据表的质量规则,提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象。权限说明 超级管理员、质量管理员...

资产质量概述

数据质量的功能包括质量规则配置质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务,详情请参见 开通Dataphin。背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及...

数据质量概述

规则配置 数据质量支持按表配置或按模板配置质量监控规则,详情请参见:配置规则:按表(单表)、配置规则:按模板(批量)。任务查询 在任务查询页面您可以通过表或节点搜索表历史校验记录及校验详情。配置数据质量规则去噪 去噪管理功能...

添加及管理监控对象

查看监控对象列表 您可以在 质量规则 列表页面查看已经配置的监控对象的质量规则信息,并进行查看、运行、质量负责人管理、删除等操作。不同监控对象的页面展示一致,下面以 Dataphin数据表 为例。通用操作说明 操作项 描述 单个操作项 ...

新建数据源规则

本文为您介绍如何单独配置数据源的质量规则和批量配置数据源的质量规则。前提条件 数据表已提交或发布至生产环境。如何发布数据表至生产环境,请参见 管理发布任务。权限说明 超级管理员、质量管理员和资源负责人可以添加监控对象及引入...

新建实时元表规则

超级管理员、质量管理员和质量负责人可以批量配置质量规则。质量负责人、普通用户需具备实时元表的同步读权限,如果没有权限,则需要申请是实时元表权限,详情请参见 申请、续期和交还表权限。超级管理员、质量管理员可查看所有实时元表的...

质量与风险管控(面向质检人员)

本文主要围绕质量活动,介绍质量管控、质量看板视图。开发阶段 Push/MR 管控 基于 Gitflow 的最佳实践,通过合并请求向迭代分支提交代码,方便后续的代码评审和流水线检测。进入 研发迭代>我的应用,选择目标应用进入应用详情页面。可按...

公告

数据标准新增数据分级、数据分类、值域、是否唯一值等系统属性,此类属性内置质量监控配置,可通过一键引用系统属性实现在创建数据标准时快速配置质量监控模板,降低配置成本,提升监控配置的正确性。资产质量新增治理工作台功能,实现从...

步骤二:配置空气净化和告警服务

您可在业务逻辑编辑器中拖拽功能节点到画布,配置节点名称、数据源、参数等,以...为路径1配置钉钉机器人,通知空气质量情况。为路径2配置钉钉机器人节点。配置完成后,单击页面右上方 部署调试 按钮,部署并启动服务。后续步骤 步骤三:调试

创建指标质量规则

本文为您介绍如何单独配置指标质量规则和批量配置指标质量规则。前提条件 已发布指标至生产环境。如何发布指标至生产环境,请参见 管理发布任务。权限校验 超级管理员、质量管理员和资源负责人可以添加监控对象及引入逻辑表资源。超级管理...

批量创建质量规则

批量创建质量规则可帮助您为监控对象配置统一的质量规则,并设置异常告警信息,实时监控对象的动态。本文为您介绍如何批量配置质量规则。前提条件 已将数据表或指标发布至生产环境,发布详情请参见 管理发布任务。权限说明 超级管理员、...

批量创建质量规则

批量创建质量规则可帮助您为监控对象配置统一的质量规则,并设置异常告警信息,实时监控对象的动态。本文为您介绍如何批量配置质量规则。前提条件 已将数据表或指标发布至生产环境,发布详情请参见 管理发布任务。权限说明 超级管理员、...

新建及管理质量规则模板

质量规则模板常用于抽象质量规则配置中逻辑一致或相似的逻辑,可以提升后续配置质量监控规则的效率。Dataphin内置支持20+质量规则模板,并支持通过自定义SQL的方式灵活拓展,以满足企业的质量监控诉求。本文为您介绍如何新建质量规则模板。...

操作流程

流程图 流程说明 操作 说明 配置逻辑表质量规则 引用标准自动生成质量规则 通过设置质量规则并运行质量检查计划或者场景画布中引用配置规则的物理表后,您可以查看质量检查结果,方便用户掌握当前物理表的质量状况。具体操作,请参见 设置...

操作流程

流程图 流程说明 操作 说明 配置逻辑表质量规则 引用标准自动生成质量规则 通过设置质量规则并运行质量检测计划或者场景画布中引用配置规则的物理表后,您可以查看质量检查结果,方便用户掌握当前物理表的质量状况。具体操作,请参见 设置...

数据质量入门

数据质量帮助您及时感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,阻断脏数据向下游蔓延。避免任务产出问题数据,影响正常使用和业务决策。本文示例配置表数据质量监控规则,保障产出的表数据...

进入数据质量概览(新版)

资产质量配置分析 为您从 已配置质量规则表比率、未配置质量规则表数、未启用质量规则表数、关联调度配置缺失表数、告警接收对象缺失表数 维度展示数据表质量规则的整体覆盖情况。同时,您可以单击各维度下数据表 操作 列的 查看详情 查看...

配置监控报告模板

报告模板管理页面支持动态配置报告模板,数据质量根据您配置的报告模板定时生成并发送报告。前提条件 您需要购买DataWorks企业版及以上版本,才可以使用报告模板管理功能。新增报告模板 登录 DataWorks控制台,单击左侧导航栏的 数据建模与...

有效映射关系管理

配置质量监控 质量监控规则支持引用 数据标准监控,同时为您展示当前资产对象已经在其他模块配置过的质量监控规则作为参考,以避免配置太多重复的监控规则重复运行浪费资源或产生冲突。详情请参加 配置质量监控。解除映射关系 您可将有效...

配置规则:按表(单表)

数据质量支持按照数据表配置质量监控规则,用来监控表数据是否符合要求,自动拦截问题任务,阻断脏数据向下游蔓延,保障产出的表数据符合预期。规则配置完成后,您可先试跑该规则,确保质量规则的配置符合预期。同时,还可对质量规则执行...

功能更新动态(2023年)

通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 实时研发 实时任务研发体验流程优化:Flink SQL任务支持通过数据源编码的...

查看资源使用情况

关于质量配置规则的更多信息,请参见 资产质量增值功能包定价说明。数据服务 无 为您展示当前租户下实例支持QPS的最大值。数据萃取 仅统计已提交状态的行为规则、标签或标签逻辑表。行为规则:为您展示当前租户下已提交的行为规则数量。...

文档更新动态(2023年)

更新说明 通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 调度配置 支持设置不依赖corn表达式的固定间隔时间的调度。...

概述

本案例描述如何使用物联网应用开发(IoT Studio)平台的业务逻辑功能,开发空气环境检测和净化的服务。该服务可控制空气净化器自动净化环境,并针对不同的环境系数对用户进行告警提示。设计思路 创建并接入相应的产品和设备。产品相关参数...

DataWorks on EMR快速入门

DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点,实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能,为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...

质量红线

质量红线是 Flow 流水线提供的质量卡点能力,用于标准化质量标准,当阶段中存在质量项尚未达标的情况下,阻止发布流程进入到下一阶段(环节)。配置质量红线 质量红线当前支持在测试相关的任务中进行设置,包含:代码扫描能力 单元测试 在...

概述

本文介绍通过使用该工具,快速搭建室内温度监控应用,监测室内温湿度和空气质量,并手动控制空调和空气净化器设备,调节室内温湿度和空气质量。背景信息 移动可视化开发是物联网应用开发(IoT Studio)提供的开发工具。无需写代码,只需在...

配置数据质量监控

本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控规则。前提条件 在进行本实验前,请确保已完成 采集数据 和 加工数据。操作步骤 进入数据质量页面。登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据质量,在下拉框中...

步骤三:调试

根据业务服务中的条件配置,该值不符合任何条件,服务将向不满足条件对应的设备发送指令,设置属性电源开关为false(关),并向钉钉群发送一条空气质量报告消息。PM2.5=123,SO 2=0.20。根据业务服务中的条件配置,该值符合其中一个条件,...

创建数据表质量规则

Dataphin支持创建校验数据表的质量规则,提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...

新建和管理数据标准

创建Dataphin数据表质量规则时,可引用此处配置质量监控规则,规则配置和校验配置复用标准配置不可修改,支持自定义规则强弱、调度方式、生效开关、告警等信息。当前标准映射上的所有资产对象,可在资产质量模块引用配置的内容质量监控,...

数据质量风险监控

在 数据质量 页面的左侧导航栏,选择 规则管理>按表配置,在 规则配置-按表配置 页面找到表ods_user_trace_log,单击 操作 列的 配置监控规则。添加分区。单击+,选择 分区表达式 为 dt=$[yyyymmdd-1],对应表ods_user_trace_log的分区格式...

数据质量风险监控

数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量(DQC)功能,完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台,并保证您的DataWorks工作空间创建区域为华东2...

升级

资产质量 提供全链路的资产质量方案,包括数据表、数据源和实时元表的质量规则配置质量监控、智能报警、查看质量报告等功能。智能运维 智能运维为您提供针对任务和实例的运维入口,包括运维大盘、任务运维、实例运维和监控配置等功能。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
应用配置管理 (文档停止维护) 配置审计 高速通道 DDoS防护 云服务器 ECS 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用