背景信息以及准备工作
创建的可视化应用能够发布分享，没有购买DataV产品的用户也可以访问到应用，作为您对外数据业务展示的窗口。本教程以DLA+OSS+DataV方案为例，介绍如何制作DataV数据大屏。前提条件 使用DLA+OSS+DataV制作数据大屏时，您需要先通过以下操作...
数据校验计费方式
本文介绍DTS数据校验任务的计费方式和计费标准。计费方式 全量数据校验任务当前仅支持按量付费（后付费）的计费方式。说明 按表行数进行校验 的校验模式不收费，按抽样比例进行HASH校验 的校验...校验的数据量是指源库中待校验数据的大小。
伯俊软件
所属行业：互联网、软件 网站地址：上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商，创立20余年，已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据”中台、培训及专业的技术服务，客户覆盖零售、制造...
赛盒广告精细化管理方案
对数据库查询响应时长的需求 实际业务中要求数据库的查询相应时间小于20秒，经过测试，其他第三方OLTP（On-Line Transaction Processing）数据库中部分GROUP BY语句的响应时间超过40秒，难以满足业务需求。解决方案 针对以上问题，阿里云...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
OpenAPI列表
该API内部实现为异步调用发布，只有返回数据中的校验状态为通过的数据（即 SubmitPublishResult.status=true），才会进入异步发布流程，每次发布结束之后会生成发布记录，发布的结果需要从ListPublishingHistory（发布记录列表）中获取。...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
数据质量管理流程
在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-...
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
数据质量管理流程
在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',...
产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
新零售：特步
业务架构 客户价值 基于 PolarDB-X+RDS的分布式数据库解决方案+业务中台提升客户数据链路的时效性以及客户业务系统的吞吐能力，使订单、库存、商品、销售的数据能实时从业务端到业务中台再到报表系统做销售业务决策。基于 PolarDB-X+RDS的...
大数据用户画像解决方案
进入互联网，特别是移动互联网时代，用户随时随地都会在...多维度&复杂查询：原生全局二级索引、Lindorm Search满足多维度查询需求 方案详情&专家服务 解决方案详情参见：基于Lindorm的大数据用户画像解决方案 任何问题，欢迎联系 技术支持。
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
数据质量管理流程
本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和...根据业务过程中出现的问题，对监控方案进行汇总分析和改进。详情请参见 数据质量追溯。icmsDocProps={'productMethod':'created','language':'zh-CN',};
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。本案例中...
校验物模型数据
数据解析的详细说明，请参见 数据解析脚本。类型 说明 适用范围 强校验 校验设备上报数据中的所有字段，仅流转校验通过的数据。校验通过的数据展示在 物联网平台控制台 对应设备的 设备详情 页 物模型数据 页签。校验不通过的数据则不展示...
新增数据表
数据表是项目中的原始数据，可通过数据校验和数据授权后，被项目的控制台作为离线样本使用。当您新建表结构模板后，可基于新建的表结构模板新增数据表。本文介绍通过管理控制台新增数据表的方法。前置准备 在添加数据表前，需确保您已完成...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
自媒体：易撰
自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
数据中台建设架构咨询服务内容说明
2.服务范围 通过阿里云数据中台产品和建设实施方法论，建设【XXX】集团数据中台数据资产目录，基于资产盘点设计数据中台技术规范及总体架构，指导客户构建数据中台建设框架，并按需完成数据中台详细设计。数据中台建设咨询内容包括【业务...
权限设置
说明 权限开启后，访问数据将会进行权限校验，请提前做好业务评估后再开启权限。开启权限后影响如下：DLF的元数据管理，数据探索功能将会受到权限控制，如用户未被授予权限，则无法访问对应元数据和数据。E-MapReduce中如同时开启引擎（如...
某新能源汽车造车新势力
解决方案 采用 云原生多模数据库 Lindorm 后的数据链路。采用 云原生多模数据库 Lindorm 作为底层存储，得益于其存储计算分离架构，从而具备了优秀的弹性伸缩能力，从容应对业务的快速增长或由于指标采集变更带来的业务峰值变化。使用ZSTD...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
全场景解决方案
双中台体系架构推动从 IT 跨向 DT 以“大中台，小前台“的架构理念，建设双中台业务中台+数据中台，以“科技搭台，业务唱戏”的方式，提升业务创新效率，降低创新成本。客户案例 建议产品 主机/AS400 银行核心下移 新一代的核心银行业务...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
配置数据校验
在数据库性能较差、规格较低或业务量较大的情况下，可能会加重数据库压力，甚至导致数据库服务不可用。增量校验任务仅支持校验增量同步或增量迁移任务中变更的数据，不支持校验手动在目标库中变更的数据。采用 按抽样比例进行HASH校验 方式...
查看数据校验详情
总记录数 是校验数据的估算值，校验完成记录数 是已完成校验数据的值，因此 校验完成记录数 可能会高于 总记录数。若 不一致记录量 的值为 0，则表示源实例与目标实例的数据一致。此时，您无需查看或下载校验报告（校验报告无数据）。若 不...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
AnayticDB PostgreSQL版钉钉专属AI解决方案
ChatBI解决方案 ChatBI解决方案通过NL2SQL技术支持企业通过自然语言查询数据生成报表，通过钉钉IM及PC Web实现数据触达与协同。ChatBI技术架构如下图所示。ChatBI解决方案的客户价值：用自然语言随时随地，任意查询经营数据，所想及所见。...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。本案例中...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
查看Dataphin数据表校验记录
下载异常数据：单击 下载异常数据 按钮，可下载异常校验数据。② 列表区 为您展示 校验对象、规则名称、校验结果、校验范围、规则类型、规则模板、规则强度、校验开始时间。③ 操作区 单击 图标，查看 规则校验详情。单击 图标，查看 运行...
查看Dataphin数据表校验记录
下载异常数据：单击 下载异常数据 按钮，可下载异常校验数据。② 列表区 为您展示 校验对象、规则名称、校验结果、校验范围、规则类型、规则模板、规则强度、校验开始时间。③ 操作区 单击 图标，查看 规则校验详情。单击 图标，查看 运行...
客户案例
解决方案 玩物得志基于阿里云DataWorks+MaxCompute框架搭建大数据平台，使用其核心存储、计算等组件、上层可视化及业务查询能力，在开源方案的基础上进行了二次开发。解决方案架构如下。详细案例信息，请参见 玩物得志案例。互联网社交案例...
- 产品推荐
- 这些文档可能帮助您