DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
通过DataWorks数据集成迁移日志数据至MaxCompute
日志开始时间 数据消费的开始时间位点，为时间范围（左闭右开）的左边界，为 yyyyMMddHHmmss 格式的时间字符串（例如 20180111013000）。该参数可以和DataWorks的调度时间参数配合使用。日志结束时间 数据消费的结束时间位点，为时间范围...
迁移或同步指定时间段内的数据
实时数据复制 重要 实时数据复制是通过WAL日志（Write-Ahead Log）进行同步的，因此只能同步系统当前日志中的数据，例如设置同步的开始时间为3天前，而WAL日志只涵盖了1天前的数据，那么实时数据复制只能同步1天前的数据。历史数据的同步...
日志服务通过数据集成投递数据
日志开始时间 数据消费的开始时间位点，为时间范围（左闭右开）的左边界，为 yyyyMMddHHmmss 格式的时间字符串（例如 20180111013000）。该参数可以和DataWorks的调度时间参数配合使用。日志结束时间 数据消费的结束时间位点，为时间范围...
创建导出任务
投递时间 从什么时间开始数据投递（小于该时间范围的数据不会被投递）。说明 度量（metric）不存在时会自动创建 SLS日志导入到TSDB时，时间点映射决定了数据点的时间戳（Timestamp）字段，默认情况下，value取值为SLS 日志记录的时间戳（${...
修改导出任务
投递时间 从什么时间开始数据投递（小于该时间范围的数据不会被投递）。说明 度量（metric）不存在时会自动创建 SLS日志导入到TSDB时，时间点映射决定了数据点的时间戳（Timestamp）字段，默认情况下，value取值为SLS 日志记录的时间戳（${...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
ExploreHiTSDBInstanceData
返回参数 名称 类型 描述 Metric List 数据 metric Start String 数据查询开始时间，毫秒值 End String 数据查询结束时间，毫秒值 TimeLines List 数据列表 Tags List 数据 tag 列表 TagKey String 数据 tag key TagValue String 数据 tag ...
查看数据源校验记录
开始结束时间 数据源校验的开始时间和结束时间。数据源类型 数据源的存储类型。用途 数据源用于处理任务的类型。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 数据源校验记录详情。单击 图标，可进入查看质量报告页面。在...
查看数据源校验记录
开始结束时间 数据源校验的开始时间和结束时间。数据源类型 数据源的存储类型。用途 数据源用于处理任务的类型。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 数据源校验记录详情。单击 图标，可进入查看质量报告页面。在...
查看全域数据表校验记录
开始结束时间 数据表校验的开始时间和结束时间。数据源类型 质量规则校验的数据表类型。数据源名称 质量规则校验的数据表名称。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 全域数据表校验记录详情。单击 图标，可进入查看...
查看全域数据表校验记录
开始结束时间 数据表校验的开始时间和结束时间。数据源类型 质量规则校验的数据表类型。数据源名称 质量规则校验的数据表名称。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 全域数据表校验记录详情。单击 图标，可进入查看...
查看Dataphin数据表校验记录
开始结束时间 数据表校验的开始时间和结束时间。表类型 质量规则校验的数据表类型。数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。...
查看Dataphin数据表校验记录
开始结束时间 数据表校验的开始时间和结束时间。表类型 质量规则校验的数据表类型。数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。...
Kafka增量数据同步至MaxCompute
典型场景 推荐配置 场景示例说明 同步任务每5分钟调度一次 调度周期：分钟 开始时间：00:00 时间间隔：05分钟 结束时间：23:59 无 同步任务每小时调度一次 调度周期：小时 开始时间：00:15 时间间隔：1小时 结束时间：23:59 开始时间设置...
Kafka增量数据同步至MaxCompute
典型场景 推荐配置 场景示例说明 同步任务每5分钟调度一次 调度周期：分钟 开始时间：00:00 时间间隔：05分钟 结束时间：23:59 无 同步任务每小时调度一次 调度周期：小时 开始时间：00:15 时间间隔：1小时 结束时间：23:59 开始时间设置...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
Kafka数据源
常见问题 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？附录：脚本Demo与参数说明 附录：...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
应用场景
物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
名词解释
背景信息 时间序列数据库 TSDB：英文全称为 Time Series Database，提供高效存取时序数据和统计分析功能的数据管理系统。时序数据（Time Series Data）：基于稳定频率持续产生的一系列指标监测数据。例如，监测某城市的空气质量时，每秒...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
- 产品推荐
- 这些文档可能帮助您