什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
添加入库任务
入库后，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等数据中台任务。本文主要介绍如何添加入库任务。前提条件 已添加文件类矢量数据，具体操作，请参见 添加文件类...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
新零售：特步
业务架构 客户价值 基于 PolarDB-X+RDS的分布式数据库解决方案+业务中台提升客户数据链路的时效性以及客户业务系统的吞吐能力，使订单、库存、商品、销售的数据能实时从业务端到业务中台再到报表系统做销售业务决策。基于 PolarDB-X+RDS的...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
数据管理DMS中服务器监控数据的采集频率
本文对数据管理控制台中服务器监控数据刷新频率进行说明。通过“登录服务器”，进入到服务器管理界面，“实时监控”显示的数据，是每隔5秒左右获取一次数据，如下图。关闭、退出服务器管理界面，会自动停止“实时监控”数据的采集。数据...
C100售后支持相关问题
说明 如果服务器与数据库审计系统之间的网络无法连通，则一个数据库审计实例只能对一台服务器中的数据库进行审计。示例三，您在阿里云账号A下有5台服务器，阿里云账号B下也有5台服务器。您只需连通每台服务器与数据库审计系统之间的网络，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
数据库管理常见问题
删除数据库的操作是在后台异步执行的，如果数据库较大，删除可能需要一定的时间。如果经过较长时间仍未删除成功，可能是因为存在MDL锁导致删除操作被阻塞或删除失败，排查方法请参考 查看DDL执行状态和MDL锁状态。集群存在某个数据库，为...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
查看与减少数据备份
本文介绍如何在DBS中查看备份数据大小，同时提供减少备份的方法。查看备份大小 备份大小=全量数据备份的大小+增量数据备份的大小 登录 DBS控制台。单击左侧导航栏中的 备份计划，然后在上方选择目标地域。单击目标备份计划名称，进入 备份...
解决SQL Server实例空间满自动锁的问题
问题描述 SQL Server实例可能会由于SQL语句、外部攻击等原因导致实例空间满，为避免数据丢失，RDS会对实例进行自动锁定，磁盘锁定之后，将无法进行写入操作。当实例由于实例空间满自动锁定时，可在控制台查看的运行状态。问题原因 造成SQL ...
解决SQL Server实例空间满自动锁的问题
问题描述 SQL Server实例可能会由于SQL语句、外部攻击等原因导致实例空间满，为避免数据丢失，RDS会对实例进行自动锁定，磁盘锁定之后，将无法进行写入操作。当实例由于实例空间满自动锁定时，可在控制台查看的运行状态。问题原因 造成SQL ...
规格及选型
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
- 产品推荐
- 这些文档可能帮助您