限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
产品概述
DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色，搭配强大的低代码可视化搭建编排能力，可以高效、低成本地完成可视化大屏、PC数据看板、移动端报表等各类数据可视化应用的搭建，并集成到您的业务系统中。...
购买指引
其他产品计费：大数据引擎的计算与存储等费用不包含在DataWorks的费用中，例如，您还开通使用了 MaxCompute、Hologres、E-MapReduce 等计算引擎或存储产品，这类产品的费用需参考对应产品的计费逻辑。进入 DataWorks售卖页 即可购买所需...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
聚合支付：Ping+
业务架构 建议及诉求 因存在历史数据，期望可以将几年前的冷数据进行归档，期望 PolarDB-X 提供数据冷热存储的能力。后续规划 后续其他核心业务及产品线也将使用 PolarDB-X。在Ping+业务高速发展的发展过程中，支付核心交易系统商户订单的...
离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
客户案例
唐家才 网商银行 CTO“网商银行选择 OceanBase 三地五中心部署架构，不仅在数据上从具备抵御同城机房故障提升到具备异地城市容灾的能力，同时内置的多租户隔离的能力，满足全行多应用系统的管理与使用需求，让应用系统多活架构设计上变的...
基本介绍
与云原生多模数据库Lindorm的关系 云原生多模数据库Lindorm是阿里巴巴自主研发的多模型数据库，云数据库HBase增强版的内核由 云原生多模数据库Lindorm宽表引擎 提供，为了获取更新、更完善的能力，推荐直接使用云原生多模数据库Lindorm。...
计费逻辑说明
软件费用明细：增强分析 资源费用 数据集成 数据集成提供异构数据源间的数据同步能力，数据集成任务运行会占用一定的运行资源，DataWorks将根据您使用的资源进行收费。资源费用明细：数据集成 任务调度 在DataWorks进行数据开发、定时任务...
功能特性
本文将向您介绍DataV可视分析地图的功能特性，其中包括快速显示分析海量时空数据的能力、丰富多样的地图可视分析组件等。海量时空数据的快显分析能力 快速时空数据分析能力能够处理海量数据，并支持对千万级矢量数据进行可视化分析，帮助...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
PyODPS概述
整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用DataWorks节点的用户来说，很容易因为超过默认分配的内存值而导致OOM运行报错。高效处理代码demo from odps.df import ...
负载说明
DBGateway按照TCP/IP协议解析抓取的网络数据包，过滤其他端口的数据包，只对流入MySQL端口的数据包进行分析。流入MySQL端口的数据包按照MySQL通讯协议拼成完整的SQL。DBGateway将多条SQL打包压缩后，加密上传到DAS的存储集群中。负载说明 ...
数据变更最佳实践
建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入延迟相对会高一些。写入报错时，需要做重试确保数据被写入，重试导致的数据重复...
购买数据安全中心
阿里云 数据安全中心DSC（Data Security Center）为您提供以数据为中心视角的安全风险治理能力，包括数据梳理、数据脱敏、数据风险审计等。本文介绍如何购买 DSC 服务。购买指导视频 支持的地域和数据库类型 购买数据安全中心前，您需要先...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户...，赋能技术团队具备大数据平台建设、架构设计、AI算法建模以及运维保障能力...
数据备份与恢复
数据备份和恢复是数据库必不可少的能力，PolarDB-X 提供不同粒度的数据恢复能力，包括实例级的一致性备份恢复能力、表级的表回收站能力、SQL级的SQL闪回能力等。一致性备份恢复 一致性备份恢复提供实例级任意时间点（精确到秒级）的历史...
面临的业务挑战
数据散乱不一致 传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量...
2021年
创建了物化视图后，执行查询操作时，MaxCompute SQL查询改写能力会自动匹配到最优物化视图，并直接从物化视图中读取数据，从而大大提高查询效率，您不需要修改已有查询。2021-08-06 全部地域 物化视图操作 2021-07 功能名称 功能描述 发布...
概览
若数据量较大，推荐购买存储包进行抵扣，更划算。详情请参见 搭配存储包。不同购买方式的选择示例 示例场景说明：集群的地域为中国内地地域。4核16 GB（双节点）：使用330天。1个4核16 GB节点每小时需要消耗的计算量为0.04度。期间增加1个4...
概览
若数据量较大，推荐购买存储包进行抵扣，更划算。详情请参见 搭配存储包。不同计费方式的选择示例 示例场景说明：集群的地域为中国内地地域。4核16 GB（双节点）：使用330天。1个4核16 GB节点每小时需要消耗的计算量为0.04度。期间增加1个4...
数据集成概述
Dataphin升级了数据集成的能力，旨在为您构建简单高效、安全可靠的数据同步平台：支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据集成的效率，详情请参见 通过整库迁移...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供...缺少高频率、低延迟的修改或删除已存在数据的能力。仅能用于批量删除或修改数据。
概览
若数据量较大，推荐购买存储包进行抵扣，更划算。详情请参见 搭配存储包。不同计费方式的选择示例 示例场景说明：以 PolarDB MySQL版 集群版 为例进行说明。集群的地域为中国内地地域。4核16 GB（独享规格 双节点）：使用330天。1个4核16 ...
创建Hologres数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至当前Hologres数据源，或将当前Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步解决...
创建AnalyticDB for PostgreSQL数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力，您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源，或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...
产品系列
支持 支持（单机版不支持）不支持 分时弹性 支持 支持（单机版不支持）不支持 按需弹性 支持 不支持 不支持 冷热数据分层-支持 支持 不支持 数据接入 数据实时接入 支持 不支持 不支持 元数据自动发现 支持 不支持 不支持 作业开发 SQL作业...
血缘查看
使用DataWorks数据地图查看表或数据服务API时，可在对应的详情页面查看详细的血缘信息，这对于数据溯源及管理有很大帮助，本文为您介绍数据地图的血缘查看能力。表血缘 查找某张表并进入表详情页面后，您可以单击 血缘信息 页签，查看表级...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
2023年
此功能对应MaxCompute管理控制台的 配额（Quota）管理，配额（Quota）管理 已经全部覆盖原有能力，同时还支持了预留弹性能力，支持数据传输独享Quota的管理等，交互体验上也有了很大的提升，详情请参见 项目管理（新版）。作业运维：运维...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
- 产品推荐
- 这些文档可能帮助您