计算层高可用
同时对于interactive模式下本身目标在于延迟敏感的分析场景，目前对于计算节点异常宕机的场景，计算引擎会通过查询级别重算，保证查询稳定性。Batch模式 对于类似ETL等数据清洗任务，这类任务计算时间长，计算资源消耗大，如果依然查询级别...
应用评估
迁移分组是一个迁移单位的最小子集，即迁移任何一个迁移分组不会影响到其他迁移分组外的数据依赖。说明 应用之间调用关系不在考虑范围。迁移评分：ADAM对迁移与改造难度进行的量化打分，分数越高说明迁移改部分的应用改造成本越低。说明 ...
调度依赖配置指引
方式一：自定义依赖关系 若DataWorks上任务间不存在强血缘依赖（例如，不强依赖上游某个分区数据，仅取上游当前时间点最大分区数据），或依赖的数据非周期调度节点产出的表数据（例如，本地上传的表数据），则您可自定义节点的依赖关系。...
数据库画像
外部依赖 提供DBLink列表和详情信息，对于包含外部依赖的数据库，改造时需要考虑跨库查询问题。其他维度 ADAM对特殊类型的表和SQL进行识别分析，例如：无主键表，高增长表，带聚合函数SQL等。单击 查看，查看对象的详细信息。对象详情 提供...
SQL结果集导出
该实例下的数据库包含您待导出的数据。录入实例的具体操作，请参见 云数据库录入、他云/自建数据库录入。注意事项 SQL结果集导出功能在免费导出数据的行数、单次导出表容量等方面受限于管控模式。更多信息，请参见 各管控模式支持的功能。...
主备方案介绍
故障自动容错原理：单机宕机和集群宕机测试结果如下。以下是单机宕机吞吐对比图和单机宕机平均响应对比图。以下是集群宕机吞吐对比图和集群宕机平均响应对比图。主备容灾原理介绍 当云数据库HBase实例因不可预料的原因（例如设备故障、机房...
告警规则指标说明
JVM实例数 无 是 当前实时运行的Java虚拟机实例数量，常用于服务宕机告警配置。节点机发送的字节数 无 不是 节点机通过网络连接发送的数据量，其中包括应用程序发送的数据、系统消息和错误信息等。节点机发送的报文数 无 不是 节点机通过...
接入阿里云ECS自建数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。集中模式接入 登录 DAS控制台。在控制台首页的 热荐功能 区域单击 快速实例接入。单击...
使用SDK示例代码消费订阅数据
消费订阅速度变慢 无 通过查询统计信息中的参数 DStoreRecordQueue 和 DefaultUserRecordQueue 队列的大小，分析消费数据变慢的原因。查询方式，请参见 消费数据的统计信息。如参数 DStoreRecordQueue 保持为0，则表示DTS服务器拉取数据...
使用SDK示例代码消费订阅数据
消费订阅速度变慢 无 可通过查询统计信息中的参数 DStoreRecordQueue 和 DefaultUserRecordQueue 队列的大小，分析消费数据变慢的原因。查询方式，请参见 消费数据的统计信息。如参数 DStoreRecordQueue 保持为0，则表示DTS服务器拉取数据...
接入其他自建或其他云厂商数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。主机模式接入 登录 DAS控制台。DAS控制台首页的 热荐功能 区域单击 快速实例接入。...
pg_dump
示例 执行以下命令，将名称为 mydb 的数据库备份到SQL脚本文件中：pg_dump mydb>db.sql 执行以下命令，将SQL脚本重新加载到名称为 newdb 的（新创建的）数据库中：psql-d newdb-f db.sql 执行以下命令，将数据库备份到自定义格式的存档文件...
PolarDB-X 2.0和1.0功能对比
高可用切换 存储层宕机切换，依赖MySQL主备的HA探活机制，切换的SLA在分钟级别。存储层宕机切换，依赖Paxos多数派共识协议，切换的SLA≤30秒。计算层感知存储发生切换，依赖于RDS MySQL的连接主动断开，切换的SLA在分钟级别。计算层感知...
Streaming SQL作业配置
以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，建议使用最新版本。库名称 版本 发布日期 引用字符串 详细信息 datasources-bundle 2.0.0（推荐）2020/02/26 sharedlibs:streamingsql:datasources-bundle:2.0.0 ...
如何处理Tair集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
如何处理Redis集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
实时物化视图
实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化视图的数据始终和依赖表的数据保持一致。...
实时物化视图
实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化视图的数据始终和依赖表的数据保持一致。...
实时物化视图
实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化视图的数据始终和依赖表的数据保持一致。...
预检查常见问题
原因 目标库中未安装迁移对象依赖的数据库插件。软件版数据库可能由于内核原因出现校验不准确的现象，以现场查询结果为准。解决方案 使用创建迁移计划时填入的目标库高权限账号登录目标数据库。执行安装缺失插件的SQL语句。例如，在 Schema...
删除或变更节点输出的影响
示例：上游产出表变更，导致下游依赖丢失 示例 Node_A 产出表A数据，下游节点 Node_B 需对表A的数据进行加工，自动解析将为 Node_B 挂载依赖上游节点 Node_A。当业务变更，表A数据变更为由 Node_C 产出，此时，自动解析将重新为下游 Node_B...
数据模型架构规范
将高概率同时访问的数据放一起，将低概率同时访问的数据分开存储。核心模型与扩展模型分离 建立核心模型与扩展模型体系，核心模型包括的字段支持常用核心的业务，扩展模型包括的字段支持个性化或是少量应用的需要。在必须让核心模型与扩展...
数据倾斜诊断
您也可以添加过滤条件，查看指定Schema或指定表的数据倾斜情况，查询语句如下：查看指定Schema下所有表的数据倾斜情况：SELECT*FROM adbpg_toolkit.diag_skew_tables WHERE schema_name='名称>';查看指定表的数据倾斜情况：SELECT*FROM ...
配置任务调度
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在相应的业务流程下，双击打开离线同步节点 write_result 的编辑页面。单击编辑页面右侧导航栏的 ...
可用性与可靠性
异常时自动切换节点，宕机时自恢复来保证极致的可用性，还可以通过备份恢复来进行数据恢复。主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也...
DLF数据探索快速入门-淘宝用户行为分析
数据说明 本次测试的数据集来自阿里云天池比赛中使用的淘宝用户行为数据集，为了提高性能，我们做了一定的裁剪。数据集中以csv的格式存储了用户行为及商品样例数据。淘宝用户行为数据集介绍：...
导入数据
原因类别 根据实际情况选择数据导入的原因。业务背景 详细填写本次操作的业务背景，减少沟通成本。执行方式 根据需求，选择工单执行方式：审批通过后，提交者执行。审批通过后，自动执行。最后一个审批人执行。文件编码 选择数据库的文件...
数据开发：开发者
背景信息 DataWorks的数据开发（DataStudio）面向各引擎（MaxCompute、Hologres、EMR、CDH等）提供可视化开发界面，包括智能代码开发、数据清洗加工、规范化任务开发与发布等，保证数据开发的高效与稳定。更多数据开发模块的使用，详情请...
通过向导模式配置离线同步任务
离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已...
数据分析整体趋势
市场趋势 数据规模高速增长（全球2010-2025年复合增长达到27%，中国则大于30%）带来了强劲的数据分析需求。据Gartner统计，到2025年实时数据占比达30%，其中非结构数据占比达80%，同时数据存储云上规模达45%，而云上数据库规模可达75%。从...
MongoDB 6.0新特性概览
变更流可以让业务更容易地实时获取数据库的变更，并基于此构建各种事件驱动型的应用或系统，不再需要依赖其他的数据同步中间件。变更流的功能更新记录如下：版本 更新说明 MongoDB 3.6 首次发布。仅支持订阅集合（Collection）维度。events...
MyBase与自建数据库对比优势
MyBase与自建数据库对比 数据库特性 云数据库专属集群MyBase 自建数据库 高可用 提供高可用性保障，宕机自动切换、修复。需要单独购买高可用系统。资源超配 提供CPU、内存、硬盘超配，突破主机固有资源限制，在合理的资源超配上有效降低...
新建 MySQL 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Database Name MySQL 数据库的名称。说明 如果您配置了 Database Name，当数据源作为源端时，数据迁移项目仅支持选择指定 Database Name 下的迁移对象。备注 数据源的...
新建 Oracle 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Schema Name Oracle 数据库的 Schema 名称。说明 如果您配置了 Schema Name，当数据源作为源端时，数据迁移或数据同步项目仅支持选择指定 Schema Name 下的迁移或同步...
产品服务等级协议
数据同步模块中由于源端数据库或目的端数据库自身原因导致的；数据同步模块中，由于源端数据库或者目的端数据库用户名、密码修改后，客户未及时在数据资源平台侧更新配置导致的等；（4）客户的应用程序或数据信息受到黑客攻击而引起的；（5...
产品优势
不支持 MTTR 深度优化，宕机恢复速度是开源HBase的10倍。不支持 多租户 认证与ACL 支持易用的账号密码认证和ACL管理，请参见 用户和ACL权限管理。较复杂 资源隔离 支持RS Group功能，实现租户间的资源物理隔离。不支持 运维诊断 运维工具 ...
查询结果不符合预期的常见原因
只要写入过程中没有出现报错，相应的数据一定会写入成功，即使遇到机器宕机等情况，都可以通过恢复WAL的方式恢复数据，保障数据的持久性，不会出现数据写入后非预期不可见的情况。但是由于宽表引擎的特性比较多，例如数据版本号、时间戳、...
强一致分布式事务
如果事务内写入的数据涉及多个分区，PolarDB-X 的计算节点将会使用两阶段提交（Two-phase Commit Protocol，简称2PC）方式提交事务，即便在事务提交过程中发生节点宕机等问题，基于2PC的事务恢复机制也能确保事务原子性。MVCC多版本 以上面...
离线同步数据质量排查
这些Task以单机或者多机的方式并发执行，每个Task读取一个数据区间内的数据，多个Task最终完成整体的数据同步业务。说明 在数据同步过程中，涉及到读插件Reader，写插件Writer。Reader插件连接具体的数据源头读取数据，并将数据放到内部...
- 产品推荐
- 这些文档可能帮助您