常见问题
Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？写入OSS出现随机字符串如何去除？MySQL分库分表如何将分表同步到一张MaxCompute中。数据同步任务where条件没有索引，导致全表扫描同步变慢。目的端...
Kafka数据源
单表实时写 写入数据不支持去重，即如果任务重置位点或者Failover后再启动，会导致有重复数据写入。整库实时写 实时数据同步任务仅支持使用 独享数据集成资源组。对于源端同步表有主键的场景，同步时会使用主键值作为kafka记录的key，确保...
基本概念
但它不读取业务数据，且数据传输会进行加密压缩。更多关于DBGateway的信息，请参见 DBGateway简介。索引：索引是数据库管理系统对数据库表中一个或多个列的值进行排序的数据结构，使用索引可快速访问数据库表中的特定信息。
创建项目
由于开发和生产项目Owner都是同一个账号，请谨防通过发布任务到生产项目时，将生产项目表读写到开发项目再通过开发项目获取生产数据。业务场景二：创建仅实现查询、下载业务数据的项目 场景需求 业务单一，成员角色基本一致，后续业务不会...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
FTP Check节点
如果DataWorks读取未写入完成的数据，则可能导致读取的数据不全或读取失败。为了保证DataWorks成功读取完整的外部数据库的数据，此时，可以让其他调度系统在数据库中的数据写入任务完成后，在指定文件系统中进行文件标记（例如，生成一个....
SQL其他常见问题
新创建的MaxCompute项目不支持数据类型自动隐式转换，如何解决？查询数据时，提示XXXtypeisnotenabled incurrentmode，如何解决？SQL限制 如何处理单字段大于8 MB的限制？在执行MaxCompute SQL过程中，报错partitions exceeds the ...
22.8版本新特性概览
读取数据时不需要按照字符串进行解析和类型转换，可直接基于JSON对象进行属性的嵌套读取。动态子列的支持大大提升了JSON类型数据的存储和查询效率。根据社区官方的测试结果，新版本JSON对比老版本String整体查询效率提升了40倍左右。示例...
查看数据同步项目的详情
启动数据同步项目后，您可以在数据同步项目的详情页面查看相应项目的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。单击目标数据同步项目的名称，进入详情页面，...
数据导入方式介绍
批量可见：数据导入任务完成前数据不可见，任务完成后导入的数据批量可见。分区覆盖：通过外表导入的数据分区会覆盖表中已存在的同一分区。构建索引：通过外表导入会同步构建索引，导入任务完成则生成索引，可提升查询性能。常见使用场景 ...
配置Hologres输入组件
同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建Hologres数据源，如何创建，请参见 创建Hologres数据源。...
配置Hologres输入组件
同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建Hologres数据源，如何创建，请参见 创建Hologres数据源。...
SQL备份与回滚（公测中）
在 DMS 的SQL窗口对数据库进行变更操作时，可能会由于误更新、误删除等原因导致数据不符合预期。此时，您可以使用 DMS 的SQL备份与回滚功能，快速将数据恢复到变更前的状态。背景信息 在新交互模式下的SQL窗口进行数据变更操作时，您可选择...
配置Teradata输入组件
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行...
配置Teradata输入组件
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。前提条件 已创建Teradata数据源，如何创建，请参见 创建Teradata...
数据追踪
CreateDataTrackOrder-创建数据追踪工单 GetDataTrackJobDegree-获取数据追踪任务进度 GetDataTrackJobTableMeta-获取数据追踪表元数据信息 GetDataTrackOrderDetail-获取数据追踪工单详情 SearchDataTrackResult-搜索数据追踪日志解析结果...
导入概述
此处的有效数据不包括由于类型转换错误等数据质量问题而被过滤的数据，数据质量问题可以参见 数据导入常见问题。MySQL和HTTP协议 StarRocks提供MySQL协议和HTTP协议两种访问协议接口来提交作业。Broker Load Broker导入，即通过部署的...
添加TableStore数据源
如果某行数据的主键属于读取范围，但是该行数据不包含指定返回的列，那么返回结果中不包含该行数据。limit 数据的最大返回行数，此值必须大于0。表格存储按照正序或者逆序返回指定的最大返回行数后即结束该操作的执行，即使该区间内仍有未...
添加TableStore数据源
如果某行数据的主键属于读取范围，但是该行数据不包含指定返回的列，那么返回结果中不包含该行数据。limit 数据的最大返回行数，此值必须大于0。表格存储按照正序或者逆序返回指定的最大返回行数后即结束该操作的执行，即使该区间内仍有未...
导入概述
此处的有效数据不包括由于类型转换错误等数据质量问题而被过滤的数据。MySQL和HTTP协议 StarRocks提供MySQL协议和HTTP协议两种访问协议接口来提交作业。Broker Load Broker导入，即通过部署的Broker程序读取外部数据源（例如HDFS）中的数据...
配置数据校验
您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不一致的问题。注意事项 经典网络的数据库实例暂不支持增量数据校验功能。开启多表归并的实例暂不支持数据校验功能。运行状态...
深度解析PolarDB数据库并行查询技术
这里需要注意的是，按已有partition分配给不同worker可能会导致每个worker处理的数据不均匀，而按Round-robin模式进行轮询，如果分片设置的比较小，相对来说就比较容易做到每个worker处理的数据比较均匀。如果只是将数据读取到缓冲区中，而...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
元数据仓库共享模型标准访问方式
如果您希望保证使用最新数据并可以及时获取数据产出通知，可以创建检查任务（如PyODPS任务），并直接将检查任务配置为所有的集成任务的上游，检查任务检查到共享模型数据表更新后会变成运行成功，成功后可触发下游集成任务的调度。...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
创建三维城市
如果在 选择空间数据项目 弹窗内，没有任何已创建的空间数据项目，您可以单击弹窗右上角的 前往空间构建平台创建项目，进入空间构建平台自定义创建项目数据，详情请参见 添加项目基底数据。选中一个空间项目后，单击弹窗下方的 下一步 即可...
DataWorks OpenAPI概述
2级 UpdateMetaTableIntroWiki 调用UpdateMetaTableIntroWiki更新表的说明信息，当数据不存在时增加信息。2级 ListMetaDB 调用ListMetaDB查询数据库列表。1级 UpdateTableModelInfo 调用UpdateTableModelInfo修改表的主题、层级和物理分类...
Yonghong BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Yonghong BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目，并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具，基于...
使用数据镜像保护尚未写入完整的数据
使用场景 创建数据镜像，可确保在数据大批量写入更新期间，所有读请求从数据镜像获取数据。从而确保数据在完整写入前不会被应用程序读取到。数据镜像的读取性能与先前非镜像数据的读取性能完全保持一致。说明 数据更新完成后，可将数据正式...
FineBI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入FineBI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动，连接FineBI和MaxCompute项目，并进行可视化数据分析。背景信息 FineBI是帆...
创建三维城市场景项目
三维城市构建器项目，支持通过使用 官方基底数据 和 空间构建数据 两种方式添加多个城市基底子组件和数据映射子组件。本文介绍两种创建三维城市构建器场景的方法。使用官方基底数据方式创建 在控制台内，单击切换到 三维城市构建器 页面，...
创建三维城市场景项目
三维城市构建器项目，支持通过使用 官方基底数据 和 空间构建数据 两种方式添加多个城市基底子组件和数据映射子组件。本文介绍两种创建三维城市构建器场景的方法。使用官方基底数据方式创建 在控制台内，单击切换到 三维城市构建器 页面，...
Davinci连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Davinci，您只需在可视化UI界面上简单配置即可服务多种数据可视化应用。本文为您介绍如何通过MaxCompute JDBC驱动，连接Davinci和MaxCompute项目，并进行可视化数据分析。背景信息 Davinci是面向...
同步时源库为Db2 for LUW的注意事项及限制
如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。...
数据集成概述
数据一致性：数据集成同步仅支持at least once，不支持exact once，即不能保证数据不重复，只能依赖主键+目的端能力来保证。说明 同步任务源端和目标端字段类型需要注意精度，如果目标端字段类型最大值小于源端最大值（或最小值大于源端...
产品概述
全密态数据库如何保证数据不在云端泄漏？数据是在客户端时，用户用自己的密钥加密后发送给云数据库的。数据库无法直接接触到数据密钥，因此无法在非受信环境外解密并泄漏数据。全密态数据库如何保证密文数据还能被数据库处理？当数据需要被...
产品概述
全密态数据库如何保证数据不在云端泄漏？数据是在客户端时，用户用自己的密钥加密后发送给云数据库的。数据库无法直接接触到数据密钥，因此无法在非受信环境外解密并泄漏数据。全密态数据库如何保证密文数据还能被数据库处理？当数据需要被...
功能特性
自建MySQL同步至RDS MySQL 数据订阅 数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种...
创建数据源
项目 您可以将创建的数据源绑定到指定项目/不绑定项目。数据源绑定项目后，用户创建的数据库将自动移入项目。说明 数据库系统的内置数据库是否自动同步到项目是通过系统配置项 odc.connect.database.sync.block-internal-database 确定。该...
- 产品推荐
- 这些文档可能帮助您