魔笔中使用导入控件导入数据时，如何不把重复数据导...
问题描述 在魔笔中使用导入控件导入数据时，如何不把重复数据导进去，比如重复的身份证号、手机号等。问题原因 因为导入组件目前不支持此复杂操作。解决方案 建议您在导入数据前，先进行去重操作。在如下位置，导出为EXCEL，然后对表格进行...
不更新数据，数据重复
问题描述 Quick BI以impala数据库为数据源...问题原因 impala数据源如果没有排序的话，查询会随机返回数据，没有一定的顺序，所以会造成数据重复。解决方案 在明细表的字段中加上排序，即可正常查看数据。适用于 Quick BI impala数据源 明细表
数据集成概述
数据一致性：数据集成同步仅支持at least once，不支持exact once，即不能保证数据不重复，只能依赖主键+目的端能力来保证。说明 同步任务源端和目标端字段类型需要注意精度，如果目标端字段类型最大值小于源端最大值（或最小值大于源端...
敏感数据溯源
建议您使用数据量大于500条，并且不包含重复数据的文件进行溯源。原因二：被泄漏的数据非本租户名下的数据。解决方案：您需要确认溯源数据的来源，确保溯源的数据为本租户名下的数据。原因三：被溯源的文件中不包含水印信息。解决方案：您...
同步时源库为PolarDB-X 1.0的注意事项及限制
PolarDB-X 1.0 同步至MySQL或PolarDB MySQL版 类型 说明 源库限制 待同步的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构同步，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据；不支持二级...
常见问题
为保证DAS企业版 V1的审计明细数据“不重复、不丢失”，DAS会在迁移过程中导出DAS企业版 V1的所有数据，并通过ETL（Extract Transform Load）进行处理校验，然后再写入到DAS企业版 V3的存储引擎。迁移过程可能会持续一段时间，请耐心等待。...
PolarDB-X 1.0同步至DataHub
类型 说明 源库限制 待同步的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构同步，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据；不支持二级索引表同步。如同步对象为表级别，且需进行编辑...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB ...
注意事项 类型 说明 源库限制 待同步的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构同步，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据；不支持二级索引表同步。如同步对象为表级别，且需...
PolarDB-X 1.0同步至阿里云消息队列Kafka
注意事项 类型 说明 源库限制 待同步的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构同步，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据；不支持二级索引表同步。如同步对象为表级别，且需...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
类型 说明 源库限制 待同步的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构同步，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据；不支持二级索引表同步。如同步对象为表级别，且需进行编辑...
添加体验空间数据库
数据表创建规范：长度不超过63个字符，由小写字母、数字和下划线构成，且必须由小写字母开头。等待数据导入完成后，单击 完成，系统将自动跳转至数据表详情页。查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用...
管理数据树
数据表创建规范：长度不超过63个字符，由小写字母、数字和下划线构成，且必须由小写字母开头。等待数据导入完成后，单击 完成，系统将自动跳转至数据表详情页。查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用...
公共规范
层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他层提供数据服务。应用层需要积极配合...
云数据库MongoDB版迁移至云原生多模数据库Lindorm
待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为集合级别，且需进行编辑（如集合的名称映射），则单次迁移任务仅支持迁移至多1000个集合。当超出数量限制，任务提交后会显示...
云数据库MongoDB版同步至云原生多模数据库Lindorm
待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象的粒度为集合，且需进行编辑（如集合的名称映射），则单次同步任务最多支持同步1000个集合。当超出数量限制，任务提交后会显示...
事务隔离
不可重复读 一个事务重新读取之前读取过的数据，发现该数据已经被另一个事务（在初始读之后提交）修改。幻读 一个事务重新执行一个返回符合一个搜索条件的行集合的查询，发现满足条件的行集合因为另一个最近提交的事务而发生了改变。序列化...
创建同步ADS
HostADS服务地址，请务必填写 内网地址 以确保服务联通性 导入字段DataHub可以根据用户设置将部分column内容同步到ADS中 写入模式包括IGNORE和OVERWRITE两种模式 IGNORE:忽略重复数据，即 INSERT IGNORE INTO 写入 OVERWRITE:更新重复数据...
创建同步RDS/MySQL/ADS3.0
HostRDS服务地址，请务必填写 内网地址 以确保服务联通性 导入字段DataHub可以根据用户设置将部分column内容同步到RDS表中 写入模式包括IGNORE和OVERWRITE两种模式 IGNORE:忽略重复数据，即 INSERT IGNORE INTO 写入 OVERWRITE:更新重复...
补数据任务概述
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据，减少重复配置的繁琐性。更多信息，请参见 查看并管理手动运行补数据任务。补数据任务页面入口 请参见 运维中心入口，...
补数据任务概述
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据，减少重复配置的繁琐性。更多信息，请参见 查看并管理手动运行补数据任务。补数据任务页面入口 请参见 运维中心入口，...
如何使用DataV Proxy
参数 说明 id 数据源的ID，自定义，不可重复。host 数据库所在服务器的IP地址或域名。以RDS MySQL为例，此处需要填写RDS MySQL实例的 外网地址，可在实例的 基本信息 页面获取，例如 rm-bp1xxxxxxxxxxxxxhmo.mysql.rds.aliyuncs.com 。user...
新建标签
标签日期 选择选择重复周期时，若选择 不重复 或按 年 重复时，您需填写该参数：不重复：请输入YYYY-MM-DD格式，多个日期请换行符分隔；可输入范围为1900-01-01至2072-12-31，超出范围的日期不生效，最多输入100个日期。年：请输入MM-DD...
新建标签
标签日期 选择选择重复周期时，若选择 不重复 或按 年 重复时，您需填写该参数：不重复：请输入YYYY-MM-DD格式，多个日期请换行符分隔；可输入范围为1900-01-01至2072-12-31，超出范围的日期不生效，最多输入100个日期。年：请输入MM-DD...
使用限制
SQL及脚本的幂等性 说明 SQL脚本幂等性是指一条SQL语句或一组SQL语句，无论执行多少次，其结果都是一致的，不会因为重复执行而导致数据不一致。为保证数据的正确性，建议您在编写SQL及脚本时使用具有幂等性的操作语句，如 insert overwrite...
修改日期类型
标签日期 选择重复周期时，若选择 不重复 或按 年 重复时，您需填写该参数：不重复：请输入YYYY-MM-DD格式，多个日期请换行符分隔；可输入范围为1900-01-01至2072-12-31，超出范围的日期不生效，最多输入100个日期。年：请输入MM-DD格式，...
修改日期类型
标签日期 选择重复周期时，若选择 不重复 或按 年 重复时，您需填写该参数：不重复：请输入YYYY-MM-DD格式，多个日期请换行符分隔；可输入范围为1900-01-01至2072-12-31，超出范围的日期不生效，最多输入100个日期。年：请输入MM-DD格式，...
创建数据库
不能和已有的数据库名称重复。不支持特殊字符test。支持字符集 可以选择的字符集为 utf8、gbk、latin1 或 utf8mb4。授权账号 选中需要访问本数据库的目标账号。说明 可选的授权账号全部为普通账号，因为高权限账号拥有所有数据库的所有权限...
观远BI连接MaxCompute
如果选择Guan-index，可以设置一个去重主键，去除重复数据。缓存有效周期 手工更新：需要用户在新建卡片后手动进行数据刷新。每天：可以设置每天更新时间点，可以精确到时分级别。每周：可以设置每周几进行更新，可以精确到时分级别。每月...
升级数据库大版本
升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份数据恢复至自建数据库。如何将备份数据恢复至自建数据库，请参见 逻辑备份恢复至自建数据库 或 将MongoDB物理备份文件恢复至自建...
敏感数据保护
生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因，需要将生产环境的数据写入开发环境时，为了保护敏感数据不泄露，数据在写入的过程中，就会自动按照配置的脱敏规则脱敏，从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...
敏感数据保护
生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因，需要将生产环境的数据写入开发环境时，为了保护敏感数据不泄露，数据在写入的过程中，就会自动按照配置的脱敏规则脱敏，从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...
MongoDB 4.4
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 5.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
FineBI
数据库与BI数据不同步 处理方法：更多详情，请参见 数据库与 BI 数据不同步。更新数据后没有结果 处理方法：单行没有结果可能是该行的计算结果为null；若整列没有结果，如果是列上有函数，可能是该函数在 AnalyticDB MySQL版 中不兼容，请...
迁移MongoDB实例至其他地域
如果选择屏蔽告警检查项，可能会导致数据不一致等问题，给业务带来风险。预检查通过后，单击 下一步。在 购买配置确认 页面，选择 链路规格，并勾选 数据传输（按量付费）服务条款。单击 立即购买并启动，迁移任务正式开始。查看迁移任务...
产品概述
全密态数据库如何保证数据不在云端泄漏？数据是在客户端时，用户用自己的密钥加密后发送给云数据库的。数据库无法直接接触到数据密钥，因此无法在非受信环境外解密并泄漏数据。全密态数据库如何保证密文数据还能被数据库处理？当数据需要被...
迁移MongoDB实例至其他地域
如果选择屏蔽告警检查项，可能会导致数据不一致等问题，给业务带来风险。预检查通过后，单击 下一步。在 购买配置确认 页面，选择 链路规格，并勾选 数据传输（按量付费）服务条款。单击 立即购买并启动，迁移任务正式开始。查看迁移任务...
产品概述
全密态数据库如何保证数据不在云端泄漏？数据是在客户端时，用户用自己的密钥加密后发送给云数据库的。数据库无法直接接触到数据密钥，因此无法在非受信环境外解密并泄漏数据。全密态数据库如何保证密文数据还能被数据库处理？当数据需要被...
冷数据归档常见问题
目前，归档后的冷数据不支持删除，如需删除，请前往 配额中心，根据配额ID polardb_delete_oss_data/polardb_delete_oss_data 找到配额名称，在对应的操作列单击 申请 来开通删除功能。自动归档数据如何触发？目前自动归档数据通过event的...
- 产品推荐
- 这些文档可能帮助您