客户端FAQ
常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文数据，例如 getInt/getBigDecimal/getBoolean/getLong/getFloat/getDouble，由于密文不符合普通数据类型格式要求...
补数据
为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据，但是没有生成补数据实例？周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以...
实时同步常见问题
parse.exception.PositionNotFoundException:can't find start position forxxx 实时同步Hologres数据报错：permission denied for database xxx 实时同步至MaxCompute数据报错：ODPS-0410051:invalid credentials-accessKeyid not found ...
问题汇总
为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据，但是没有生成补数据实例？等待资源 为什么会出现等待资源？为什么任务一直在等待gateway调度资源？为什么数据集成任务一直显示wait？为什么会空跑 ...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。...前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。...已开启MySQL Binlog服务，详情请参见 开启MySQL Binlog。...实时同步MySQL数据报错
DML操作常见问题
向MaxCompute表中插入FLOAT类型的数据报错，如何解决？对相同数据执行INSERT SELECT操作和SELECT操作的结果为什么不一致？目标表的字段类型为VARCHAR(10)，插入数据溢出时会报错吗？在执行MaxCompute SQL过程中，报错Transaction timeout ...
数据集成调度策略说明
源表不能存在外键约束，否则可能导致数据迁移失败（可能在目标库中先更新有外键约束的子表，后更新附表，导致子表插入新数据报错）。无法迁移被物理删除的数据（例如通过DELETE、TRUNCATE命令删除）。说明 如果存在无主键的表，DTS会将整条...
常见问题概览
为什么副本集实例写入数据报错：NotMaster、NotWritablePrimary或Time out after 30000ms while waiting for a server that matches writableServerSelector？数据安全 热点问题 其他常见问题 白名单分组名称及来源说明 云数据库MongoDB版...
连接失败常见报错
为什么副本集实例写入数据报错：NotMaster、NotWritablePrimary或Time out after 30000ms while waiting for a server that matches writableServerSelector？reason:TopologyDescription { type:'ReplicaSetNoPrimary',当前连接的副本集...
离线同步常见问题
读取PostgreSQL数据报错：org.postgresql.util.PSQLException:FATAL:terminating connection due to conflict with recovery 写入/读取MySQL报错：Application was streaming results when the connection failed.Consider raising value ...
构建数据仓库
用户的应用场景复杂，对非结构化的语音、自然语言文本进行语音识别、语义分析、情感分析等，同时融合结构化数据搭建企业级的数据管理平台，并且计算和存储成本最低。平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI...
常见问题
非插件报错原因及解决方案 如何处理编码格式设置/乱码问题导致的脏数据报错？任务存在SSRF攻击Task have SSRF attacks如何处理？离线同步任务执行偶尔成功偶尔失败。离线同步源表有加列（修改）如何处理？如何处理表列名有关键字导致同步...
开通DataV服务
本文为您介绍开通DataV服务的方法。操作步骤 登录 DataV控制台。阅读相关协议，并选中 同意使用协议，单击 立即开通。...后续步骤 购买成功后，可进入DataV数据可视化控制台，使用 模板搭建数据看板 或者 空白画布搭建数据看板。
Tunnel命令常见问题
使用Tunnel Upload命令上传数据报错，是否有类似MySQL的-f参数，可以强制跳过错误数据继续进行上传？使用Tunnel Upload命令上传数据时，报错You cannot complete the specified operation under the current upload or download status，...
可视分析创作间和传统BI软件差异比较
预定义的报告 需要行业数据经验专家，搭建数据报表 分析过程需要理解：维度、度量、数据类型等统计知识 可视化数据的图表配置也需要专业数据分析人员支持 支持二次分析 不支持二次分析 数据分析结果 数据集产生的所有见解，提炼在数据...
从这里开始
DataV旨在让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的数据看板，满足您会议展览、业务监控、风险预警和地理信息分析等多种业务的展示需求...开通DataV服务 模板搭建数据看板 空白画布搭建数据看板
准备工作
本文为您介绍在使用空白画布搭建数据看板前，需要完成的准备工作。准备内容 已开通DataV服务。已确定最终效果图样式。已根据效果图计算出需要添加的组件名称和数量。开通DataV服务 请参见 开通DataV服务。数据看板-最终效果图 数据看板-...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
RDS与自建数据库对比优势
云数据库RDS提供高可用、高可靠、高安全、可扩展的托管数据库服务，在性能等同于商业数据库的同时，其价格相比ECS自建数据库和自购服务器搭建数据库更加低廉，能够节约大量部署及维护成本。价格对比 费用 云数据库RDS ECS自建数据库 自购...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
使用限制
搭建数据库复制 提供主备复制架构，其中的备（slave）实例不对用户开放，用户应用不能直接访问。重启RDS实例 必须通过控制台或API重启实例。实例数量 按量付费实例数量限制为30个。您可以前往 配额中心 申请提升配额。
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
数据建模
Excel导入：支持将Excel里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。Excel导出：支持将数据模型设计模块中的逻辑表及信息以Excel的形式导出，并提供按全量模型与按查询条件的方式进行导出。...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
功能简介
Excel导入：支持将Excel里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。Excel导出：支持将数据模型设计模块中的逻辑表及信息以Excel的形式导出，并提供按全量模型与按查询条件的方式进行导出。...
自建数据库与RDS性能对比的注意事项
您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它完全由阿里云托管，而且有完备的安全、备份、恢复、扩容、性能优化等机制，您无需执行各种安全措施（如搭建备库）和维护工作，只需专注于业务的发展和创新。关于自...
自建数据库与RDS性能对比的注意事项
您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它完全由阿里云托管，而且有完备的安全、备份、恢复、扩容、性能优化等机制，您无需执行各种安全措施（如搭建备库）和维护工作，只需专注于业务的发展和创新。关于自...
自建数据库与RDS性能对比的注意事项
您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它完全由阿里云托管，而且有完备的安全、备份、恢复、扩容、性能优化等机制，您无需执行各种安全措施（如搭建备库）和维护工作，只需专注于业务的发展和创新。关于自...
功能简介
Excel导入：支持将Excel里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。Excel导出：支持将数据模型设计模块中的逻辑表及信息以Excel的形式导出，并提供按全量模型与按查询条件的方式进行导出。...
操作流程
通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。具体操作，请参见 通过Excel导入逻辑表。配置逻辑表关联标准字段 通过关联数据标准中的标准字段，实现字段值的统一和...
操作流程
通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。具体操作，请参见 通过Excel导入逻辑表。配置逻辑表关联标准字段 通过关联数据标准中的标准字段，实现字段值的统一和...
什么是数据资源平台
解决方案：对数据资源平台中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产进行导入导出，便于在不同环境中快速搭建数据治理工作的初始化。运营 资产注册：支持平台侧需管理的数据表资产自动化注册...
客户案例
客户需求 通过DataWorks+MaxCompute搭建数据中台，打破数据孤岛。通过Realtime Compute+MaxCompute交互式分析（Hologres）提升数据中台实时性。通过DataWorks进行全链路数据治理，提升数据质量与应用能力。价值体现 打造B2B智慧营销系统，...
图扑案例
现有解决方案中，通常依赖自建单ElasticSearch检索引擎或OpenTSDB、Prometheus等时序引擎搭建数据存储，而采集数据类型多样化使得单模引擎存储方案技术复杂且运维成本高，市场需要新一代云原生且具备多模检索能力的存储系统。某著名IT咨询...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
概述
但RDS、PolarDB for MySQL、MongoDB或者ECS自建数据库的计算能力有限，如果直接使用RDS、PolarDB for MySQL、MongoDB或者ECS自建数据库搭建数据仓库，会占用线上业务的计算资源从而会影响业务的运行。如果使用自建开源大数据生态体系，例如...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
备份集查询功能概览
搭建离线数据仓库：您可以将DBS备份数据作为数据湖存储，搭建离线数据仓库，实现湖仓一体，挖掘数据价值。应对审计需求：全量备份数据保存在DBS中，若有临时审计需求，可以快速过滤出需要的数据进行审计分析。快速定位数据：库-表-分区的新...
- 产品推荐
- 这些文档可能帮助您