为什么重启SDK时，有时候会重复接收数据
服务端接收到ACK后，会更新内存中的消费位点，然后每间隔10秒持久化一次消费位点。所以，如果在最新ACK未持久化时重启SDK,为保证消息不丢，服务端会从上一个持久化的消费位点开始推送消息，所以此时SDK会收取到重复消息。
查询控件接收通过全局参数跳转的值，数据展示正常；...
问题描述 Quick BI中设置参数跳转，查询控件接收通过全局参数跳转的值，数据展示正常；但是再切换查询控件的值，点击查询，发现数据返回为空。具体问题描述如下：跳转目标仪表板的全局参数如下设置：仪表板跳转设置如下：跳转后数据展示...
Quick BI生成数据集的SQL占位符中${dateColumn.get(1)...
问题描述 Quick BI生成数据集的SQL占位符中${dateColumn.get(1)}不生效，接收不到查询控件传递过来的值。生成数据集的SQL语句片段如下：where per.is_current_month_performance='Y' and per.flag='Y' and per.order_code not like 'Y%' ...
测试数据通信
本文介绍如何测试DTU代替设备上报数据到物联网平台和接收物联网平台下发的数据。测试上报数据 打开串口调试工具。...接收到的数据中，55为数据头，数据值为64（即十进制的100）。云端和设备端均能接收到正确数据，说明配置成功。
数据重排
使用如下DESC命令，分别查看 bigdata_public_dataset.tpcds_1t.customer 和数据接收表 storage_test1、storage_test2 的表大小，DESC命令详情请参见 DESC TABLE/VIEW。SET odps.namespace.schema=true;desc bigdata_public_dataset.tpcds_1...
服务端开发
完成设备端开发后，您需要对服务端进行开发，来接收物联网平台的设备数据。本文以Java脚本为例，演示服务端接收设备数据的流程。准备开发环境 本文使用Java开发环境如下：操作系统：Windows 10 64位 JDK版本：JDK8 集成开发环境：IntelliJ ...
流式读写
本文介绍Delta Lake作为数据源和数据接收端如何流式读写数据。Delta Table作为数据源（Source）spark.readStream.format("delta").option("maxFilesPerTrigger",1000).load("/tmp/delta_table")maxFilesPerTrigger 指定了一个批次最多处理...
Sensors Data（神策）数据源
是 无 sdkDataAddress 数据存放路径，即Sensors Data接收数据的URL地址，该地址的格式为：http://localhost:8106/sa?project=default ，该地址可从 神策分析>基本设置>数据接入>服务端埋点>复制http数据接收地址 来获取。是 无 其他参数...
系统管理
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 购买独享资源组并配置资源组绑定的归属工作空间，请参见 新增和使用独享调度资源组、新增和使用独享数据集成资源...
监控与报警
网络接收数据量（作业维度）指定作业的网络接收数据量（MB）。网络发送数据量（作业维度）指定作业的网络发送数据量（MB）。GPU算力使用率（作业维度）指定作业的GPU算力使用率。GPU显存使用率（作业维度）指定作业的GPU显存使用率。GPU SM...
不同库名间的数据同步或迁移
指定目标库实例中接收数据的对象，例如将多张库表聚合成大表。需要提前在目标库实例中创建用于接收数据的对象，并确保数据的兼容性。迁移任务：迁移类型 无需勾选 库表结构迁移。同步任务：同步类型 无需勾选 库表结构同步。在目标库实例中...
数据库代理主机监控详情
本文介绍数据库代理主机监控的详细信息。查看数据库代理主机监控数据 说明 数据库代理主机监控目前仅针对白名单用户开放...每秒接收数据量 net_recv 每秒接收数据量，单位：MB。每秒发送数据量 net_send 每秒发送数据量，单位：百分比（%）。
库表列名映射
指定目标库实例中接收数据的对象，例如将多张库表聚合成大表。需要提前在目标库实例中创建用于接收数据的对象，并确保数据的兼容性。迁移任务：迁移类型 无需勾选 库表结构迁移。同步任务：同步类型 无需勾选 库表结构同步。在目标库实例中...
实现数据分发
[{"num":"123","text":"这是多行文本组件","value":"接收数据组件"}]切换到蓝图编辑器。添加所有图层节点到蓝图主画布中。单击 逻辑节点，添加1个序列执行节点到蓝图主画布中，新增一个事件接口并重命名。连接组件。配置序列执行节点的处理...
如何通过合并请求进行数据分发
[{"num":"123","text":"这是多行文本组件","value":"接收数据组件"}]选中所有组件，右键单击 导出到蓝图编辑器。添加 序列执行节点，连接组件。配置序列执行节点的处理方法。取文本数据 return[{value:data[0].text}];取翻牌器数据 return...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
函数 选择目标函数计算FC用于接收数据的函数。服务版本和别名 请根据实际情况进行选择。默认版本：服务版本 固定为 LATEST。指定版本：您还需选择 服务版本。指定别名：您还需选择 服务别名。说明 目标函数计算FC的专有名词，请参见 基本...
“目标库对象数据存在性检查”产生警告
问题描述 在配置同步或迁移实例的 预检查 阶段，目标库对象数据存在性检查 出现警告，检查项的详情页面如下图所示：可能原因 DTS任务的目标端中的数据库或数据表有存量数据（例如目标Redis中用于接收数据的DB存在数据），且在 配置任务对象...
云数据库MongoDB版（副本集架构）同步至函数计算FC
函数 选择目标函数计算FC用于接收数据的函数。服务版本和别名 请根据实际情况进行选择。默认版本：服务版本 固定为 LATEST。指定版本：您还需选择 服务版本。指定别名：您还需选择 服务别名。说明 目标函数计算FC的专有名词，请参见 基本...
数据质量概述
订阅规则：规则创建完成后，您可以通过规则订阅的方式接收数据质量规则校验报警信息，支持 邮件通知、邮件和短信通知、钉钉群机器人、钉钉群机器人@ALL、飞书群机器人、企业微信机器人 和 自定义Webhook 等方式进行报警。说明 仅DataWorks...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
管理报警
禁用报警规则 当您暂时不需要接收 数据库备份DBS 系统事件的报警通知时，可以对其执行禁用操作。重要 报警规则禁用后将不再生效，适用于临时关闭报警设置，请谨慎操作，后续可重新启用。登录 云监控控制台。在左侧导航栏，选择 事件中心>...
RDS MySQL同步至函数计算FC
函数 选择目标函数计算FC用于接收数据的函数。服务版本和别名 请根据实际情况进行选择。默认版本：服务版本 固定为 LATEST。指定版本：您还需选择 服务版本。指定别名：您还需选择 服务别名。说明 目标函数计算FC的专有名词，请参见 基本...
集群自定义监控报表
集群主机 memory_free 可用物理内存大小 集群主机 memory_used 使用物理内存大小 集群主机 net_recv 每秒接收数据量 集群主机 net_send 每秒发送数据量 集群主机 net_throughput 网络吞吐率 集群主机 ntp_offset_milliseconds ntp时钟偏移 ...
数据投递
前提条件 已创建用于接收数据的目标库实例，当前仅支持 AnalyticDB PostgreSQL。创建方法，请参见 创建实例。目标 AnalyticDB PostgreSQL 实例中需已创建好用于接收数据的数据库和Schema（本示例创建的Schema为 dts_deliver_test）。创建...
功能发布记录 2022年之前
某些数据源只能以HTTP REST API形式对外提供数据，或者接收数据。针对这类数据源，数据集成支持离线形式读取和写入数据。2021.1.4 全部地域。RestAPI Reader 2020-12 功能名称 功能描述 发布时间 发布地域 相关文档 DataWorks数据集成新增...
通过任务编排实现跨库数据同步
在AnalyticDB MySQL数据仓库中创建接收数据的订单表、商品表和存放分析结果的统计表。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 SQL窗口>SQL窗口。在 请先选择数据库 弹框中，搜索并选择MySQL数据库，单击 确认。在MySQL数据库中新建...
PolarDB-X 2.0迁移至自建Oracle
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构迁移过程...
PolarDB-X 2.0同步至自建Oracle
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构同步过程...
数据上传
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 通过数据分析配置引擎使用的资源组，请参见 系统管理。配置数据源与资源组网络连通，请参见 配置资源组与网络连通...
蓝图编辑器精选案例实战
[{"num":"123","text":"这是多行文本组件","value":"接收数据组件"}]在画布编辑器页面，选择 图层 栏3个组件，并分别右键单击 导出到蓝图编辑器。在蓝图编辑器页面的 导入节点 栏，单击三个组件节点，分别添加到蓝图编辑器画布中，并在画布...
PolarDB PostgreSQL版间的迁移
已在目标 PolarDB PostgreSQL版 集群中创建用于接收数据的数据库。创建方式，请参见 数据库管理。注意事项 说明 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用...
自建Oracle同步至PolarDB MySQL版
目标 PolarDB MySQL版 集群中已创建用于接收数据的数据库。创建方式，请参见 创建数据库。自建Oracle数据库已开启ARCHIVELOG（归档模式），设置合理的归档日志保持周期且归档日志能够被访问，详情请参见 ARCHIVELOG。自建Oracle数据库已...
PolarDB MySQL版迁移至ClickHouse集群
已在目标ClickHouse集群创建用于接收数据的数据库，详情请参见 创建数据库。重要 建议ClickHouse集群中创建的数据库名称与源 PolarDB MySQL版 集群待迁移数据所属的数据库名称一致，否则您需要在 配置任务对象及高级配置 阶段，在 已选择...
自建Oracle同步至PolarDB PostgreSQL版（兼容Oracle）
已在目标 PolarDB PostgreSQL版（兼容Oracle）集群中创建用于接收数据的数据库。创建方法，请参见 数据库管理。自建Oracle数据库已开启ARCHIVELOG（归档模式），设置合理的归档日志保持周期且归档日志能够被访问，详情请参见 ARCHIVELOG。...
PolarDB MySQL版同步至ClickHouse集群
已在目标ClickHouse集群创建用于接收数据的数据库，详情请参见 创建数据库。重要 建议ClickHouse集群中创建的数据库名称与源 PolarDB MySQL版 集群待同步数据所属的数据库名称一致，否则您需要在 配置任务对象及高级配置 阶段，在 已选择...
RDS MySQL迁移至ClickHouse集群
已在目标ClickHouse集群创建用于接收数据的数据库，详情请参见 创建数据库。重要 建议ClickHouse集群中创建的数据库名称与源 RDS MySQL 实例待迁移数据所属的数据库名称一致，否则您需要在 配置任务对象及高级配置 阶段，在 已选择对象 框...
RDS MariaDB迁移至RDS PostgreSQL
已在目标RDS PostgreSQL实例中创建用于接收数据的数据库。具体操作，请参见 创建账号和数据库。注意事项 说明 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用...
- 产品推荐
- 这些文档可能帮助您