为什么重启SDK时，有时候会重复接收数据
服务端接收到ACK后，会更新内存中的消费位点，然后每间隔10秒持久化一次消费位点。所以，如果在最新ACK未持久化时重启SDK,为保证消息不丢，服务端会从上一个持久化的消费位点开始推送消息，所以此时SDK会收取到重复消息。
数据重排
使用如下DESC命令，分别查看 bigdata_public_dataset.tpcds_1t.customer 和数据接收表 storage_test1、storage_test2 的表大小，DESC命令详情请参见 DESC TABLE/VIEW。SET odps.namespace.schema=true;desc bigdata_public_dataset.tpcds_1...
流式读写
本文介绍Delta Lake作为数据源和数据接收端如何流式读写数据。Delta Table作为数据源（Source）spark.readStream.format("delta").option("maxFilesPerTrigger",1000).load("/tmp/delta_table")maxFilesPerTrigger 指定了一个批次最多处理...
系统管理
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 购买独享资源组并配置资源组绑定的归属工作空间，请参见 新增和使用独享调度资源组、新增和使用独享数据集成资源...
数据传输与迁移概述
实时数据写入（数据通道）可接受数据可见延迟。对数据可见延迟容忍度高（可接受偶发的小时级别数据可见延迟）。对请求延迟容忍度低（需要保证稳定的秒级延迟）。建议实时数据写入DataHub再同步MaxCompute。需要数据实时可见。对数据可见...
数据库代理主机监控详情
本文介绍数据库代理主机监控的详细信息。查看数据库代理主机监控数据 说明 数据库代理主机监控目前仅针对白名单用户开放，如需开通...每秒接收数据量 net_recv 每秒接收数据量，单位：MB。每秒发送数据量 net_send 每秒发送数据量，单位：MB。
实现数据分发
[{"num":"123","text":"这是多行文本组件","value":"接收数据组件"}]切换到蓝图编辑器。添加所有图层节点到蓝图主画布中。单击 逻辑节点，添加1个序列执行节点到蓝图主画布中，新增一个事件接口并重命名。连接组件。配置序列执行节点的处理...
数据质量概述
订阅规则：规则创建完成后，您可以通过规则订阅的方式接收数据质量规则校验报警信息，支持 邮件通知、邮件和短信通知、钉钉群机器人、钉钉群机器人@ALL、飞书群机器人、企业微信机器人 和 自定义Webhook 等方式进行报警。说明 仅DataWorks...
集群自定义监控报表
集群主机 memory_free 可用物理内存大小 集群主机 memory_used 使用物理内存大小 集群主机 net_recv 每秒接收数据量 集群主机 net_send 每秒发送数据量 集群主机 net_throughput 网络吞吐率 集群主机 ntp_offset_milliseconds ntp时钟偏移 ...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
函数 选择目标函数计算FC用于接收数据的函数。服务版本和别名 请根据实际情况进行选择。默认版本：服务版本 固定为 LATEST。指定版本：您还需选择 服务版本。指定别名：您还需选择 服务别名。说明 目标函数计算FC的专有名词，请参见 基本...
云数据库MongoDB版（副本集架构）同步至函数计算FC
函数 选择目标函数计算FC用于接收数据的函数。服务版本和别名 请根据实际情况进行选择。默认版本：服务版本 固定为 LATEST。指定版本：您还需选择 服务版本。指定别名：您还需选择 服务别名。说明 目标函数计算FC的专有名词，请参见 基本...
数据投递
前提条件 已创建用于接收数据的目标库实例，当前仅支持 AnalyticDB PostgreSQL。创建方法，请参见 创建实例。目标 AnalyticDB PostgreSQL 实例中需已创建好用于接收数据的数据库和Schema（本示例创建的Schema为 dts_deliver_test）。创建...
数据上传
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 通过数据分析配置引擎使用的资源组，请参见 系统管理。配置数据源与资源组网络连通，请参见 配置资源组与网络连通...
RDS MySQL同步至函数计算FC
函数 选择目标函数计算FC用于接收数据的函数。服务版本和别名 请根据实际情况进行选择。默认版本：服务版本 固定为 LATEST。指定版本：您还需选择 服务版本。指定别名：您还需选择 服务别名。说明 目标函数计算FC的专有名词，请参见 基本...
功能发布记录 2022年之前
某些数据源只能以HTTP REST API形式对外提供数据，或者接收数据。针对这类数据源，数据集成支持离线形式读取和写入数据。2021.1.4 全部地域。RestAPI Reader 2020-12 功能名称 功能描述 发布时间 发布地域 相关文档 DataWorks数据集成新增...
云数据库MongoDB版迁移至云原生数据仓库AnalyticDB ...
已在目标 AnalyticDB PostgreSQL版 实例中创建用于接收数据的数据库、Schema、具有主键列的表。创建方法，请参见 SQL语法。重要 请务必确保目标表的数据类型与源MongoDB的数据兼容。例如，若MongoDB中的_id 为ObjectId类型，则对应 ...
云数据库MongoDB版同步至云原生数据仓库AnalyticDB ...
已在目标 AnalyticDB PostgreSQL版 实例中创建用于接收数据的数据库、Schema、具有主键列的表。创建方法，请参见 SQL语法。重要 请务必确保目标表的数据类型与源MongoDB的数据兼容。例如，若MongoDB中的_id 为ObjectId类型，则对应 ...
PolarDB-X 2.0迁移至自建Oracle
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构迁移过程...
PolarDB-X 2.0同步至自建Oracle
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构同步过程...
RDS MariaDB迁移至RDS PostgreSQL
已在目标RDS PostgreSQL实例中创建用于接收数据的数据库。具体操作，请参见 创建账号和数据库。注意事项 说明 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
目标 云原生数据仓库AnalyticDB PostgreSQL版 实例已创建用于接收数据的数据库。创建方法，请参见 导入数据。如需执行增量迁移，您需要开启 Db2 for LUW 数据库的归档日志。更多信息，请参见 主日志归档方法 和 辅助日志归档方法。重要 ...
导入概述
streaming_load_rpc_max_alive_time_sec 在导入过程中，StarRocks会为每个Tablet开启一个Writer，用于接收数据并写入。该参数指定了Writer的等待超时时间。默认为600秒。如果在参数指定时间内Writer没有收到任何数据，则Writer会被自动销毁...
导入概述
streaming_load_rpc_max_alive_time_sec 在导入过程中，StarRocks会为每个Tablet开启一个Writer，用于接收数据并写入。该参数指定了Writer的等待超时时间。默认为600秒。如果在参数指定时间内Writer没有收到任何数据，则Writer会被自动销毁...
自建Oracle迁移至PolarDB PostgreSQL版
已在 PolarDB PostgreSQL版 集群中创建用于接收数据的数据库。创建方法，请参见 数据库管理。自建Oracle数据库已开启ARCHIVELOG（归档模式），设置合理的归档日志保持周期且归档日志能够被访问，详情请参见 ARCHIVELOG。自建Oracle数据库已...
从自建Redis迁移至Tair实例
已选择对象 若您需要指定接收数据的库（DB 0~DB 255）或通过前缀过滤待迁移的数据，可以使用映射或过滤功能。在 已选择对象 框中右键单击待迁移的库，然后在弹出的 编辑Schema 对话框中进行配置。更多信息，请参见 库表列名映射 和 设置...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
伪类型
伪类型 名字 描述 any 表示一个函数可以接受任意输入数据类型 anyelement 表示一个函数可以接受任意数据类型 anyarray 表示一个函数可以接受任意数组数据类型 anynonarray 表示一个函数可以接受任意非数组数据类型 anyenum 表示一个函数...
区块概述
区块接口节点说明 区块定义内部和外部的数据传输，依靠蓝图编辑器中的 数据接口 节点、事件接口 节点和 动作接口 节点进行配置，不同接口的区别如下：数据接口：用于接收外部数据源传入区块的数据，再通过蓝图编辑器分发数据给内部的组件。...
区块概述
区块接口节点说明 区块定义内部和外部的数据传输，依靠蓝图编辑器中的 数据接口 节点、事件接口 节点和 动作接口 节点进行配置，不同接口的区别如下：数据接口：用于接收外部数据源传入区块的数据，再通过蓝图编辑器分发数据给内部的组件。...
教程概述
物联网平台接收到数据后通过规则引擎转发至DataHub。在DataHub中通过DataConnector将数据同步到RDS MySQL数据库中。使用DataV将RDS MySQL中的数据展示在大屏上。说明 物联网平台转发至DataHub，是因为DataHub可以将数据同步至MaxCompute，...
Flink数据导入
若Flink接收到的数据量未达到 sink.buffer-flush.max-rows 所设的值，但间隔时间已达到 sink.buffer-flush.interval 所设的值，那么无论Flink接收了多少数据量，都直接触发批量写入数据至 AnalyticDB MySQL版。sink.buffer-flush.interval ...
使用SDK示例代码消费PolarDB-X 1.0订阅数据
SDK客户端每隔一定时间会统计并显示消费数据的信息，包括数据发送和接受时数据总数、数据总量、每秒请求数接收RPS等。表 1.消费数据的统计信息 参数 说明 outCounts SDK客户端所消费的数据总数。outBytes SDK客户端所消费的数据总量，单位...
上传数据
前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可参见 创建MaxCompute表。使用限制 当前仅支持上传本地数据至MaxCompute表。上传数据操作入口 您可以在数据...
采集数据
步骤四：新建MaxCompute表 提前新建用于接收通过数据集成同步过来的原始数据的MaxCompute表。本教程仅快速创建相关表，更多MaxCompute表相关操作，请参见 创建并使用MaxCompute表。新建表入口 新建 ods_raw_log_d 表 在新建表弹窗中输入...
采集数据
步骤四：新建MaxCompute表 提前新建用于接收通过数据集成同步过来的原始数据的MaxCompute表。本教程仅快速创建相关表，更多MaxCompute表相关操作，请参见 创建并使用MaxCompute表。新建表入口。新建 ods_raw_log_d 表。在新建表弹窗中输入...
常见问题
2.大数据专家服务接收到服务请求后一般响应时间？答：阿里云技术服务专家在接收到用户服务请求后，将在一个工作日内进行服务响应，主动与用户就服务需求、服务方案沟通评估。3.大数据专家服务的服务方式提供哪些方式可选？答：大数据专家...
- 产品推荐
- 这些文档可能帮助您