edge-tunnel
edge-tunnel组件为您提供云端访问边缘端的能力。集群创建完成后，系统会默认部署 edge-tunnel-server 和 edge-tunnel-agent 组件来创建云端和边缘之间的运维通道。本文介绍edge-tunnel的组件介绍、使用说明和变更记录。组件介绍 edge-...
alicloud_ots_tunnel
Provides an OTS tunnel resource.For information about OTS tunnel and how to use it,see Tunnel overview.->NOTE:Available since v1.172.0.Example Usage variable"name"{ default="tf-example"} resource"random_integer""default"{ ...
Tunnel SDK示例汇总引导
本文向您引导介绍使用Tunnel SDK的典型示例，您可在本文查看典型场景SDK示例的文档链接，如不在本文罗列的典型场景中，您也可以前往开源Tunnel SDK文档中查看更多其他示例。注意事项 MaxCompute提供了两个服务地址供您选择：Tunnel服务地址...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
Tunnel SDK常见问题
本文为您介绍使用Tunnel SDK过程中的常见问题。问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用...
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
alicloud_ots_tunnels
This data source provides the ots tunnels of the current Alibaba Cloud user.For information about OTS tunnel and how to use it,see Tunnel overview.->NOTE:Available in v1.172.0+.Example Usage data"alicloud_ots_tunnels"...
数据消费框架原理
Tunnel Client为通道服务的自动化数据消费框架。使用通道服务前，需要了解Tunnel Client的自动化数据处理流程、自动化的负载均衡和良好的水平扩展性以及自动化的资源清理和容错处理。背景信息 Tunnel Client可以解决全量和增量数据处理时的...
远程登录进程说明
本文以C Link SDK中的Demo文件./demos/tunnel_basic_demo.c 为例，介绍业务进程与远程登录进程隔离中远程登录运维进程的处理过程以及相关日志。流程图 操作步骤 初始化。创建1个实例并内部初始化默认参数*/void*tunnel_handle=aiot_tunnel_...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
Tunnel SDK示例（Python）
Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据，TunnelSDK是PyODPS的一部分，本文为您介绍使用Python版TunnelSDK上传下载数据的简单示例。注意事项 下文为您介绍简单的上传、下载数据的Python SDK示例，...
远程登录
步骤4：隧道建连/*隧道未建连，异步完成隧道建连,在事件回调函数中重置tunnel_status状态*/aiot_tunnel_connect(tunnel_handle);步骤5：建立SSH会话 在 远程登录 页签，单击 登录。在对话框中，输入设备远程访问的用户名和密码，单击 确定...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
快速开始
由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全量加增量类型或者增量类型的Tunnel消费数据时，会出现如下情况：当Tunnel处于全量阶段时，如果全量数据在7天内没有消费完成，则此Tunnel会...
alicloud_vpn_connection
bgp_config { local_asn="1219002"tunnel_cidr="169.254.30.0/30"local_bgp_ip="169.254.30.1"} tunnel_ike_config { ike_mode="aggressive"ike_version="ikev2"local_id="localid_tunnel2"psk="12345678"remote_id="remote2"ike_auth_alg=...
云边运维通道FAQ
kubectl exec/logs不通、Prometheus和Metrics Server不能获取边缘节点的Metrics数据 问题现象 执行命令 kubectl exec-it edge-tunnel-agent-xxx-n kube-system-sh 时，输出报错信息 error:unable to upgrade connection:fail to setup the ...
使用说明
本文为您介绍Tunnel命令的功能和如何通过Tunnel命令上传下载数据。支持的工具 MaxCompute支持使用odpscmd和MaxCompute Studio运行Tunnel命令。具体操作请参见 使用客户端（odpscmd）连接 和 认识MaxCompute Studio。Tunnel命令功能 您可以...
业务进程说明
本文以C Link SDK中的Demo文件./demos/tunnel_switch_demo.c 为例，介绍业务进程与远程登录进程隔离中业务进程的处理过程以及相关日志。业务进程处理流程图 操作步骤 初始化远程登录隧道开关模块。创建1个RA实例并内部初始化默认参数*/void...
Tunnel操作
MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel常见错误码
本文为您介绍使用Tunnel过程中的常见错误码，帮助您了解错误码产生原因，并提供解决措施。Tunnel常见错误码如下：报错信息：ErrorCode=NoSuchPartition,ErrorMessage=The specified partition does not exist.报错信息：ErrorCode=...
配置选项
options.lifecycle=30#使用Tunnel下载string类型时使用bytes（tunnel.string_as_binary选项）。options.tunnel.string_as_binary=True#用ODPS执行PyODPS DataFrame时，可以参照下面dataframe相关配置，在sort时将limit设置为一个比较大的值...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
通过SDK使用通道服务
由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全量加增量类型或者增量类型的Tunnel消费数据时，会出现如下情况：当Tunnel处于全量阶段时，如果全量数据在7天内没有消费完成，则此Tunnel会...
边缘运维通道
ACK Edge集群 版本小于1.26时，集群创建完成后，系统会默认部署 edge-tunnel-server/edge-tunnel-agent 组件，用于创建云端和边缘之间的运维通道，为您提供云端访问边缘端的能力。本文介绍 ACK Edge集群 中的边缘运维通道关联组件和功能，...
快速开始
在创建全量加增量类型的Tunnel时，由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），全量数据如果在7天内没有消费完成，则此Tunnel进入增量阶段会出现OTSTunnelExpired错误，导致增量数据无法消费。...
通过Tunnel迁移日志数据至MaxCompute
本文为您介绍如何通过Tunnel上传日志数据至MaxCompute。前提条件 安装MaxCompute客户端，详情请参见 安装并配置MaxCompute客户端。将日志数据保存至本地。本文使用的示例数据为 loghub.csv。背景信息 Tunnel是MaxCompute的批量上传数据工具...
简单上传示例
自动创建分区/TableTunnel.StreamUploadSession uploadSession=tunnel.buildStreamUploadSession(project,table).setPartitionSpec(partitionSpec).setCreatePartition(true).build();TableTunnel.StreamUploadSession uploadSession=...
alicloud_vpn_connections
key-The authentication keys for BGP routing protocols.tunnel_cidr-The ipsec tunnel segments.local_bgp_ip-The ali cloud side BGP address.tunnel_options_specification-The tunnel_options_specification supports the following:...
多线程上传示例
this.tunnel=tunnel;}@Override public Boolean call(){ try { PartitionSpec partitionSpec=new PartitionSpec(partition);TableTunnel.StreamUploadSession uploadSession=tunnel.buildStreamUploadSession(project,table)....
错误处理
400 OTSTunnelExpired 增量Tunnel或全量加增量Tunnel日志过期。返回错误。403 OTSPermissionDenied 无指定资源的访问权限。返回错误。409 OTSTunnelExist 待创建的Tunnel已经在服务端存在。返回错误。400 OTSSequenceNumberNotMatch ...
Endpoint
背景信息 MaxCompute提供MaxCompute服务和Tunnel服务：MaxCompute服务：连接地址为Endpoint，取值由地域及网络连接方式决定。您可以向MaxCompute发出除数据上传、下载外的所有请求，例如创建表、删除某个函数、执行计算作业。MaxCompute还...
版本更新记录
0.43.4-public 功能增强 支持指定Tunnel的连接和查询超时时间。修复Tunnel Endpoint无效的问题。v0.43.3-public 新功能 支持创建ExternalVolume。Antler版本升级。v0.37.10-public 新功能 支持上传或下载超大资源文件（500 MB~2 GB）。v0....
Tunnel常见错误
本文为您介绍Tunnel异常信息格式以及常见问题。错误信息格式 通常，Tunnel的错误信息如下。requestId=request_id,ErrorCode=InvalidArgument,ErrorMessage=Invalid argument 涉及的信息如下：requestId 是标识用户请求的唯一标识。...
Python SDK示例：Configuration
odps2_extension 启用MaxCompute 2.0语言扩展 False 数据上传或下载配置 选项 说明 默认值 tunnel.endpoint Tunnel Endpoint None tunnel.use_instance_tunnel 使用Instance Tunnel获取执行结果 True tunnel.limited_instance_tunnel 限制...
使用MaxCompute独享Tunnel进行数据同步
注意事项 若在配置MaxCompute数据源时配置了 Tunnel Endpoint 属性，则在DataWorks上配置同步任务时，不支持指定独享传输资源组，实际同步任务运行时会使用指定地址对应的传输资源。若同步任务需要使用独享传输资源，则您在配置MaxCompute...
SQL
在部分环境中（例如DataWorks），options.tunnel.limit_instance_tunnel 可能默认被置为True，此时，如果想要读取所有数据，需要为 open_reader()方法增加 tunnel=True 和 limit=False 参数，例如 open_reader(tunnel=True,limit=False)。...
使用客户端（odpscmd）或Studio
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您概要介绍如何在对应的工具中使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。使用Tunnel命令下载数据 Tunnel命令主要有 Upload...
查看选项
返回结果 Commands:alter Alter table 更新表信息 clear Clear the screen 清空屏幕 config Setup the configuration to access Tablestore 配置接入信息 consume_tunnel Consume tunnel and print stream data.消费通道并打印stream数据 ...
大量数据导出方案
Tunnel方式导出 如果您需要导出的查询结果是某张表的全部内容（或者是具体的某个分区的全部内容），可以通过Tunnel来实现，详情请参见 命令行工具 和基于SDK编写的 Tunnel SDK。此处提供一个Tunnel命令行导出数据的简单示例，Tunnel SDK的...
- 产品推荐
- 这些文档可能帮助您