数据上传
上传目标数据 DataWorks支持将本地文件数据、数据分析的电子表格数据、对象存储OSS数据上传至MaxCompute、EMR Hive或Hologres引擎，不同数据的上传配置存在差异，具体如下。上传本地文件数据 选择待上传数据。数据来源：选择 本地文件。...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
数据传输服务（上传）场景与工具
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据，包括服务连接、SDK、工具和数据导入导出、上云等常见操作。背景信息 MaxCompute提供了多种数据上传下载的通道支持，方便您在各种场景下进行技术方案选型时参考。批量数据...
使用客户端（odpscmd）或Studio
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您概要介绍如何在对应的工具中使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。使用Tunnel命令下载数据 Tunnel命令主要有 Upload...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
上传数据
前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可参见 创建MaxCompute表。使用限制 当前仅支持上传本地数据至MaxCompute表。上传数据操作入口 您可以在数据...
数据上云工具
您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）客户端基于 批量数据通道 的SDK，实现了内置的Tunnel命令，可对数据进行上传和下载，Tunnel命令的使用请参见 Tunnel命令...
调试实时任务
手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
管理快照
快照是某一时间点磁盘数据状态的备份文件，常用于日常数据备份、服务器数据误操作恢复、网络攻击恢复、制作自定义镜像等场景。本文介绍如何通过管理控制台创建、删除快照以及使用快照回滚磁盘、创建自定义镜像。使用限制 说明 轻量应用...
Tunnel SDK示例汇总引导
数据上传时，建议您使用TunnelBufferedWriter，详情请参见 BufferedWriter 相关的示例代码。不同版本SDK在使用时会有不同，文档示例中的版本信息仅供参考。请您注意版本变更。Java示例 简单上传示例 简单下载示例 多线程上传示例 多线程...
部署高可用架构应用集群
当前已成功创建两台应用服务器（服务器A 与 服务器B），为确保应用服务器与数据库服务器进行数据传输时的安全性，建议您将数据库服务器C中的MySQL访问权限，由 所有人 修改 指定IP，并指向两台应用服务器的内网IP。登录数据库服务器C对应的...
使用DataWorks（离线与实时）
说明 DataWorks的上传与下载模块的数据上传功能，基于 本地文件 的上传，仅支持CSV格式和最大5 GB大小的文件。详细操作指导请参见 数据上传。场景3：导入其他数据源数据至MaxCompute 同步能力说明 DataWorks 数据集成 支持将其他数据源的...
创建恢复任务
前提条件 服务器的Agent客户端状态正常，即在 主机资产 页面，该服务器的 客户端 列显示 图标。在服务器被勒索病毒入侵前，已为该服务器创建勒索防护策略，且该策略正常运行已完成了服务器数据的备份，即该服务器有可恢复的备份数据。查看...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
TableTunnel
数据的上传和下载分别由 TableTunnel.UploadSession 和 TableTunnel.DownloadSession 这两个Session实现。对一张表或分区上传下载的过程，称为一个Session。Session由一或多个访问Tunnel RESTful API的HTTP Request组成。在UploadSession中...
Tunnel操作
使用限制 支持文件或目录（指一级目录）的上传，每一次上传只支持数据上传到一张表或表的一个 分区。分区表一定要指定上传的分区，多级分区一定要指定到末级分区。命令格式 Tunnel upload[<project_name>.][/];参数说明 path：必填。上传...
无法更换轻量应用服务器的操作系统
问题描述 重置系统可以重新安装服务器的应用或者操作系统，达到重新初始化服务器的目的。若您在阿里云轻量应用服务器控制台中，无法更换轻量应用服务器的操作系统，可参考本文进行操作。解决方案 阿里云提醒您：如果您对实例或数据有修改、...
通过上传本地数据新建数据集
在页面右侧弹出的 上传本地文件 面板中，上传文件。说明 单击 下载模板，可下载模板文件，按填写须知填写后即可上传。上传完成后，在 输出字段配置 配置向导页面，查看数据样例，单击 下一步。在 基本信息配置 配置向导页面，配置基本信息...
功能特性
功能集 功能 功能描述 参考文档 上传数据 Tunnel（离线）MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载。Tunnel（离线）Kafka（离线与实时）支持将消息队列Kafka版数据导入MaxCompute。...
添加体验空间数据库
在体验空间模块，单击右上角的 上传数据，打开上传数据文件窗口。在 选择文件 页签，将文件拖拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON文件。Shapefiles格式文件需要将.shp、.dbf、.prj、....
概述
MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确信息以 SDK Java Doc 为准。主要接口 描述 TableTunnel 访问MaxCompute Tunnel服务的入口类。您...
迁移ECS实例至轻量应用服务器
公网IP地址 ECS实例的公网IP地址与轻量应用服务器的公网IP地址不相同，如果您的ECS实例绑定了域名，在迁移完成后，您需要重新将该域名解析至轻量应用服务器的公网IP。步骤一：在轻量应用服务器中安装并配置 宝塔面板 本示例建议您在轻量...
功能发布记录（2024年）
2024.2.20 所有地域 DataWorks标准版及以上版本用户 查找代码 新增数据上传与下载功能 DataWorks的数据上传与下载功能支持将本地CSV文件、OSS文件数据上传至MaxCompute进行处理及分析。同时，也可管理上传的文件列表和DataWorks数据分析等...
BufferedWriter上传示例
本文通过代码示例向您介绍如何使用BufferedWriter接口实现数据上传。初始化MaxCompute和tunnel的代码。RecordWriter writer=null;TableTunnel.UploadSession uploadSession=tunnel.createUploadSession(projectName,tableName);try { int i...
私网传输迁移
SMC服务端将根据迁移任务的配置，创建相关资源，并通过打通专线的VPC将源服务器的数据迁移至阿里云。迁移任务执行过程中，代理服务器将代替源服务器接收来自SMC服务端的指令。例如，迁移任务出错时，SMC服务端会中断迁移并向SMC客户端发送...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
创建自定义镜像
通过创建自定义镜像，您可以保存一台轻量应用服务器的数据。创建完成的自定义镜像可用于共享到云服务器ECS或者创建相同配置的轻量应用服务器。前提条件 您已创建了一份轻量应用服务器的系统盘快照。具体操作，请参见 管理快照。说明 如果您...
管理数据树
单击右上角的 上传数据。在 选择文件 页签，将文件拖拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON文件。Shapefiles格式文件需要将.shp、.dbf、.prj、.shx 格式的文件压缩为一个.zip 文件进行...
各源环境迁移至阿里云
重要 创建迁移任务后，目标ECS实例中的原数据将会清除（轻量应用服务器的数据不会被清除）。如果ECS实例中存在重要数据，不推荐您使用该方式迁移。推荐您在迁移时，目标类型选择云服务器镜像，再通过镜像创建ECS实例。关于源服务器迁移到...
使用说明
Tunnel命令主要用于数据的上传和下载等，其功能如下：Upload：上传本地数据至MaxCompute表中。支持文件的上传，每一次上传只支持数据上传到一张表或表的一个 分区。分区表一定要指定上传的分区，多级分区一定要指定到末级分区。更多信息请...
应用场景
其他各领域应用 游戏应用：使用云数据库MongoDB作为游戏服务器的数据库存储用户信息。用户的游戏装备、积分等直接以内嵌文档的形式存储，方便进行查询与更新。物流应用：使用云数据库MongoDB存储订单信息，订单状态在运送过程中会不断更新...
源服务器迁移至轻量应用服务器
检查轻量应用服务器的数据。具体操作，请参见 迁移Linux服务器后怎么检查系统？或 迁移Windows服务器后怎么检查系统？当任务状态为 出错（InError），表示轻量服务器迁移失败。您需要查看日志修复问题后，再次重启迁移任务。常见错误及修复...
源服务器迁移至轻量应用服务器
检查轻量应用服务器的数据。具体操作，请参见 迁移Linux服务器后怎么检查系统？或 迁移Windows服务器后怎么检查系统？当任务状态为 出错（InError），表示轻量服务器迁移失败。您需要查看日志修复问题后，再次重启迁移任务。常见错误及修复...
Tunnel命令
支持文件的上传，每一次上传只支持数据上传到一张表或表的一个 分区。分区表一定要指定上传的分区，多级分区一定要指定到末级分区。将log.txt（在MaxCompute客户端的bin目录中）中的数据上传至项目空间test_project的表test_table（二级...
Tunnel命令
支持文件的上传，每一次上传只支持数据上传到一张表或表的一个 分区。分区表一定要指定上传的分区，多级分区一定要指定到末级分区。将log.txt（在MaxCompute客户端的bin目录中）中的数据上传至项目空间test_project的表test_table（二级...
概述
大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三方工具对文件进行格式转换，然后将转换后的数据上传至OSS，整个过程比较繁琐。为减轻用户工作量，您可以直接使用DLA来转换文件格式。假设将1.2GB的数据以...
UploadSession
调用 openRecordWriter 方法，生成RecordWriter实例，其中参数blockId用于标识此次上传的数据，也描述了数据在整个表中的位置，取值范围为[0,20000]，当数据上传失败，可以根据blockId重新上传。查看上传：请求方式：同步。调用 getStatus ...
创建服务器迁移任务
重要 创建迁移任务后，目标ECS实例中的原数据将会清除（源服务器的数据不会被清除，例如您的源数据服务器为轻量应用服务器，轻量应用服务器的数据不会被清除）。如果ECS实例中存在重要数据，不推荐您使用该方式迁移。推荐您在迁移时，目标...
- 产品推荐
- 这些文档可能帮助您