本文为您介绍如何通过Tunnel上传日志数据至MaxCompute。

前提条件

背景信息

Tunnel是MaxCompute的批量上传数据工具,适用于离线计算场景。Tunnel详细信息请参见Tunnel使用说明

操作步骤

  1. 在MaxCompute客户端(odpscmd)执行如下命令创建表loghub,用于存储上传的日志数据。
    --打开新类型数据开关,此命令需要和SQL语句一起提交。
    set odps.sql.type.system.odps2=true;
    --创建表loghub。
    CREATE TABLE loghub
    (
    client_ip   STRING ,
    receive_time STRING ,
    topic STRING,
    id STRING,
    name VARCHAR(32),
    salenum STRING
    );
  2. 执行如下命令将日志数据上传至MaxCompute。
    Tunnel u D:\loghub.csv loghub;
    上述命令中需要指定如下两个参数:
    • D:\loghub.csv:本地日志数据文件存储路径。
    • loghub:MaxCompute中存储日志数据的表名。
    说明 使用Tunnel数据不支持通配符或正则表达式。如果您想使用通配符或正则表达式上传数据,详情请参见通过LogHub迁移日志数据至MaxCompute
  3. 执行如下命令查询数据是否成功导入至表中。
    SELECT * FROM loghub;
    返回结果如下,表示导入成功。查询结果