使用Cloud Shell下载日志数据

通过Cloud Shell可以快速下载较大数量的日志文件,并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。

前提条件

如果您使用RAM用户下载日志,则需要先给RAM用户授予以下权限:

操作步骤

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

    image

  3. 在控制台左侧,单击日志存储,在日志库列表中单击目标Logstore。

    image

  4. 在查询和分析框中,输入查询语句,选择时间范围,单击查找/分析

    查询到日志后,可以使用CloudShell下载日志,并保存至OSS。您就可以获取批量日志。

  5. 在页面右上角,单击cloudshell图标。

  6. 按照界面向导,完成验证。

  7. 如果您需要持久化保存常用脚本和文件,在挂载存储空间对话框,单击创建并绑定

    关联并挂载一个NAS文件系统可以持久化存储您的常用脚本和文件,否则您的文件会随NAS文件系统释放而销毁。Cloud Shell会为您创建性能型按量付费的NAS文件系统,这可能会产生少量的NAS使用费用。费用详情,请参见通用型NAS计费

    说明
    • 第一次连接云命令行时,Cloud Shell会为您自动创建虚拟机,会消耗最长不超过30秒时间。打开多个云命令行窗口时,所有窗口都会连接到同一台虚拟机。虚拟机数量不会因您打开新的命令行窗口而增加。

    • 目前Cloud Shell位于上海地域,如果当前Logstore不在上海地域,下载日志会产生一定的公网流量费用。价格详情请参见产品定价

    启动成功后,出现云命令行运行窗口。

    Welcome to Alibaba Cloud Shell!
    
    Type "help" to learn about Cloud Shell
    Type "aliyun" to use Alibaba Cloud CLI
    
    You may be interested in these tutorials below.
    ---------------------------  |  ---------------------------
    SLS 日志下载                 |  cloudshell://tutorial/sls-download-log
    使用 Aliyun CLI 来管理云资源 |  cloudshell://tutorial/aliyun-cli
    
    For more tutorials, visit https://api.aliyun.com/#/lab
    shell@Alicloud:~$ 
  8. 执行get_log_all命令下载日志到CloudShell的download_data.txt文件。

    aliyunlog log get_log_all --project="aliyun-test-project" --logstore="aliyun-test-logstore" --from_time="2024-07-01 00:00:00+8:00" --to_time="2024-07-02 15:40:00+8:00"  --query="your sql" --format-output=json >>download_data.txt

    关于get_log_all命令的使用方法,请参见get_log_all

  9. 将下载的日志数据上传到OSS,然后进行下载。请参考以下操作。

    1. 查看当前可以操作的OSS Bucket列表,以便确认OSS保存路径。

      aliyun oss ls

      执行完成后,返回可以操作的OSS Bucket列表。

      CreationTime                                 Region    StorageClass    BucketName
      2021-09-24 02:03:08 +0000 UTC        oss-cn-beijing        Standard    oss://fyytset
      2021-09-26 03:27:10 +0000 UTC       oss-cn-hangzhou        Standard    oss://demo
      Bucket Number is: 2
    2. 执行ll找到下载的日志文件。

      download_data.txt即为下载的日志文件。

    3. 执行以下命令将日志文件上传至您的OSS,用于后续下载。

      aliyun oss cp download_data.txt oss://demo --region cn-hangzhou

      返回如下信息表示上传成功。

      Succeed: Total num: 1, size: 3,198,090. OK num: 1(upload 1 files).
      
      average speed 12792000(byte/s)
      
      0.250823(s) elapsed

    4. 登录对象存储控制台,下载download_data.txt日志文件。

      至此,您已经通过CloudShell下载批量日志,操作完成。

更多操作

通过控制台、日志服务CLI或SDK下载日志