全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
批量计算

控制台快速开始

更新时间:2017-11-13 16:08:17

介绍如何使用控制台来提交一个作业,目的是统计一个日志文件中 INFOWARNERRORDEBUG 出现的次数。

如果您还没开通批量计算服务,请先开通

步骤预览

  1. 作业准备。

    • 上传数据文件到OSS。
    • 上传任务程序到OSS。
  2. 使用控制台提交作业。

  3. 查看作业状态。

  4. 查看结果。

1. 作业准备

本作业是统计一个日志文件中 INFOWARNERRORDEBUG 出现的次数。

该作业包含3个任务: split、 count 和 merge:

  • split 任务会把日志文件分成 3 份。
  • count 任务会统计每份日志文件中 INFOWARNERRORDEBUG 出现的次数(count 任务需要配置 InstanceCount 为3,表示同时启动 3 个 count 任务)。
  • merge 任务会把 count 的结果统一合并起来。

DAG图例

DAG图例

上传数据文件到OSS

下载本例子所需的数据: log-count-data.txt

将 log-count-data.txt 上传到:

oss://your-bucket/log-count/log-count-data.txt

  • your-bucket表示您自己创建的bucket,本例子假设region为: cn-shenzhen.
  • 如何上传到OSS,请参考OSS上传文档

上传任务程序到OSS

本例子的作业程序是使用python编写的, 下载本例子所需的程序: log-count.tar.gz

本例子不需要改动示例代码。直接将 log-count.tar.gz 上传到 oss,如上传到:

oss://your-bucket/log-count/log-count.tar.gz。

如何上传前面已经讲过。

  • BatchCompute 只支持以 tar.gz 为后缀的压缩包, 请注意务必用以上方式(gzip)打包, 否则将会无法解析。
  • 如果你要修改代码,可以解压后修改,然后要用下面的方法打包:

命令如下:

  1. > cd log-count #进入目录
  2. > tar -czf log-count.tar.gz * #打包,将所有这个目录下的文件打包到 log-count.tar.gz

可以运行这条命令查看压缩包内容:

  1. $ tar -tvf log-count.tar.gz

可以看到以下列表:

  1. conf.py
  2. count.py
  3. merge.py
  4. split.py

2. 使用控制台提交作业

  1. 登录BatchCompute控制台

  2. 单击 作业列表 > 提交作业 进行作业提交。请选择合适的Region(该region需要和bucket的region一致)。

    提交作业

    这里使用了AutoCluster提交作业, 匿名集群需要至少配置 2 个参数, 其中:

    • 可用的镜像ID, 可以使用系统提供的Image,也可以自行制作镜像, 请看使用镜像

    • 实例规格(InstanceType,实例类型),请看 目前支持类型

    如果需要运行本例子,还需把 PackagePath (作业打包上传的OSS路径,本例子中为 oss://your-bucket/log-count/log-count.tar.gz)、

    StdoutRedirectPath、StderrRedirectPath(任务结果和错误的输出地址),修改成与上文对应的您的OSS路径(本例子中为:oss://your-bucket/log-count/logs/)。

    作业JSON模板如下,具体参数含义请参照这里

    1. {
    2. "DAG": {
    3. "Dependencies": {
    4. "split": [
    5. "count"
    6. ],
    7. "count": [
    8. "merge"
    9. ],
    10. "merge": []
    11. },
    12. "Tasks": {
    13. "split": {
    14. "InstanceCount": 1,
    15. "LogMapping": {},
    16. "AutoCluster": {
    17. "ResourceType": "OnDemand",
    18. "InstanceType": "ecs.sn1.medium",
    19. "ImageId": "img-ubuntu"
    20. },
    21. "Parameters": {
    22. "Command": {
    23. "EnvVars": {},
    24. "CommandLine": "python split.py",
    25. "PackagePath": "oss://your-bucket/log-count/log-count.tar.gz"
    26. },
    27. "InputMappingConfig": {
    28. "Lock": true
    29. },
    30. "StdoutRedirectPath": "oss://your-bucket/log-count/logs/",
    31. "StderrRedirectPath": "oss://your-bucket/log-count/logs/"
    32. },
    33. "InputMapping": {
    34. "oss://your-bucket/log-count/": "/home/input/"
    35. },
    36. "OutputMapping": {
    37. "/home/output/": "oss://your-bucket/log-count/"
    38. },
    39. "MaxRetryCount": 0,
    40. "Timeout": 21600,
    41. "ClusterId": ""
    42. },
    43. "merge": {
    44. "InstanceCount": 1,
    45. "LogMapping": {},
    46. "AutoCluster": {
    47. "ResourceType": "OnDemand",
    48. "InstanceType": "ecs.sn1.medium",
    49. "ImageId": "img-ubuntu"
    50. },
    51. "Parameters": {
    52. "Command": {
    53. "EnvVars": {},
    54. "CommandLine": "python merge.py",
    55. "PackagePath": "oss://your-bucket/log-count/log-count.tar.gz"
    56. },
    57. "InputMappingConfig": {
    58. "Lock": true
    59. },
    60. "StdoutRedirectPath": "oss://your-bucket/log-count/logs/",
    61. "StderrRedirectPath": "oss://your-bucket/log-count/logs/"
    62. },
    63. "InputMapping": {
    64. "oss://your-bucket/log-count/": "/home/input/"
    65. },
    66. "OutputMapping": {
    67. "/home/output/": "oss://your-bucket/log-count/"
    68. },
    69. "MaxRetryCount": 0,
    70. "Timeout": 21600,
    71. "ClusterId": ""
    72. },
    73. "count": {
    74. "InstanceCount": 3,
    75. "LogMapping": {},
    76. "AutoCluster": {
    77. "ResourceType": "OnDemand",
    78. "InstanceType": "ecs.sn1.medium",
    79. "ImageId": "img-ubuntu"
    80. },
    81. "Parameters": {
    82. "Command": {
    83. "EnvVars": {},
    84. "CommandLine": "python count.py",
    85. "PackagePath": "oss://your-bucket/log-count/log-count.tar.gz"
    86. },
    87. "InputMappingConfig": {
    88. "Lock": true
    89. },
    90. "StdoutRedirectPath": "oss://your-bucket/log-count/logs/",
    91. "StderrRedirectPath": "oss://your-bucket/log-count/logs/"
    92. },
    93. "InputMapping": {
    94. "oss://your-bucket/log-count/": "/home/input/"
    95. },
    96. "OutputMapping": {
    97. "/home/output/": "oss://your-bucket/log-count/"
    98. },
    99. "MaxRetryCount": 0,
    100. "Timeout": 21600,
    101. "ClusterId": ""
    102. }
    103. }
    104. },
    105. "Description": "batchcompute job",
    106. "Priority": 0,
    107. "JobFailOnInstanceFail": true,
    108. "Type": "DAG",
    109. "Name": "log-count"
    110. }

    确定各个参数及路径填写正确后,点击左下角的提交作业,并确认。

3. 查看作业状态

  • 单击作业列表中最新提交的log-count作业,可以查看详情:

    作业详情

  • 单击任务名称 split,可以查看任务详情:

    任务详情

  • 单击绿色方块,可以查看实例的日志:

    查看日志

4. 查看结果

您可以登录OSS控制台 查看your-bucket 这个bucket下面的这个文件:/log-count/merge_result.json。

内容应该如下:

  1. {"INFO": 2460, "WARN": 2448, "DEBUG": 2509, "ERROR": 2583}
本文导读目录