全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 阿里云办公 培训与认证 物联网
批量计算

控制台快速开始

更新时间:2017-06-20 14:12:44   分享:   

控制台快速开始例子

本文档将介绍如何使用控制台来提交一个作业,目的是统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。

如果您还没开通批量计算服务,请先开通

步骤预览

  • 作业准备
    • 上传数据文件到OSS
    • 上传任务程序到OSS
  • 使用控制台提交作业
  • 查看作业状态
  • 查看结果

1. 作业准备

本作业是统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。

该作业包含3个任务: split, count 和 merge:

  • split 任务会把日志文件分成 3 份。
  • count 任务会统计每份日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数(count 任务需要配置InstanceCount为3,表示同时启动3个 count 任务)。
  • merge 任务会把 count 的结果统一合并起来。

DAG图例:

DAG图例

(1) 上传数据文件到OSS

下载本例子所需的数据: log-count-data.txt

将 log-count-data.txt 上传到:

oss://your-bucket/log-count/log-count-data.txt

  • your-bucket表示您自己创建的bucket,本例子假设region为: cn-shenzhen.
  • 如何上传到OSS,请参考OSS上传文档

(2) 上传任务程序到OSS

本例子的作业程序是使用python编写的, 下载本例子所需的程序: log-count.tar.gz

本例子不需要改动示例代码。直接将 log-count.tar.gz 上传到 oss,如上传到:

oss://your-bucket/log-count/log-count.tar.gz。

如何上传前面已经讲过。

  • BatchCompute 只支持以 tar.gz 为后缀的压缩包, 请注意务必用以上方式(gzip)打包, 否则将会无法解析。
  • 如果你要修改代码,可以解压后修改,然后要用下面的方法打包:

命令如下:

  1. > cd log-count #进入目录
  2. > tar -czf log-count.tar.gz * #打包,将所有这个目录下的文件打包到 log-count.tar.gz

可以运行这条命令查看压缩包内容:

  1. $ tar -tvf log-count.tar.gz

可以看到以下列表:

  1. conf.py
  2. count.py
  3. merge.py
  4. split.py

2. 使用控制台提交作业

登录BatchCompute控制台

然后点击”作业列表”—“提交作业”进行作业提交。请注意选择合适Region(该region需要和bucket的region一致)。

提交作业

这里使用了AutoCluster提交作业, 匿名集群需要至少配置2个参数, 其中:

  • 可用的镜像ID, 可以使用系统提供的Image,也可以自行制作镜像, 请看使用镜像

  • 实例规格(InstanceType,实例类型),请看 目前支持类型

如果需要运行本例子,还需把 PackagePath (作业打包上传的OSS路径,本例子中为 oss://your-bucket/log-count/log-count.tar.gz)、

StdoutRedirectPath、StderrRedirectPath(任务结果和错误的输出地址),修改成与上文对应的您的OSS路径(本例子中为:oss://your-bucket/log-count/logs/)。

作业JSON模板如下,具体参数含义请参照这里

  1. {
  2. "DAG": {
  3. "Dependencies": {
  4. "split": [
  5. "count"
  6. ],
  7. "count": [
  8. "merge"
  9. ],
  10. "merge": []
  11. },
  12. "Tasks": {
  13. "split": {
  14. "InstanceCount": 1,
  15. "LogMapping": {},
  16. "AutoCluster": {
  17. "ResourceType": "OnDemand",
  18. "InstanceType": "bcs.a2.large",
  19. "ImageId": "img-ubuntu"
  20. },
  21. "Parameters": {
  22. "Command": {
  23. "EnvVars": {},
  24. "CommandLine": "python split.py",
  25. "PackagePath": "oss://your-bucket/log-count/log-count.tar.gz"
  26. },
  27. "InputMappingConfig": {
  28. "Lock": true
  29. },
  30. "StdoutRedirectPath": "oss://your-bucket/log-count/logs/",
  31. "StderrRedirectPath": "oss://your-bucket/log-count/logs/"
  32. },
  33. "InputMapping": {
  34. "oss://your-bucket/log-count/": "/home/input/"
  35. },
  36. "OutputMapping": {
  37. "/home/output/": "oss://your-bucket/log-count/"
  38. },
  39. "MaxRetryCount": 0,
  40. "Timeout": 21600,
  41. "ClusterId": ""
  42. },
  43. "merge": {
  44. "InstanceCount": 1,
  45. "LogMapping": {},
  46. "AutoCluster": {
  47. "ResourceType": "OnDemand",
  48. "InstanceType": "bcs.a2.large",
  49. "ImageId": "img-ubuntu"
  50. },
  51. "Parameters": {
  52. "Command": {
  53. "EnvVars": {},
  54. "CommandLine": "python merge.py",
  55. "PackagePath": "oss://your-bucket/log-count/log-count.tar.gz"
  56. },
  57. "InputMappingConfig": {
  58. "Lock": true
  59. },
  60. "StdoutRedirectPath": "oss://your-bucket/log-count/logs/",
  61. "StderrRedirectPath": "oss://your-bucket/log-count/logs/"
  62. },
  63. "InputMapping": {
  64. "oss://your-bucket/log-count/": "/home/input/"
  65. },
  66. "OutputMapping": {
  67. "/home/output/": "oss://your-bucket/log-count/"
  68. },
  69. "MaxRetryCount": 0,
  70. "Timeout": 21600,
  71. "ClusterId": ""
  72. },
  73. "count": {
  74. "InstanceCount": 3,
  75. "LogMapping": {},
  76. "AutoCluster": {
  77. "ResourceType": "OnDemand",
  78. "InstanceType": "bcs.a2.large",
  79. "ImageId": "img-ubuntu"
  80. },
  81. "Parameters": {
  82. "Command": {
  83. "EnvVars": {},
  84. "CommandLine": "python count.py",
  85. "PackagePath": "oss://your-bucket/log-count/log-count.tar.gz"
  86. },
  87. "InputMappingConfig": {
  88. "Lock": true
  89. },
  90. "StdoutRedirectPath": "oss://your-bucket/log-count/logs/",
  91. "StderrRedirectPath": "oss://your-bucket/log-count/logs/"
  92. },
  93. "InputMapping": {
  94. "oss://your-bucket/log-count/": "/home/input/"
  95. },
  96. "OutputMapping": {
  97. "/home/output/": "oss://your-bucket/log-count/"
  98. },
  99. "MaxRetryCount": 0,
  100. "Timeout": 21600,
  101. "ClusterId": ""
  102. }
  103. }
  104. },
  105. "Description": "batchcompute job",
  106. "Priority": 0,
  107. "JobFailOnInstanceFail": true,
  108. "Type": "DAG",
  109. "Name": "log-count"
  110. }

确定各个参数及路径填写正确后,点击左下角的“提交作业”,并确认。

3. 查看作业状态

点击作业列表中最新提交的log-count作业,可以查看详情:

作业详情

点击任务名称 split,可以查看任务详情:

任务详情

点击绿色方块,可以查看实例的日志:

查看日志

4. 查看结果

您可以登录OSS控制台 查看your-bucket 这个bucket下面的这个文件:/log-count/merge_result.json。

内容应该如下:

  1. {"INFO": 2460, "WARN": 2448, "DEBUG": 2509, "ERROR": 2583}
本文导读目录
本文导读目录
以上内容是否对您有帮助?