全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
日志服务

Java SDK

更新时间:2017-12-07 16:30:26

下载地址

Log Service 的 Java SDK 让 Java 开发人员可以非常方便地使用 Java 程序操作阿里云日志服务。开发者可以直接使用Maven依赖添加SDK,也可以下载包到本地。目前,SDK 支持 J2SE 6.0 及以上版本,单击此处下载最新版完整SDK。

操作步骤

为快速开始使用 Log Service Java SDK,请按照如下步骤进行。

步骤 1 创建阿里云账号

具体方法请参考 阿里云账号注册流程

为了更好地使用阿里云服务,建议尽快完成实名认证,否则部分阿里云服务将无法使用。具体实名认证流程,请参考 这里

步骤 2 获取阿里云访问密钥

为了使用 Log Service Java SDK,您必须申请阿里云的 访问密钥

登录阿里云 密钥管理页面。选择一对用于 SDK 的访问密钥对。如果没有,请创建一对新访问密钥,且保证它处于启用状态。有关如何创建访问密钥,参见 创建访问密钥

该密钥对会在下面的步骤使用,且需要保管好,不能对外泄露。另外,您可以参考 SDK 配置 了解更多 SDK 如何使用访问密钥的信息。

步骤 3 创建日志服务项目和日志库

在使用日志服务Java SDK之前,请先在控制台上创建好项目(Project)和日志库(Logstore)。

有关如何创建Project和Logstore,参见 创建项目创建日志库

注意:

  • 请确保使用同一阿里云账号获取阿里云访问密钥和创建日志项目及日志库。
  • 关于日志的项目、日志库等概念请参考 Log 核心概念
  • Log 的 Project 名称为日志服务全局唯一,而 Logstore 名称在一个 Project 下面唯一。
  • Log 的 Project 一旦创建则无法更改它的所属区域。目前也不支持在不同阿里云 Region 间迁移 Log Project。

步骤 4 安装 Java 开发环境

目前,Log Java SDK 支持 J2SE 6.0 及以上的 Java 运行环境,您可以从 Java 官方网站 下载并按说明安装 Java 开发环境。

步骤 5 安装 Log Service Java SDK

在安装完 Java 开发环境后,您需要安装 Log Service Java SDK。目前,我们提供两种方式安装日志服务的 Java SDK:

  1. 建议使用 Apache Maven 获取最新版本的 SDK,您可以添加如下配置到您的 Maven 项目。

    1. <dependency>
    2. <groupId>com.google.protobuf</groupId>
    3. <artifactId>protobuf-java</artifactId>
    4. <version>2.5.0</version>
    5. </dependency>
    6. <dependency>
    7. <groupId>com.aliyun.openservices</groupId>
    8. <artifactId>aliyun-log</artifactId>
    9. <version>0.6.7</version>
    10. <exclusions>
    11. <exclusion>
    12. <groupId>com.google.protobuf</groupId>
    13. <artifactId>protobuf-java</artifactId>
    14. </exclusion>
    15. </exclusions>
    16. </dependency>
  2. 您也可以完整下载 Java SDK 软件包,然后在自己的 Java 项目中直接引用本地软件包。

    1. 这里 克隆 Java SDK 包(版本会定期更新,如需使用最新版本请使用 Maven)。
    2. 解压完整下载的包到指定的目录即可。Java SDK 是一个软件开发包,不需要额外的安装操作。
    3. 把 SDK 包中的所有 Jar 包(包括依赖的第三方包)添加到您的 Java 工程(具体操作请参照不同的 IDE 文档)。

步骤 6 开始一个新的 Java 项目

现在,您可以开始使用 Java SDK。使用任何文本编辑器或者 Java IDE,运行如下示例代码即可与 Log Service 服务端交互并得到相应输出,Java SDK使用上的一些注意事项请参考文尾注意事项章节。

  1. package sdksample;
  2. import java.util.ArrayList;
  3. import java.util.List;
  4. import java.util.Vector;
  5. import java.util.Date;
  6. import com.aliyun.openservices.log.Client;
  7. import com.aliyun.openservices.log.common.*;
  8. import com.aliyun.openservices.log.exception.*;
  9. import com.aliyun.openservices.log.request.*;
  10. import com.aliyun.openservices.log.response.*;
  11. import com.aliyun.openservices.log.common.LogGroupData;
  12. import com.aliyun.openservices.log.common.LogItem;
  13. import com.aliyun.openservices.log.common.Logs.Log;
  14. import com.aliyun.openservices.log.common.Logs.Log.Content;
  15. import com.aliyun.openservices.log.common.Logs.LogGroup;
  16. import com.aliyun.openservices.log.common.Consts.CursorMode;
  17. import com.facebook.presto.jdbc.internal.guava.collect.ImmutableList;
  18. public class sdksample {
  19. public static void main(String args[]) throws LogException, InterruptedException {
  20. String endpoint = "<log_service_endpoint>"; // 选择与上面步骤创建 project 所属区域匹配的
  21. // Endpoint
  22. String accessKeyId = "<your_access_key_id>"; // 使用您的阿里云访问密钥 AccessKeyId
  23. String accessKeySecret = "<your_access_key_secret>"; // 使用您的阿里云访问密钥
  24. // AccessKeySecret
  25. String project = "<project_name>"; // 上面步骤创建的项目名称
  26. String logstore = "<logstore_name>"; // 上面步骤创建的日志库名称
  27. // 构建一个客户端实例
  28. Client client = new Client(endpoint, accessKeyId, accessKeySecret);
  29. // 列出当前 project 下的所有日志库名称
  30. int offset = 0;
  31. int size = 100;
  32. String logStoreSubName = "";
  33. ListLogStoresRequest req1 = new ListLogStoresRequest(project, offset, size, logStoreSubName);
  34. ArrayList<String> logStores = client.ListLogStores(req1).GetLogStores();
  35. System.out.println("ListLogs:" + logStores.toString() + "\n");
  36. // 写入日志
  37. String topic = "";
  38. String source = "";
  39. // 连续发送 10 个数据包,每个数据包有 10 条日志
  40. for (int i = 0; i < 10; i++) {
  41. Vector<LogItem> logGroup = new Vector<LogItem>();
  42. for (int j = 0; j < 10; j++) {
  43. LogItem logItem = new LogItem((int) (new Date().getTime() / 1000));
  44. logItem.PushBack("index"+String.valueOf(j), String.valueOf(i * 10 + j));
  45. logGroup.add(logItem);
  46. }
  47. PutLogsRequest req2 = new PutLogsRequest(project, logstore, topic, source, logGroup);
  48. client.PutLogs(req2);
  49. /*
  50. * 发送的时候也可以指定将数据发送至有一个特定的 shard,只要设置 shard 的 hashkey,则数据会写入包含该
  51. * hashkey 的 range 所对应的 shard,具体 API 参考以下接口: public PutLogsResponse
  52. * PutLogs( String project, String logStore, String topic,
  53. * List<LogItem> logItems, String source, String shardHash // 根据
  54. * hashkey 确定写入 shard,hashkey 可以是 MD5(ip) 或 MD5(id) 等 ) throws
  55. * LogException;
  56. */
  57. }
  58. // 把 0 号 shard 中,最近 1 分钟写入的数据都读取出来。
  59. int shard_id = 0;
  60. long curTimeInSec = System.currentTimeMillis() / 1000;
  61. GetCursorResponse cursorRes = client.GetCursor(project, logstore, shard_id, curTimeInSec - 60);
  62. String beginCursor = cursorRes.GetCursor();
  63. cursorRes = client.GetCursor(project, logstore, shard_id, CursorMode.END);
  64. String endCursor = cursorRes.GetCursor();
  65. String curCursor = beginCursor;
  66. while (curCursor.equals(endCursor) == false) {
  67. int loggroup_count = 2; // 每次读取两个 loggroup
  68. BatchGetLogResponse logDataRes = client.BatchGetLog(project, logstore, shard_id, loggroup_count, curCursor,
  69. endCursor);
  70. // 读取LogGroup的List
  71. List<LogGroupData> logGroups = logDataRes.GetLogGroups();
  72. for(LogGroupData logGroup: logGroups){
  73. FastLogGroup flg = logGroup.GetFastLogGroup();
  74. System.out.println(String.format("\tcategory\t:\t%s\n\tsource\t:\t%s\n\ttopic\t:\t%s\n\tmachineUUID\t:\t%s",
  75. flg.getCategory(), flg.getSource(), flg.getTopic(), flg.getMachineUUID()));
  76. System.out.println("Tags");
  77. for (int tagIdx = 0; tagIdx < flg.getLogTagsCount(); ++tagIdx) {
  78. FastLogTag logtag = flg.getLogTags(tagIdx);
  79. System.out.println(String.format("\t%s\t:\t%s", logtag.getKey(), logtag.getValue()));
  80. }
  81. for (int lIdx = 0; lIdx < flg.getLogsCount(); ++lIdx) {
  82. FastLog log = flg.getLogs(lIdx);
  83. System.out.println("--------\nLog: " + lIdx + ", time: " + log.getTime() + ", GetContentCount: " + log.getContentsCount());
  84. for (int cIdx = 0; cIdx < log.getContentsCount(); ++cIdx) {
  85. FastLogContent content = log.getContents(cIdx);
  86. System.out.println(content.getKey() + "\t:\t" + content.getValue());
  87. }
  88. }
  89. }
  90. String next_cursor = logDataRes.GetNextCursor();
  91. System.out.println("The Next cursor:" + next_cursor);
  92. curCursor = next_cursor;
  93. }
  94. // !!!重要提示 : 只有打开索引功能,才能调用以下接口 !!!
  95. // 等待 1 分钟让日志可查询
  96. try {
  97. Thread.sleep(60 * 1000);
  98. } catch (InterruptedException e) {
  99. e.printStackTrace();
  100. }
  101. // 查询日志分布情况
  102. String query = "<此处为需要查询的关键词,如果查询全部内容设置为空字符串即可>";
  103. int from = (int) (new Date().getTime() / 1000 - 300);
  104. int to = (int) (new Date().getTime() / 1000);
  105. GetHistogramsResponse res3 = null;
  106. while (true) {
  107. GetHistogramsRequest req3 = new GetHistogramsRequest(project, logstore, topic, query, from, to);
  108. res3 = client.GetHistograms(req3);
  109. if (res3 != null && res3.IsCompleted()) // IsCompleted() 返回
  110. // true,表示查询结果是准确的,如果返回
  111. // false,则重复查询
  112. {
  113. break;
  114. }
  115. Thread.sleep(200);
  116. }
  117. System.out.println("Total count of logs is " + res3.GetTotalCount());
  118. for (Histogram ht : res3.GetHistograms()) {
  119. System.out.printf("from %d, to %d, count %d.\n", ht.GetFrom(), ht.GetTo(), ht.GetCount());
  120. }
  121. // 查询日志数据
  122. long total_log_lines = res3.GetTotalCount();
  123. int log_offset = 0;
  124. int log_line = 10;
  125. while (log_offset <= total_log_lines) {
  126. GetLogsResponse res4 = null;
  127. // 对于每个 log offset,一次读取 10 行 log,如果读取失败,最多重复读取 3 次。
  128. for (int retry_time = 0; retry_time < 3; retry_time++) {
  129. GetLogsRequest req4 = new GetLogsRequest(project, logstore, from, to, topic, query, log_offset,
  130. log_line, false);
  131. res4 = client.GetLogs(req4);
  132. if (res4 != null && res4.IsCompleted()) {
  133. break;
  134. }
  135. Thread.sleep(200);
  136. }
  137. System.out.println("Read log count:" + String.valueOf(res4.GetCount()));
  138. log_offset += log_line;
  139. }
  140. //打开分析功能,只有打开分析功能,才能使用SQL 功能。 可以在控制台开通分析功能,也可以使用SDK开启分析功能
  141. IndexKeys indexKeys = new IndexKeys();
  142. ImmutableList.Builder<String> tokens = ImmutableList.builder();
  143. tokens.add(",");
  144. tokens.add(".");
  145. tokens.add("#");
  146. IndexKey keyContent = new IndexKey(tokens.build(),false,"text");
  147. indexKeys.AddKey("index0",keyContent);
  148. keyContent = new IndexKey(ImmutableList.<String>builder().build(),false,"long");
  149. indexKeys.AddKey("index1",keyContent);
  150. keyContent = new IndexKey(ImmutableList.<String>builder().build(),false,"double");
  151. indexKeys.AddKey("index2",keyContent);
  152. IndexLine indexLine = new IndexLine(ImmutableList.<String>builder().build(),false);
  153. Index index = new Index(7,indexKeys,indexLine);
  154. CreateIndexRequest createIndexRequest = new CreateIndexRequest(project,logstore,index);
  155. client.CreateIndex(createIndexRequest);
  156. //使用分析功能
  157. GetLogsRequest req4 = new GetLogsRequest(project, logstore, from, to, "", " index0:value | select avg(index1) as v1,sum(index2) as v2, index0 group by index0");
  158. GetLogsResponse res4 = client.GetLogs(req4);
  159. if(res4 != null && res4.IsCompleted()){
  160. for (QueriedLog log : res4.GetLogs()){
  161. LogItem item = log.GetLogItem();
  162. for(LogContent content : item.GetLogContents()){
  163. System.out.print(content.GetKey()+":"+content.GetValue());
  164. }
  165. System.out.println();
  166. }
  167. }
  168. }
  169. }

注意事项

  1. 为了提高您的系统的IO效率,请尽量不要直接使用SDK往日志服务中写数据,写数据标准做法参考文章Producer Library
  2. 要消费日志服务中的数据,请尽量不要直接使用SDK的拉数据接口,我们提供了一个高级消费库Consumer Library,该库屏蔽了日志服务的实现细节,并且提供了负载均衡、按序消费等高级功能。
本文导读目录