当您使用SQL分析时,SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志,您可以通过开启SQL独享版,增加计算资源,提升单次分析的数据量。本文介绍通过Java SDK使用SQL独享版的代码示例。
前提条件
已开通日志服务。更多信息,请参见开通日志服务。
已创建RAM用户并完成授权。具体操作,请参见创建RAM用户并完成授权。
已配置环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作,请参见在Linux、macOS和Windows系统配置环境变量。
重要阿里云账号的AccessKey拥有所有API的访问权限,建议您使用RAM用户的AccessKey进行API访问或日常运维。
强烈建议不要把AccessKey ID和AccessKey Secret保存到工程代码里,否则可能导致AccessKey泄露,威胁您账号下所有资源的安全。
已安装0.6.68及以上版本的Java SDK。更多信息,请参见安装Java SDK。
背景信息
日志服务提供SQL独享版,用于增强SQL分析能力,支持千亿行数据的计算。更多信息,请参见开启SQL独享版。
注意事项
本示例以华东1(杭州)的公网Endpoint为例,其公网Endpoint为https://cn-hangzhou.log.aliyuncs.com
。如果您通过与Project同地域的其他阿里云产品访问日志服务,请使用内网Endpointhttps://cn-hangzhou-intranet.log.aliyuncs.com
。关于日志服务支持的地域与Endpoint的对应关系,请参见服务入口。
步骤一:创建日志服务客户端
// 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
// 输入Project名称。
String project = "aliyun-test-project";
// 设置服务接入点。此处以杭州为例,其它地域请根据实际情况填写。
String host = "cn-hangzhou.log.aliyuncs.com";
// 输入Logstore名称。
String logStore = "aliyun-test-logstore";
// 设置Shard ID。
int shardId = 0;
// 创建日志服务Client。
Client client = new Client(host, accessId, accessKey);
步骤二:使用SQL独享版
使用SQL独享版之前,需要确认是否已经开启SQL独享版。
日志服务控制台查看
日志服务控制查看是否开启SQL独享版,请参见开启SQL独享版。
OpenAPI查看
OpenAPI查看是否开启SQL独享版,请参见GetSqlInstance。
日志服务提供executeLogStoreSql接口和executeProjectSql接口,帮助您更简单的使用SQL独享版。
代码示例如下,更多信息,请参见Aliyun Log Java SDK。
说明如果您执行分析操作时,需要先过滤一部分数据再分析,建议您使用
查询语句|分析语句
语法,效率更高,即推荐使用executeLogStoreSql接口。executeLogStoreSql
在指定Logstore中使用SQL独享版。该接口支持的查询和分析语法兼容标准的SQL92语法,格式为
查询语句|分析语句
,其中分析语句采用标准的SQL92语法。import com.aliyun.openservices.log.Client; import com.aliyun.openservices.log.common.LogContent; import com.aliyun.openservices.log.common.LogItem; import com.aliyun.openservices.log.common.QueriedLog; import com.aliyun.openservices.log.exception.LogException; import com.aliyun.openservices.log.response.GetLogsResponse; import java.util.Date; public class SlsSample { public static void main(String args[]) throws LogException, InterruptedException { // 本示例从环境变量中获取AccessKey ID和AccessKey Secret。 String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"); String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"); // 输入Project名称。 String project = "aliyun-test-project"; // 设置服务接入点。此处以杭州为例,其它地域请根据实际情况填写。 String host = "cn-hangzhou.log.aliyuncs.com"; // 输入Logstore名称。 String logStore = "aliyun-test-logstore"; // 设置Shard ID。 int shardId = 0; // 创建日志服务Client。 Client client = new Client(host, accessId, accessKey); // 在指定的Logstore内执行SQL分析。 try { String sql = "* | select count(1)"; int from = (int) (new Date().getTime() / 1000 - 600); int to = (int) (new Date().getTime() / 1000); GetLogsResponse logsResponse = client.executeLogstoreSql(project, logStore, 1627268185, 1627269085, "* | SELECT count(*)", true); System.out.println("Returned sql result count:" + logsResponse.GetCount()); for (QueriedLog log : logsResponse.getLogs()) { LogItem item = log.GetLogItem(); System.out.println("time : " + item.mLogTime); for (LogContent content : item.mContents) { System.out.println(content.mKey + ":" + content.mValue); } } // 打印计算结果的统计信息。 // 处理的日志行数。 System.out.println("proccesedRows:" + logsResponse.getProcessedRow()); // SQL分析执行的时长。 System.out.println("elapsedMilli:" + logsResponse.getElapsedMilliSecond()); // 开启SQL独享版后,执行SQL分析所花费的CPU时间,单位为秒。SQL独享版按照CPU时间计费,更多信息,请参见计费项。 System.out.println("cpuSec:" + logsResponse.getCpuSec()); // 开启SQL独享版后,执行SQL分析所使用的CPU核数。 System.out.println("cpuCores:" + logsResponse.getCpuCores()); System.out.println("requestId:" + logsResponse.GetRequestId()); } catch (LogException e) { System.out.println("error code :" + e.GetErrorCode()); System.out.println("error message :" + e.GetErrorMessage()); throw e; } } }
调用executeLogStoreSql接口使用SQL独享版,格式为
GetLogsResponse logsResponse = client.executeLogstoreSql(project, logStore, from, to, query, powerSql)
,各个参数说明如下表所示。参数名称
类型
是否必选
示例
说明
project
String
是
不涉及
Project名称。
在创建Client时,已定义
project
,此处无需配置。logStore
String
是
不涉及
Logstore名称。
在创建Client时,已定义
logStore
,此处无需配置。from
Long
是
1627268185
查询起始时间。Unix时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。
to
Long
是
1627269085
查询结束时间点。Unix时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。
query
String
是
"* | SELECT count(*)"
日志服务查询和分析语句,格式为
查询语句|分析语句
。更多信息,请参见基础语法。日志服务默认返回100行结果,您也可以使用LIMIT子句指定返回结果的行数。更多信息,请参见LIMIT子句。
powerSql
Boolean
否
true
是否使用SQL独享版。更多信息,请参见开启SQL独享版。
true:使用SQL独享版。
false(默认值):使用SQL普通版。
executeProjectSql
import com.aliyun.openservices.log.Client; import com.aliyun.openservices.log.common.LogContent; import com.aliyun.openservices.log.common.LogItem; import com.aliyun.openservices.log.common.QueriedLog; import com.aliyun.openservices.log.exception.LogException; import com.aliyun.openservices.log.response.GetLogsResponse; import java.util.Date; public class SlsSample { public static void main(String args[]) throws LogException, InterruptedException { // 本示例从环境变量中获取AccessKey ID和AccessKey Secret。 String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"); String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"); // 输入Project名称。 String project = "aliyun-test-project"; // 设置服务接入点。此处以杭州为例,其它地域请根据实际情况填写。 String host = "cn-hangzhou.log.aliyuncs.com"; // 输入Logstore名称。 String logStore = "aliyun-test-logstore"; // 设置Shard ID。 int shardId = 0; // 创建日志服务Client。 Client client = new Client(host, accessId, accessKey); // 在指定的Project内执行SQL分析。 try { int now = (int) (new Date().getTime() / 1000); String sql = "select count(1) as cnt from xxx where __time__ > " + now; GetLogsResponse logsResponse = client.executeProjectSql(project, "select avg(latency),max(latency) ,count(1) as c from sample-logstore where status>200 and __time__>=1500975424 and __time__ < 1501035044 GROUP BY method ORDER BY c", true); System.out.println("Returned sql result count:" + logsResponse.GetCount()); for (QueriedLog log : logsResponse.getLogs()) { LogItem item = log.GetLogItem(); for (LogContent content : item.mContents) { System.out.println(content.mKey + ":" + content.mValue); } } // 打印计算结果的统计信息。 // 处理的日志行数。 System.out.println("proccesedRows:" + logsResponse.getProcessedRow()); // SQL分析执行的时长。 System.out.println("elapsedMilli:" + logsResponse.getElapsedMilliSecond()); // 开启SQL独享版后,执行SQL分析所花费的CPU时间,单位为秒。SQL独享版按照CPU时间计费,更多信息,请参见计费项。 System.out.println("cpuSec:" + logsResponse.getCpuSec()); // 开启SQL独享版后,执行SQL分析所使用的CPU核数。 System.out.println("cpuCores:" + logsResponse.getCpuCores()); System.out.println("requestId:" + logsResponse.GetRequestId()); } catch (LogException e) { System.out.println("error code :" + e.GetErrorCode()); System.out.println("error message :" + e.GetErrorMessage()); throw e; } } }
调用executeProjectSql接口使用SQL独享版,格式为
GetLogsResponse logsResponse = client.executeProjectSql(project, query, powerSql)
,各个参数说明如下表所示。参数名称
类型
是否必选
示例
说明
project
String
是
不涉及
Project名称。
在创建Client时,已定义
project
,此处无需配置。query
String
是
"select avg(latency),max(latency) ,count(1) as c from sample-logstore where status>200 and __time__>=1500975424 and __time__ < 1501035044 GROUP BY method ORDER BY c"
日志服务默认返回100行结果,您也可以使用LIMIT子句指定返回结果的行数。更多信息,请参见LIMIT子句。
说明标准的SQL语句,即您的过滤条件和查询时间需要写在SQL分析语句的WHERE语句中(必须在
where
条件中添加__time__
查询时间范围)。powerSql
Boolean
否
true
是否使用SQL独享版。更多信息,请参见开启SQL独享版。
true:使用SQL独享版。
false(默认值):使用SQL普通版。
相关文档
控制台操作SQL独享版请参见开启SQL独享版。
OpenAPI门户操作SQL独享版请参见CreateSqlInstance - 创建SQL独享实例。
在调用API接口过程中,若服务端返回结果中包含错误信息,则表示调用API接口失败。您可以参考API错误码对照表查找对应的解决方法。更多信息,请参见API错误处理对照表。
阿里云OpenAPI开发者门户提供调试、SDK、示例和配套文档。通过OpenAPI,您无需手动封装请求和签名操作,就可以快速对日志服务API进行调试。更多信息,请参见OpenAPI开发者门户。
为满足越来越多的自动化日志服务配置需求,日志服务提供命令行工具CLI(Command Line Interface)。更多信息,请参见日志服务命令行工具CLI。
更多示例代码,请参见Aliyun Log Java SDK on GitHub。
更多示例代码,请参见Aliyun Log Python SDK on GitHub。