通过Java SDK使用SQL独享版

当您使用SQL分析时,SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志,您可以通过开启SQL独享版,增加计算资源,提升单次分析的数据量。本文介绍通过Java SDK使用SQL独享版的代码示例。

前提条件

  • 已开通日志服务。更多信息,请参见开通日志服务

  • 已创建RAM用户并完成授权。具体操作,请参见创建RAM用户并完成授权

  • 已配置环境变量ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作,请参见在Linux、macOS和Windows系统配置环境变量

    重要
    • 阿里云账号的AccessKey拥有所有API的访问权限,建议您使用RAM用户的AccessKey进行API访问或日常运维。

    • 强烈建议不要把AccessKey ID和AccessKey Secret保存到工程代码里,否则可能导致AccessKey泄露,威胁您账号下所有资源的安全。

  • 已安装0.6.68及以上版本的Java SDK。更多信息,请参见安装Java SDK

背景信息

日志服务提供SQL独享版,用于增强SQL分析能力,支持千亿行数据的计算。更多信息,请参见开启SQL独享版

注意事项

本示例以华东1(杭州)的公网Endpoint为例,其公网Endpoint为https://cn-hangzhou.log.aliyuncs.com。如果您通过与Project同地域的其他阿里云产品访问日志服务,请使用内网Endpointhttps://cn-hangzhou-intranet.log.aliyuncs.com。关于日志服务支持的地域与Endpoint的对应关系,请参见服务入口

步骤一:创建日志服务客户端

        // 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
        String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
        // 输入Project名称。
        String project = "aliyun-test-project";
        // 设置服务接入点。此处以杭州为例,其它地域请根据实际情况填写。
        String host = "cn-hangzhou.log.aliyuncs.com"; 
        // 输入Logstore名称。
        String logStore = "aliyun-test-logstore";
        // 设置Shard ID。
        int shardId = 0;
        
        // 创建日志服务Client。
        Client client = new Client(host, accessId, accessKey);

步骤二:使用SQL独享版

  1. 使用SQL独享版之前,需要确认是否已经开启SQL独享版。

    日志服务控制台查看

    日志服务控制查看是否开启SQL独享版,请参见开启SQL独享版

    OpenAPI查看

    OpenAPI查看是否开启SQL独享版,请参见GetSqlInstance

  2. 日志服务提供executeLogStoreSql接口和executeProjectSql接口,帮助您更简单的使用SQL独享版。

    代码示例如下,更多信息,请参见Aliyun Log Java SDK

    说明

    如果您执行分析操作时,需要先过滤一部分数据再分析,建议您使用查询语句|分析语句语法,效率更高,即推荐使用executeLogStoreSql接口。

    executeLogStoreSql

    在指定Logstore中使用SQL独享版。该接口支持的查询和分析语法兼容标准的SQL92语法,格式为查询语句|分析语句,其中分析语句采用标准的SQL92语法。

    import com.aliyun.openservices.log.Client;
    import com.aliyun.openservices.log.common.LogContent;
    import com.aliyun.openservices.log.common.LogItem;
    import com.aliyun.openservices.log.common.QueriedLog;
    import com.aliyun.openservices.log.exception.LogException;
    import com.aliyun.openservices.log.response.GetLogsResponse;
    
    import java.util.Date;
    
    public class SlsSample {
    
        public static void main(String args[]) throws LogException,
                InterruptedException {
            // 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
            String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
            String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
            // 输入Project名称。
            String project = "aliyun-test-project";
            // 设置服务接入点。此处以杭州为例,其它地域请根据实际情况填写。
            String host = "cn-hangzhou.log.aliyuncs.com";
            // 输入Logstore名称。
            String logStore = "aliyun-test-logstore";
            // 设置Shard ID。
            int shardId = 0;
    
            // 创建日志服务Client。
            Client client = new Client(host, accessId, accessKey);
    
            // 在指定的Logstore内执行SQL分析。
            try {
                String sql = "* | select count(1)";
                int from = (int) (new Date().getTime() / 1000 - 600);
                int to = (int) (new Date().getTime() / 1000);
                GetLogsResponse logsResponse = client.executeLogstoreSql(project, logStore, 1627268185, 1627269085, "* | SELECT count(*)", true);
                System.out.println("Returned sql result count:" + logsResponse.GetCount());
                for (QueriedLog log : logsResponse.getLogs()) {
                    LogItem item = log.GetLogItem();
                    System.out.println("time : " + item.mLogTime);
                    for (LogContent content : item.mContents) {
                        System.out.println(content.mKey + ":" + content.mValue);
                    }
                }
                // 打印计算结果的统计信息。
                // 处理的日志行数。
                System.out.println("proccesedRows:" + logsResponse.getProcessedRow());
                // SQL分析执行的时长。
                System.out.println("elapsedMilli:" + logsResponse.getElapsedMilliSecond());
                // 开启SQL独享版后,执行SQL分析所花费的CPU时间,单位为秒。SQL独享版按照CPU时间计费,更多信息,请参见计费项。
                System.out.println("cpuSec:" + logsResponse.getCpuSec());
                // 开启SQL独享版后,执行SQL分析所使用的CPU核数。
                System.out.println("cpuCores:" + logsResponse.getCpuCores());
                System.out.println("requestId:" + logsResponse.GetRequestId());
    
            } catch (LogException e) {
                System.out.println("error code :" + e.GetErrorCode());
                System.out.println("error message :" + e.GetErrorMessage());
                throw e;
            }
        }
    }

    调用executeLogStoreSql接口使用SQL独享版,格式为GetLogsResponse logsResponse = client.executeLogstoreSql(project, logStore, from, to, query, powerSql),各个参数说明如下表所示。

    参数名称

    类型

    是否必选

    示例

    说明

    project

    String

    不涉及

    Project名称。

    在创建Client时,已定义project,此处无需配置。

    logStore

    String

    不涉及

    Logstore名称。

    在创建Client时,已定义logStore,此处无需配置。

    from

    Long

    1627268185

    查询起始时间。Unix时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

    to

    Long

    1627269085

    查询结束时间点。Unix时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

    query

    String

    "* | SELECT count(*)"

    日志服务查询和分析语句,格式为查询语句|分析语句。更多信息,请参见基础语法

    日志服务默认返回100行结果,您也可以使用LIMIT子句指定返回结果的行数。更多信息,请参见LIMIT子句

    powerSql

    Boolean

    true

    是否使用SQL独享版。更多信息,请参见开启SQL独享版

    • true:使用SQL独享版。

    • false(默认值):使用SQL普通版。

    executeProjectSql

    import com.aliyun.openservices.log.Client;
    import com.aliyun.openservices.log.common.LogContent;
    import com.aliyun.openservices.log.common.LogItem;
    import com.aliyun.openservices.log.common.QueriedLog;
    import com.aliyun.openservices.log.exception.LogException;
    import com.aliyun.openservices.log.response.GetLogsResponse;
    
    import java.util.Date;
    
    public class SlsSample {
    
        public static void main(String args[]) throws LogException,
                InterruptedException {
            // 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
            String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
            String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
            // 输入Project名称。
            String project = "aliyun-test-project";
            // 设置服务接入点。此处以杭州为例,其它地域请根据实际情况填写。
            String host = "cn-hangzhou.log.aliyuncs.com"; 
            // 输入Logstore名称。
            String logStore = "aliyun-test-logstore";
            // 设置Shard ID。
            int shardId = 0;
            
            // 创建日志服务Client。
            Client client = new Client(host, accessId, accessKey);
            // 在指定的Project内执行SQL分析。
            try {
                int now = (int) (new Date().getTime() / 1000);
                String sql = "select count(1) as cnt from xxx where __time__ > " + now;
                GetLogsResponse logsResponse = client.executeProjectSql(project, "select avg(latency),max(latency) ,count(1) as c from sample-logstore where status>200 and __time__>=1500975424 and __time__ < 1501035044 GROUP BY method ORDER BY c", true);
                System.out.println("Returned sql result count:" + logsResponse.GetCount());
                for (QueriedLog log : logsResponse.getLogs()) {
                    LogItem item = log.GetLogItem();
                    for (LogContent content : item.mContents) {
                        System.out.println(content.mKey + ":" + content.mValue);
                    }
                }
                // 打印计算结果的统计信息。
                // 处理的日志行数。
                System.out.println("proccesedRows:" + logsResponse.getProcessedRow());
                // SQL分析执行的时长。
                System.out.println("elapsedMilli:" + logsResponse.getElapsedMilliSecond());
                // 开启SQL独享版后,执行SQL分析所花费的CPU时间,单位为秒。SQL独享版按照CPU时间计费,更多信息,请参见计费项。
                System.out.println("cpuSec:" + logsResponse.getCpuSec());
                // 开启SQL独享版后,执行SQL分析所使用的CPU核数。
                System.out.println("cpuCores:" + logsResponse.getCpuCores());
                System.out.println("requestId:" + logsResponse.GetRequestId());
            } catch (LogException e) {
                System.out.println("error code :" + e.GetErrorCode());
                System.out.println("error message :" + e.GetErrorMessage());
                throw e;
            }
        }
    }

    调用executeProjectSql接口使用SQL独享版,格式为GetLogsResponse logsResponse = client.executeProjectSql(project, query, powerSql),各个参数说明如下表所示。

    参数名称

    类型

    是否必选

    示例

    说明

    project

    String

    不涉及

    Project名称。

    在创建Client时,已定义project,此处无需配置。

    query

    String

    "select avg(latency),max(latency) ,count(1) as c from sample-logstore where status>200 and __time__>=1500975424 and __time__ < 1501035044 GROUP BY method ORDER BY c"

    日志服务默认返回100行结果,您也可以使用LIMIT子句指定返回结果的行数。更多信息,请参见LIMIT子句

    说明

    标准的SQL语句,即您的过滤条件和查询时间需要写在SQL分析语句的WHERE语句中(必须在where条件中添加__time__查询时间范围)。

    powerSql

    Boolean

    true

    是否使用SQL独享版。更多信息,请参见开启SQL独享版

    • true:使用SQL独享版。

    • false(默认值):使用SQL普通版。

相关文档

  • 在调用API接口过程中,若服务端返回结果中包含错误信息,则表示调用API接口失败。您可以参考API错误码对照表查找对应的解决方法。更多信息,请参见API错误处理对照表

  • 阿里云OpenAPI开发者门户提供调试、SDK、示例和配套文档。通过OpenAPI,您无需手动封装请求和签名操作,就可以快速对日志服务API进行调试。更多信息,请参见OpenAPI开发者门户

  • 为满足越来越多的自动化日志服务配置需求,日志服务提供命令行工具CLI(Command Line Interface)。更多信息,请参见日志服务命令行工具CLI

  • 更多示例代码,请参见Aliyun Log Java SDK on GitHub

  • 更多示例代码,请参见Aliyun Log Python SDK on GitHub