如何使用JDBC查询分析日志_日志服务(SLS)-阿里云帮助中心

本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。

背景信息

MySQL是当前流行的关系型数据库，很多软件支持通过MySQL传输协议和SQL语法获取MySQL数据。因此，为了满足不同业务场景、不同系统查询和分析日志的需求，日志服务也可以被视为MySQL数据库来使用。您可以使用标准MySQL连接工具连接到日志服务，使用标准的SQL语法计算和分析日志。支持MySQL传输协议的客户端包括MySQL client，JDBC和MySQL Connector/Python。日志服务查询分析语句转换成SQL语句请参见查询和分析语法。

使用场景：

在可视化工具中（如DataV、Tableau或Grafana等）将日志服务作为数据源进行可视化分析。
在Java（或Python）程序中，需要查询、分析或使用日志服务中的数据时，可以通过Java的JDBC（或MySQL Connector/Python）等方式连接日志服务。

日志服务和MySQL数据库对比：

日志服务	MySQL
Project	数据库（database）
Logstore	表（table）
索引	表字段

重要

日志服务使用SQL语句查询分析日志不支持分页。

使用限制

目前日志服务仅支持JDBC 5.1.49版本。
使用Java的JDBC、Python的MySQL Connector等库在程序中访问日志服务时，目前仅支持私网服务入口（阿里云经典网络和VPC网络的访问域名）。更多信息，请参见服务入口。否则会出现连接超时报错com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure，Caused by: java.net.ConnectException: Connection timed out: connect。

前提条件

已创建RAM用户并完成授权。具体操作，请参见创建RAM用户并完成授权。
已配置环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见在Linux、macOS和Windows系统配置环境变量。
重要
- 阿里云账号的AccessKey拥有所有API的访问权限，建议您使用RAM用户的AccessKey进行API访问或日常运维。
- 强烈建议不要把AccessKey ID和AccessKey Secret保存到工程代码里，否则可能导致AccessKey泄露，威胁您账号下所有资源的安全。
已为目标字段设置字段索引并开启统计功能。更多信息，请参见创建索引。

日志示例

以共享单车日志为例，共享单车日志内容包括用户年龄、性别、电量使用量、车辆ID、操作延时、纬度、锁类型、经度、操作类型、操作结果和开锁方式。数据保存在名为project:trip_demo的Project下，名为Logstore:ebike的Logstore中。Project所在地域是cn-hangzhou。

日志示例如下：

Time :10-12 14:26:44
__source__: 192.168.0.0
__topic__: v1 
age: 55 
battery: 118497.673842 
bikeid: 36 
gender: male 
latency: 17 
latitude: 30.2931185245 
lock_type: smart_lock 
longitude: 120.052840484 
op: unlock 
op_result: ok 
open_lock: bluetooth 
userid: 292

JDBC统计

创建一个Maven项目，在POM依赖中添加JDBC依赖（目前日志服务仅支持JDBC 5.1.49版本），示例代码如下所示。
```
<dependency>
 <groupId>mysql</groupId>
 <artifactId>mysql-connector-java</artifactId>
 <version>5.1.49</version>
</dependency>
```

使用Java程序通过JDBC查询日志数据，示例代码如下所示。

重要

在where条件中必须包含__date__字段或__time__字段来限制查询的时间范围。__date__字段是timestamp类型，__time__字段是bigint类型。例如：

__date__ > '2017-08-07 00:00:00' and __date__ < '2017-08-08 00:00:00'
__time__ > 1502691923 and __time__ < 1502692923

/**
* Created by mayunlei on 2017/6/19.
*/
import com.mysql.jdbc.*;
import java.sql.*;
import java.sql.Connection;
import java.sql.Statement;
/**
* Created by mayunlei on 2017/6/15.
*/
public class CollectTest {
 public static void main(String args[]){
     // 包括Project名称和日志服务经典网络或VPC网络的访问域名，请根据实际情况替换。
     final String endpoint = "cn-hangzhou-intranet.log.aliyuncs.com"; 
     // 通过JDBC访问时，默认使用10005端口。
     final String port = "10005"; 
     // 日志服务Project名称。
     final String project = "trip-demo"; 
     // 日志服务Logstore名称。
     final String logstore = "ebike";
     // 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
     final String accessKeyId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");  
     final String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");  
     Connection conn = null;
     Statement stmt = null;
     try {
         // 步骤1 ：加载JDBC驱动。
         Class.forName("com.mysql.jdbc.Driver");
         // 步骤2 ：创建一个链接。
         conn = DriverManager.getConnection("jdbc:mysql://"+endpoint+":"+port+"/"+project+"?useSSL=false",accessKeyId,accessKey);
         // 步骤3 ：创建statement。
         stmt = conn.createStatement();
         // 步骤4 ：定义查询语句，查询2017年10月11日全天日志中满足条件op = "unlock"的日志条数。
         String sql = "select count(1) as pv,avg(latency) as avg_latency from "+logstore+"  " +
                 "where     __date__  >=  '2017-10-11 00:00:00'   " +
                 "     and  __date__  <   '2017-10-12 00:00:00'" +
                 " and     op ='unlock'";
         // 步骤5 ：执行查询条件。
         ResultSet rs = stmt.executeQuery(sql);
         // 步骤6 ：提取查询结果。
         while(rs.next()){
             // Retrieve by column name
             System.out.print("pv:");
             // 获取结果中的pv。
             System.out.print(rs.getLong("pv"));
             System.out.print(" ; avg_latency:");
             // 获取结果中的avg_latency。
             System.out.println(rs.getDouble("avg_latency"));
             System.out.println();
         }
         rs.close();
     } catch (ClassNotFoundException e) {
         e.printStackTrace();
     } catch (SQLException e) {
         e.printStackTrace();
     } catch (Exception e) {
         e.printStackTrace();
     } finally {
         if (stmt != null) {
             try {
                 stmt.close();
             } catch (SQLException e) {
                 e.printStackTrace();
             }
         }
         if (conn != null) {
             try {
                 conn.close();
             } catch (SQLException e) {
                 e.printStackTrace();
             }
         }
     }
 }
}

参数	描述	是否必选	示例值
project	目标Project。	是	trip-demo
endpoint	阿里云私网。	是	cn-hangzhou-intranet.log.aliyuncs.com
port	端口号。	是	10005
accessId	标识用户。	是	LT*******************KX
accessKey	用户用于加密签名字符串和日志服务用来验证签名字符串的密钥。	是	aaw************************Qf