使用SQL语句查询分析日志

您可以在任何一个支持MySQL connector的程序中使用MySQL语法连接日志服务。例如JDBC、Python MySQLdb，此处以JDBC为例：

/**
* Created by mayunlei on 2017/6/19.
*/
import com.mysql.jdbc.*;
import java.sql.*;
import java.sql.Connection;
import java.sql.Statement;
/**
* Created by mayunlei on 2017/6/15.
*/
public class CollectTest {
 public static void main(String args[]){
     // 包括Project名称和日志服务经典网络或VPC网络的访问域名，请根据实际情况替换。
     final String endpoint = "trip-demo.cn-hangzhou-intranet.log.aliyuncs.com"; 
     // 通过JDBC访问时，默认使用10005端口。
     final String port = "10005"; 
     // 日志服务Project名称。
     final String project = "trip-demo"; 
     // 日志服务Logstore名称。
     final String logstore = "ebike";
     // 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
     final String accessKeyId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");  
     final String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");  
     Connection conn = null;
     Statement stmt = null;
     try {
         // 步骤1 ：加载JDBC驱动。
         Class.forName("com.mysql.jdbc.Driver");
         // 步骤2 ：创建一个链接。
         conn = DriverManager.getConnection("jdbc:mysql://"+endpoint+":"+port+"/"+project+"?useSSL=false",accessKeyId,accessKey);
         // 步骤3 ：创建statement。
         stmt = conn.createStatement();
         // 步骤4 ：定义查询语句，查询2017年10月11日全天日志中满足条件op = "unlock"的日志条数。
         String sql = "select count(1) as pv from "+logstore+"  " +
                 "where     __date__  >=  '2017-10-11 00:00:00'   " +
                 "     and  __date__  <   '2017-10-12 00:00:00'" +
                 " and     op ='unlock'";
         // 步骤5 ：执行查询条件。
         ResultSet rs = stmt.executeQuery(sql);
         // 步骤6 ：提取查询结果。
         while(rs.next()){
             // Retrieve by column name
             System.out.print("pv:");
             // 获取结果中的pv。
             System.out.print(rs.getLong("pv"));
             System.out.println();
         }
         rs.close();
     } catch (ClassNotFoundException e) {
         e.printStackTrace();
     } catch (SQLException e) {
         e.printStackTrace();
     } catch (Exception e) {
         e.printStackTrace();
     } finally {
         if (stmt != null) {
             try {
                 stmt.close();
             } catch (SQLException e) {
                 e.printStackTrace();
             }
         }
         if (conn != null) {
             try {
                 conn.close();
             } catch (SQLException e) {
                 e.printStackTrace();
             }
         }
     }
 }
}

查询数据。

在命令行工具中，以管理员身份执行如下安装命令安装mysql-connector-python。

pip install mysql-connector-python #python2 命令
pip3 install mysql-connector-python #python3 命令

创建mysqlQuery.py文件，按实际填写以下参数。

import mysql.connector
import os


def main():
    # 用户名
    user = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    # 密码
    password = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
    # endpoint
    host = 'cn-chengdu-intranet.log.aliyuncs.com'
    # 数据库名
    project = 'aliyun-test-project'
    # 端口号
    port = 10005
    # 表名
    logstore = 'logstore-test'
    print("collect database start ")
    # 连接数据库
    cnx = mysql.connector.connect(host=host, user=user, password=password, database=database, port=port)
    print("collect database success ")
    # 创建一个游标对象
    cursor = cnx.cursor()

    # 执行一个查询
    query = "select count(1) as pv from " + logstore + " where __date__  >=  '2024-05-27 00:00:00' and  __date__  <   '2024-05-31 00:00:00'"
    print("query data success")
    cursor.execute(query)
    print("query data success")
    # 获取查询结果
    for (column1) in cursor:
        print("{}".format(column1))

    # 关闭游标和连接
    cursor.close()
    cnx.close()


if __name__ == '__main__':
    main()

输入以下命令查询数据。

python mysqlQuery.py #python2 命令
python3 mysqlQuery.py #python3 命令

连接日志服务。

mysql -h my-project.host -uuser -ppassword -P port

示例：

mysql -h my-project.cn-hangzhou-intranet.log.aliyuncs.com -ubq****mo86kq -p4f****uZP -P 10005

进入当前项目。

use my-project;

查询数据。

select count(1) as pv from my-logstore where __date__  >=  '2024-05-27 00:00:00' and  __date__  <   '2024-05-31 00:00:00'

• ①、②处配置为您的Project。

• ③处配置为您的Logstore。