文档

通过Python SDK使用SQL独享版

更新时间:

本文介绍通过Python SDK使用SQL独享版的代码示例。

前提条件

  • 已创建RAM用户并完成授权。具体操作,请参见创建RAM用户并完成授权

  • 已配置环境变量ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作,请参见在Linux、macOS和Windows系统配置环境变量

    重要
    • 阿里云账号的AccessKey拥有所有API的访问权限,建议您使用RAM用户的AccessKey进行API访问或日常运维。

    • 强烈建议不要把AccessKey ID和AccessKey Secret保存到工程代码里,否则可能导致AccessKey泄露,威胁您账号下所有资源的安全。

  • 已安装0.7.5及以上版本的Python SDK。更多信息,请参见安装Python SDK

背景信息

日志服务提供SQL独享版,用于增强SQL分析能力,支持千亿行数据的计算。更多信息,请参见开启SQL独享版

日志服务提供execute_logstore_sql接口和execute_project_sql接口,帮助您更简单的使用SQL独享版。

  • execute_logstore_sql接口:在指定Logstore中使用SQL独享版。该接口支持的查询和分析语法兼容标准的SQL92语法,格式为查询语句|分析语句,其中分析语句采用标准的SQL92语法。

  • execute_project_sql接口:在指定Project中使用SQL独享版。该接口支持的查询和分析语法为标准的SQL92语法,即您的过滤条件和查询时间要写在SQL分析语句的WHERE语句中。

说明

如果您执行分析操作时,需要先过滤一部分数据再分析,建议您使用查询语句|分析语句语法,效率更高,即推荐使用execute_logstore_sql接口。

使用SQL独享版的代码示例

代码示例如下,更多信息,请参见Aliyun Log Python SDK

# encoding: utf-8
from __future__ import print_function

import time
import os
from aliyun.log import *


def main():
    # 日志服务的服务接入点。此处以杭州为例,其它地域请根据实际情况填写。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
    access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
    # Project名称。
    project_name = 'aliyun-test-project'
    # Logstore名称。
    logstore_name = 'aliyun-test-logstore'

    # 创建日志服务Client。
    client = LogClient(endpoint, access_key_id, access_key)

    # 在指定的Logstore内执行SQL分析。
    print("===sample_execute_logstore_sql===")
    res = client.execute_logstore_sql(project_name, logstore_name,
                                      int(time.time() - 60),int(time.time()),
                                      "* | select count(1) as cnt",True)
    # 打印计算结果的统计信息。
    res.log_print()
    # 处理的日志行数。
    print("processed_rows: %s" % res.get_processed_rows())
    # SQL分析执行的时长。
    print("elapsed_mills: %s" % res.get_elapsed_mills())
    # 是否使用了SQL语句。
    print("has_sql: %s" % res.get_has_sql())
    # 竖线(|)前的WHERE语句。
    print("where_query: %s" % res.get_where_query())
    # 竖线(|)后的SELECT聚合计算语句。
    print("agg_query: %s" % res.get_agg_query())
    # 开启SQL独享版后,执行SQL分析所花费的CPU时间,单位为秒。SQL独享版按照CPU时间计费,更多信息,请参见计费项。
    print("cpu_sec: %s" % res.get_cpu_sec())
    # 开启SQL独享版后,执行SQL分析所使用的CPU核数。
    print("cpu_cores: %s" % res.get_cpu_cores())


    # 在指定的Project内执行SQL分析。
    print("===sample_execute_project_sql===")
    res = client.execute_project_sql(project_name,"select count(1) as cnt from %s where __time__ > %s"
                                     % (logstore_name, int(time.time() - 60)),True)
    # 打印计算结果的统计信息。
    res.log_print()
    # 处理的日志行数。
    print("processed_rows: %s" % res.get_processed_rows())
    # SQL分析执行的时长。
    print("elapsed_mills: %s" % res.get_elapsed_mills())
    # 是否使用了SQL语句。
    print("has_sql: %s" % res.get_has_sql())
    # 竖线(|)前的WHERE语句。
    print("where_query: %s" % res.get_where_query())
    # 竖线(|)后的SELECT聚合计算语句。
    print("agg_query: %s" % res.get_agg_query())
    # 开启SQL独享版后,执行SQL分析所花费的CPU时间,单位为秒。SQL独享版按照CPU时间计费,更多信息,请参见计费项。
    print("cpu_sec: %s" % res.get_cpu_sec())
    # 开启SQL独享版后,执行SQL分析所使用的CPU核数。
    print("cpu_cores: %s" % res.get_cpu_cores())


if __name__ == '__main__':
    main()
  • execute_logstore_sql接口

    调用execute_logstore_sql接口使用SQL独享版,格式为res = client.execute_logstore_sql(project, logstoreName, from, to, query, powerSql),各个参数说明如下表所示。

    参数名称

    类型

    是否必选

    示例

    说明

    project_name

    String

    不涉及

    Project名称。

    在创建Client时,已定义project_name,此处无需配置。

    logstore_name

    String

    不涉及

    Logstore名称。

    在创建Client时,已定义logstore_name,此处无需配置。

    from

    Long

    int(time.time() - 60)

    查询起始时间。Unix时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

    to

    Long

    int(time.time())

    查询结束时间点。Unix时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

    query

    String

    "* | select count(1) as cnt"

    日志服务查询和分析语句,格式为查询语句|分析语句。更多信息,请参见基础语法

    日志服务默认返回100行结果,您也可以使用LIMIT子句指定返回结果的行数。更多信息,请参见LIMIT子句

    powerSql

    Boolean

    True

    是否使用SQL独享版。更多信息,请参见开启SQL独享版

    • True:使用SQL独享版。

    • False(默认值):使用SQL普通版。

  • execute_project_sql接口

    调用execute_project_sql接口使用SQL独享版,格式为res = client.execute_project_sql(project, query, powerSql),各个参数说明如下表所示。

    参数名称

    类型

    是否必选

    示例

    说明

    project_name

    String

    aliyun-test-project

    Project名称。

    在创建Client时,已定义project_name,此处无需配置。

    query

    String

    "select count(1) as cnt from %s where __time__ > %s" % (logstore_name, int(time.time() - 60))

    标准的SQL语句,即您的查询语句要写在SQL分析语句的WHERE语句中。

    日志服务默认返回100行结果,您也可以使用LIMIT子句指定返回结果的行数。更多信息,请参见LIMIT子句

    powerSql

    Boolean

    True

    是否使用SQL独享版。更多信息,请参见开启SQL独享版

    • True:使用SQL独享版。

    • False(默认值):使用SQL普通版。

创建、更新和获取SQL Instance的代码示例

开启SQL独享版后,您还可以创建SQL Instance,用于指定SQL独享版CU数。日志服务通过SQL独享版的CU数来控制SQL独享版的费用。代码示例如下,更多信息,请参见Aliyun Log Python SDK

# encoding: utf-8
from __future__ import print_function

import time
import os
from aliyun.log import *

def main():
    # 日志服务的服务入口。更多信息,请参见服务入口。此处以杭州为例,其它地域请根据实际情况填写。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
    access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
    # Project名称。
    project_name = 'aliyun-test-project'
    # Logstore名称。
    logstore_name = 'aliyun-test-logstore'

    # 创建日志服务Client。
    client = LogClient(endpoint, access_key_id, access_key)

    # 创建SQL Instance配置,支持配置SQL独享版CU数。CU数的取值范围为0~1000。
    print("===sample_create_sql_instance===")
    res = client.create_sql_instance(project_name, 500)
    res.log_print()

    # 更新SQL Instance配置,支持更新SQL独享版CU数。CU数的取值范围为0~1000。
    print("===sample_update_sql_instance===")
    res = client.update_sql_instance(project_name, 800)
    res.log_print()

    # 获取SQL Instance配置。
    print("===sample_list_sql_instance===")
    res = client.list_sql_instance(project_name)
    res.log_print()


if __name__ == '__main__':
    main()