SPL函数

使用限制

• 已经通过make-series构造出series格式数据，并且时间单位为纳秒。

• 每行的时间点数量至少为31个 。

语法

series_forecast(array(T) field, bigint periods)

或

series_forecast(array(T) field, bigint periods, varchar params)

参数说明

返回值

row(
  time_series array(bigint),
  metric_series array(double),
  forecast_metric_series array(double),
  forecast_metric_upper_series array(double),
  forecast_metric_lower_series array(double),
  forecast_start_index bigint,
  forecast_length bigint,
  error_msg varchar)

示例

统计不同request_method接下来10个时间点的数量。

• SPL语句

  * | extend ts = second_to_nano(__time__ - __time__ % 60)
    | stats latency_avg = max(cast(status as double)), inflow_avg = min(cast (status as double)) by ts, request_method
    | make-series   latency_avg  default = 'last',
                  inflow_avg default = 'last'
                  on ts 
                  from 'min' to 'max'
                   step '1m' 
                  by request_method
   | extend test=series_forecast(inflow_avg, 10)

• 输出结果

  查询结果按 request_method 分组返回两行数据：GET 请求的 latency_avg 为 200.0，POST 请求的 latency_avg 为 500.0，两者的 inflow_avg 均为 200.0，同时包含 _ts_ 和 test 时间戳数组列。

算法参数

D        daily frequency
H        hourly frequency
T, min   minutely frequency
S        secondly frequency

使用限制

• 已经通过make-series构造出series格式数据，并且时间单位为纳秒。

• 每行的时间点数量至少为11个 。

语法

series_pattern_anomalies(array(T) metric_series)

参数说明

返回值

row(
  anomalies_score_series array(double),
  anomalies_type_series array(varchar)
  error_msg varchar
) 

示例

检测当前时间点的序列是否有异常。

• SPL语句

  * | extend ts = second_to_nano(__time__ - __time__ % 60)
    | stats latency_avg = max(cast(status as double)), inflow_avg = min(cast (status as double)) by ts, request_method
    | where request_method is not null
    | make-series   latency_avg  default = 'last',
                  inflow_avg default = 'last'
                  on ts 
                  from 'min' to 'max'
                   step '1m' 
                  by request_method
   | extend test=series_pattern_anomalies(inflow_avg)

• 输出结果

  查询结果按 request_method 分组，包含 latency_avg、inflow_avg、_ts_、request_method、test 五列。其中 POST 请求的 latency_avg 为 500.0，GET 请求的 latency_avg 为 200.0；inflow_avg 均为 200.0；test 列值全为 0。

使用限制

• 已经通过make-series构造出series格式数据，并且时间单位为纳秒。

• 每行的时间点数量至少为11个 。

语法

series_decompose_anomalies(array(T) metric_series)

或

series_decompose_anomalies(array(T) metric_series, varchar params)

参数说明

返回值

row(
  metric_baseline_series array(double)
  anomalies_score_series array(double),
  anomalies_type_series array(varchar)
  error_msg varchar
) 

示例

对所有时间线异常检测之后，保留最近 5 min 异常分数值大于等于0的时间线。

• SPL语句

  * | extend ts = second_to_nano(__time__ - __time__ % 60)
    | stats latency_avg = max(cast(status as double)), inflow_avg = min(cast (status as double)) by ts, request_method
    | where request_method is not null
    | make-series   latency_avg  default = 'last',
                  inflow_avg default = 'last'
                  on ts 
                  from 'min' to 'max'
                   step '1m' 
                  by request_method
   | extend test=series_decompose_anomalies(inflow_avg, '{"confidence":"0.005"}')
   | extend anomalies_score_series = test.anomalies_score_series
   | where array_max(slice(anomalies_score_series, -5, 5)) >= 0

• 输出结果

  查询结果包含六列：latency_avg、inflow_avg、_ts_、request_method、test（预测值）和 anomalies_score_series（异常分数）。两行数据分别对应 GET 和 POST 请求方法，其中 test 列为接近 200 的预测值数组，anomalies_score_series 列值接近 0，表示数据无异常。

算法参数

语法

series_drilldown(array(varchar) label_0_array,array(varchar) label_1_array,array(varchar) label_2_array, ... ,array(array(bigint)) time_series_array,array(array(double)) metric_series_array,bigint begin_time,bigint end_time)

或

series_drilldown(array(varchar) label_0_array,array(varchar) label_1_array,array(varchar) label_2_array, ... ,array(array(bigint)) time_series_array,array(array(double)) metric_series_array,bigint begin_time,bigint end_time,varchar config)

参数说明

返回值

row(dirlldown_result varchar, error_msg varchar)

dirlldown_result参数说明

{
  "attrs": [
    {
      "api": "/ids/ml/annotationdataset",
      "resource": "test"
    },
    {
      "api": "/console/logs/getLogs"
    }
  ],
  "statistics": {
    "relative_ratio": 0.5003007763190033,
    "relative_ratio_predict": 1.0000575873881987,
    "unexpected_difference": -4.998402840764594,
    "relative_unexpected_difference": -0.499660063545782,
    "difference": -4.999183856137503,
    "predict": 5.005203022057271,
    "relative_ratio_real": 1.9987568734256989,
    "real": 10.004386878194774,
    "support": 50
  }
}

示例

• SPL语句

  *
  | extend ts= (__time__- __time__%60)*1000000000
  | stats access_count = count(1) by ts, Method, ProjectName
  | extend access_count = cast( access_count as double)
  | make-series   access_count = access_count default = 'null'
                  on ts
                  from 'sls_begin_time' to 'sls_end_time'
                  step '1m'
                  by Method, ProjectName
  | stats m_arr = array_agg(Method), ProjectName = array_agg(ProjectName), ts_arr = array_agg(__ts__), metrics_arr = array_agg(access_count)
  | extend ret = series_drilldown(ARRAY['Method', 'Project'], m_arr, ProjectName, ts_arr, metrics_arr, 1739192700000000000, 1739193000000000000, '{"fill_na": "1", "gap_size": "3"}')
  | project ret

• 输出结果

  drilldown_result 列展示一条分析记录的 JSON 结构，包含 attrs 数组（列出相关 API 路径，如 /ids/ml/annotationdataset、/console/logs/getLogs、/console/metaRecordAjax/getWithIdentity 等）和 statistics 对象（包含 support、real、predict、difference、unexpected_difference、relative_unexpected_difference、relative_ratio、relative_ratio_predict、relative_ratio_real 等统计指标）。error_msg 列显示 Incomplete，表示该记录状态不完整。

语法

cluster(array(array(double)) array_vector, varchar cluster_mode,varchar params)

参数说明

{
  "n_clusters": "5",
  "max_iter": "100",
  "tol": "0.0001",
  "init_mode": "kmeans++",
  "metric": "cosine/euclidean"
}

{
  "epsilon": "0.1", // 注意：当 epsilon 的值 小于等于 0 时，算法会自动的去推断这个参数。
  "min_samples": "5"
}

返回值

row(
  n_clusters bigint, 
  cluster_sizes array(bigint), 
  assignments array(bigint),  
  error_msg varchar 
)

示例

• SPL语句

  * and __tag__:__job__: sql-calculate-metric
  | extend time = cast(time as bigint) - cast(time as bigint) % 300 
  | extend time = second_to_nano(time) 
  | stats avg_latency = avg(cast(sum_latency as double)) by time, Method 
  | make-series avg_latency = avg_latency default = '0' on time from 'sls_begin_time' to 'sls_end_time' step '5m' by Method 
  | stats method_array = array_agg(Method), ts_array = array_agg(__ts__), ds_array = array_agg(avg_latency)
  | extend ret = cluster(ds_array, 'kmeans', '{"n_clusters":"5"}')
  | extend n_clusters = ret.n_clusters, cluster_sizes = ret.cluster_sizes, assignments = ret.assignments, error_msg = ret.assignments

• 输出结果

  聚类模型的输出结果表格包含以下字段：method_array（API方法名数组）、ts_array（时间戳数组）、ds_array（特征数据数组）、ret（返回结果嵌套数组）、n_clusters（聚类数，值为 5）、cluster_sizes（各聚类大小，值为 [2,1,4,1,75]）、assignments（每条数据的聚类分配标签数组）、error_msg（错误信息）。

使用限制

已经通过make-series构造出 series 格式数据，时间单位必须精确到纳秒。

语法

series_describe(__ts__ array<bigint>, __ds__ array<double>)

或

series_describe(__ts__ array<bigint>, __ds__ array<double>,config varchar)

参数说明

返回值

row(statistic varchar, error_msg varchar)

{
	"duplicate_count": 0, 
	"total_count": 1,
	"mean": 3.0,
	"variance": null,
	"min": 3.0,
	"max": 3.0,
	"median": 3.0,
	"interval": null,
	"missing_count": 0,
	"adf_test": null,
	"is_stable": false,
	"period": null,
	"trend": null
}

示例

• SPL语句

  * and entity.file_name: "239_UCR_Anomaly_taichidbS0715Master.test.csv"
  | extend time = cast(__time__ as bigint) 
  | extend time = time - time % 60 
  | stats value = avg(cast(value as double)) by time 
  | extend time = second_to_nano(time)
  | make-series value = value default = 'nan' on time from 'min' to 'max' step '1m' 
  | extend ret = series_describe(value)

• 输出结果

  查询返回5列：value、__ts__、ret、statistic、error_msg。其中 ret 列包含JSON格式的统计分析结果，主要字段包括 duplicate_count（0）、total_count（1440）、mean（-1046.9）、variance（2222880.54）、min（-2047.0）、max（-1592.0）、median（-1591.0）、interval（60000000000.0）、missing_count（0）、adf_test（-1.739）、is_stable（false）、trend（-1.445）等。error_msg 列为 null。

使用限制

入参已经通过make-series构造出 series 格式数据。

语法

• 重载1

  correlation(arr_1 array(double), arr_2 array(double), params varchar)

• 重载2

  correlation(arr_arr_1, array(array(double)), arr_2 array(double), params varchar)

• 重载3

  correlation(arr_arr_1 array(array(double)), arr_arr_2  array(array(double)), params varchar)

参数说明

• 重载1

  参数	说明
  arr_1	一条时间序列（通过make-series生成的单个单元）。
  arr_2	一条时间序列（通过make-series生成的单个单元）。
  params	算法参数（可选），json 格式。

• 重载2

  参数	说明
  arr_arr_1	一条时间序列（通过make-series生成的单个单元）处理后，使用array_agg函数返回一个二维数组。
  arr_2	一条时间序列（通过make-series生成的单个单元）。
  params	算法参数（可选），json 格式。

• 重载3

  参数	说明
  arr_arr_1	一条时间序列（通过make-series生成的单个单元）处理后，使用array_agg函数返回一个二维数组。
  arr_arr_2	一条时间序列（通过make-series生成的单个单元）处理后，使用array_agg函数返回一个二维数组。
  params	算法参数（可选），json 格式。

算法参数

返回值

• 重载1

  row(result double)

  列名	类型	说明
  result	double	入参arr_1和arr_2的相关性系数。

• 重载2

  row(result  array(double))

  列名	类型	说明
  result	array(double)	arr_arr_1里面每一个向量和和arr_2的相关性系数的数组， 返回数组的长度是 arr_arr_1里面向量的个数。

• 重载3

  row(result  array(array(double)))

  列名	类型	说明
  result	array(array(double))	返回的是一个矩阵。如果数据不为空，第i行j列是 arr_arr_1[i] 和arr_arr_2[j]的相关性系数。

示例