数据源配置

数据源配置均为Map[string]object的结构,其中key为自定义名称,如下面配置中的holo_info、mysql_info,表示对此数据源的一个唯一性标识,可以在其他配置中引用。

Hologres

Hologres的配置对应配置总览中的HologresConfs。

配置示例:

 "HologresConfs": {
      "holo_info": {
        "DSN": "postgres://${AccessKey}:${AccessSecret}@<HOST>/<DATABASENAME>?sslmode=disable&connect_timeout=1"
      }
  }

字段名

类型

是否必填

描述

DSN

string

由ak、host、db拼接的连接信息。

重要

如果使用PAI-Rec控制台进行配置,为了保持安全性,${AccessKey}:${AccessSecret}可以不用替换,引擎会自动替换。

Kafka

Kafka的配置对应配置总览中的KafkaConfs。

配置示例:

"KafkaConfs":{
  "kafka_info": {
    "BootstrapServers":"",
    "Topic":""
  }
}

字段名

类型

是否必填

描述

BootstrapServers

string

Kafka Server连接信息。

Topic

string

Topic名称。

Redis

Redis的配置对应配置总览中的RedisConfs。

配置示例:

"RedisConfs":{
  "redis_info":{
    "Host":"",
    "Port":6379,
    "Password":"",
    "DbNum":0,
    "MaxIdle":0,
    "ConnectTimeout":30,
    "ReadTimeout":50,
    "WriteTimeout":50
  }
}

字段名

类型

是否必填

描述

Host

string

Host信息。

Port

int

Port信息。

Password

string

登录密码。

DbNum

int

Redis数据库,默认为0 。

MaxIdle

int

闲置连接的最大数量。

ConnectTimeout

int

连接时间。

ReadTimeout

int

读超时时间。

WriteTimeout

int

写超时时间。

Mysql

Mysql的配置对应配置总览中的MysqlConfs。

配置示例:

 "MysqlConfs": {
      "mysql_info": {
        "DSN": "<USERNAME>:<PASSWORD>@tcp(<HOST>)/<DATABASENAME>?parseTime=true&loc=Asia%2FShanghai"
      }
  }

字段名

类型

是否必填

描述

DSN

string

由用户名、密码等拼接成的连接信息。

Graph

Graph的配置对应配置总览中的GraphConfs。

配置示例:

 "GraphConfs": {
      "graph_info": {
         "Host":"",
    	 "UserName":"",
    	 "Passwd":""
      }
  }

字段名

类型

是否必填

描述

Host

string

Host信息。

UserName

string

用户名。

Passwd

string

密码。

FeatureStore(特征平台)

PAI-FeatureStore的配置对应配置总览中的FeatureStoreConfs。PAI-FeatureStore如何使用,参考FeatureStore概述

配置示例:

 "FeatureStoreConfs": {
      "fs_info": {
         "RegionId":"cn-hangzhou",
         "AccessId": "${AccessKey}",
         "AccessKey":"${AccessSecret}",
    	 "ProjectName":""
      }
  }

字段名

类型

是否必填

描述

RegionId

string

Region信息,比如cn-hangzhou、cn-beijing等。

AccessId

string

账号的AccessKeyId,这里无需显示写,系统会自动替换。

AccessKey

string

账号的AccessKeySecret,这里无需显示写,系统会自动替换。

ProjectName

string

FS内创建的项目名称。

SLS

SLS的配置对应配置总览中的SlsConfs。

配置示例:

 "SlsConfs": {
      "sls_info": {
    		"EndPoint":"",
    		"AccessKeyId":"${AccessKey}",
    		"AccessKeySecret":"${AccessSecret}",
    		"ProjectName":"",
    		"LogstoreName":"",
      }
  }

字段名

类型

是否必填

描述

EndPoint

string

Endpoint信息。

AccessKeyId

string

账号的AccessKeyId,这里无需显示写,系统会自动替换。

AccessKeySecret

string

账号的AccessKeySecret,这里无需显示写,系统会自动替换。

ProjectName

string

项目名称。

LogstoreName

string

日志库名称。

DataHub

DataHub的配置对应配置总览中的DataHubConfs。

配置示例:

 "DatahubConfs": {
      "datahub_info": {
 		"AccessId":"${AccessKey}",
    		"AccessKey":"${AccessSecret}",
    		"Endpoint":"",
    		"ProjectName":"",
    		"TopicName":"",
    		"Schemas":[]DatahubTopicSchema
      }
  }

字段名

类型

是否必填

描述

AccessId

string

账号的AccessKeyId,这里无需显示写,系统会自动替换。

AccessKey

string

账号的AccessKeySecret,这里无需显示写,系统会自动替换。

Endpoint

string

Endpoint信息。

ProjectName

string

项目名称。

TopicName

string

Topic名称。

Schemas

[]DatahubTopicSchema

Topic的Schema。

DatahubTopicSchema

字段名

类型

是否必填

描述

Field

string

Schema字段的名称。

Type

string

Schema字段的类型,有效值为:string、integer、bigint、double、float、timestamp。

OTS(Tablestore)

Tablestore的配置对应配置总览中的TableStoreConfs。

配置示例:

"TableStoreConfs": {
      "tablestore_info": {
 		        "EndPoint":"",
    			"InstanceName":"",
    			"AccessKeyId":"${AccessKey}",
    			"AccessKeySecret":"${AccessSecret}"
      }
  }

字段名

类型

是否必填

描述

EndPoint

string

Endpoint信息。

InstanceName

string

实例名称。

AccessKeyId

string

账号的AccessKeyId,这里无需显示写,系统会自动替换。

AccessKeySecret

string

账号的AccessKeySecret,这里无需显示写,系统会自动替换。