数据源配置均为Map[string]object的结构,其中key为自定义名称,如下面配置中的holo_info、mysql_info,表示对此数据源的一个唯一性标识,可以在其他配置中引用。
Hologres
Hologres的配置对应配置总览中的HologresConfs。
配置示例:
"HologresConfs": {
"holo_info": {
"DSN": "postgres://${AccessKey}:${AccessSecret}@<HOST>/<DATABASENAME>?sslmode=disable&connect_timeout=1"
}
}
字段名 | 类型 | 是否必填 | 描述 |
DSN | string | 是 | 由ak、host、db拼接的连接信息。 |
如果使用PAI-Rec控制台进行配置,为了保持安全性,${AccessKey}:${AccessSecret}可以不用替换,引擎会自动替换。
Kafka
Kafka的配置对应配置总览中的KafkaConfs。
配置示例:
"KafkaConfs":{
"kafka_info": {
"BootstrapServers":"",
"Topic":""
}
}
字段名 | 类型 | 是否必填 | 描述 |
BootstrapServers | string | 是 | Kafka Server连接信息。 |
Topic | string | 是 | Topic名称。 |
Redis
Redis的配置对应配置总览中的RedisConfs。
配置示例:
"RedisConfs":{
"redis_info":{
"Host":"",
"Port":6379,
"Password":"",
"DbNum":0,
"MaxIdle":0,
"ConnectTimeout":30,
"ReadTimeout":50,
"WriteTimeout":50
}
}
字段名 | 类型 | 是否必填 | 描述 |
Host | string | 是 | Host信息。 |
Port | int | 是 | Port信息。 |
Password | string | 是 | 登录密码。 |
DbNum | int | 否 | Redis数据库,默认为0 。 |
MaxIdle | int | 否 | 闲置连接的最大数量。 |
ConnectTimeout | int | 否 | 连接时间。 |
ReadTimeout | int | 否 | 读超时时间。 |
WriteTimeout | int | 否 | 写超时时间。 |
Mysql
Mysql的配置对应配置总览中的MysqlConfs。
配置示例:
"MysqlConfs": {
"mysql_info": {
"DSN": "<USERNAME>:<PASSWORD>@tcp(<HOST>)/<DATABASENAME>?parseTime=true&loc=Asia%2FShanghai"
}
}
字段名 | 类型 | 是否必填 | 描述 |
DSN | string | 是 | 由用户名、密码等拼接成的连接信息。 |
Graph
Graph的配置对应配置总览中的GraphConfs。
配置示例:
"GraphConfs": {
"graph_info": {
"Host":"",
"UserName":"",
"Passwd":""
}
}
字段名 | 类型 | 是否必填 | 描述 |
Host | string | 是 | Host信息。 |
UserName | string | 是 | 用户名。 |
Passwd | string | 是 | 密码。 |
FeatureStore(特征平台)
PAI-FeatureStore的配置对应配置总览中的FeatureStoreConfs。PAI-FeatureStore如何使用,参考FeatureStore概述。
配置示例:
"FeatureStoreConfs": {
"fs_info": {
"RegionId":"cn-hangzhou",
"AccessId": "${AccessKey}",
"AccessKey":"${AccessSecret}",
"ProjectName":""
}
}
字段名 | 类型 | 是否必填 | 描述 |
RegionId | string | 是 | Region信息,比如cn-hangzhou、cn-beijing等。 |
AccessId | string | 是 | 账号的AccessKeyId,这里无需显示写,系统会自动替换。 |
AccessKey | string | 是 | 账号的AccessKeySecret,这里无需显示写,系统会自动替换。 |
ProjectName | string | 是 | FS内创建的项目名称。 |
SLS
SLS的配置对应配置总览中的SlsConfs。
配置示例:
"SlsConfs": {
"sls_info": {
"EndPoint":"",
"AccessKeyId":"${AccessKey}",
"AccessKeySecret":"${AccessSecret}",
"ProjectName":"",
"LogstoreName":"",
}
}
字段名 | 类型 | 是否必填 | 描述 |
EndPoint | string | 是 | Endpoint信息。 |
AccessKeyId | string | 是 | 账号的AccessKeyId,这里无需显示写,系统会自动替换。 |
AccessKeySecret | string | 是 | 账号的AccessKeySecret,这里无需显示写,系统会自动替换。 |
ProjectName | string | 是 | 项目名称。 |
LogstoreName | string | 是 | 日志库名称。 |
DataHub
DataHub的配置对应配置总览中的DataHubConfs。
配置示例:
"DatahubConfs": {
"datahub_info": {
"AccessId":"${AccessKey}",
"AccessKey":"${AccessSecret}",
"Endpoint":"",
"ProjectName":"",
"TopicName":"",
"Schemas":[]DatahubTopicSchema
}
}
字段名 | 类型 | 是否必填 | 描述 |
AccessId | string | 是 | 账号的AccessKeyId,这里无需显示写,系统会自动替换。 |
AccessKey | string | 是 | 账号的AccessKeySecret,这里无需显示写,系统会自动替换。 |
Endpoint | string | 是 | Endpoint信息。 |
ProjectName | string | 是 | 项目名称。 |
TopicName | string | 是 | Topic名称。 |
Schemas | []DatahubTopicSchema | 是 | Topic的Schema。 |
DatahubTopicSchema
字段名 | 类型 | 是否必填 | 描述 |
Field | string | 是 | Schema字段的名称。 |
Type | string | 是 | Schema字段的类型,有效值为:string、integer、bigint、double、float、timestamp。 |
OTS(Tablestore)
Tablestore的配置对应配置总览中的TableStoreConfs。
配置示例:
"TableStoreConfs": {
"tablestore_info": {
"EndPoint":"",
"InstanceName":"",
"AccessKeyId":"${AccessKey}",
"AccessKeySecret":"${AccessSecret}"
}
}
字段名 | 类型 | 是否必填 | 描述 |
EndPoint | string | 是 | Endpoint信息。 |
InstanceName | string | 是 | 实例名称。 |
AccessKeyId | string | 是 | 账号的AccessKeyId,这里无需显示写,系统会自动替换。 |
AccessKeySecret | string | 是 | 账号的AccessKeySecret,这里无需显示写,系统会自动替换。 |