数据源配置均为Map[string]object的结构,其中key为自定义名称,如下面配置中的holo_info、mysql_info,表示对此数据源的一个唯一性标识,可以在其他配置中引用。
Hologres
Hologres的配置对应配置总览中的HologresConfs。
配置示例:
"HologresConfs": {
"holo_info": {
"DSN": "postgres://<UserName>:<Password>@<HOST>/<DATABASENAME>?sslmode=disable&connect_timeout=1"
}
}
字段名 | 类型 | 是否必填 | 描述 |
DSN | string | 是 | 由user、password、host、db拼接的连接信息。 |
其中 UserName 和 Password 需要用户创建自定义用户
Kafka
Kafka的配置对应配置总览中的KafkaConfs。
配置示例:
"KafkaConfs":{
"kafka_info": {
"BootstrapServers":"",
"Topic":""
}
}
字段名 | 类型 | 是否必填 | 描述 |
BootstrapServers | string | 是 | Kafka Server连接信息。 |
Topic | string | 是 | Topic名称。 |
Redis
Redis的配置对应配置总览中的RedisConfs。
配置示例:
"RedisConfs":{
"redis_info":{
"Host":"",
"Port":6379,
"Password":"",
"DbNum":0,
"MaxIdle":0,
"ConnectTimeout":30,
"ReadTimeout":50,
"WriteTimeout":50
}
}
字段名 | 类型 | 是否必填 | 描述 |
Host | string | 是 | Host信息。 |
Port | int | 是 | Port信息。 |
Password | string | 是 | 登录密码。 |
DbNum | int | 否 | Redis数据库,默认为0 。 |
MaxIdle | int | 否 | 闲置连接的最大数量。 |
ConnectTimeout | int | 否 | 连接时间。 |
ReadTimeout | int | 否 | 读超时时间。 |
WriteTimeout | int | 否 | 写超时时间。 |
Mysql
Mysql的配置对应配置总览中的MysqlConfs。
配置示例:
"MysqlConfs": {
"mysql_info": {
"DSN": "<USERNAME>:<PASSWORD>@tcp(<HOST>)/<DATABASENAME>?parseTime=true&loc=Asia%2FShanghai"
}
}
字段名 | 类型 | 是否必填 | 描述 |
DSN | string | 是 | 由用户名、密码等拼接成的连接信息。 |
Graph
Graph的配置对应配置总览中的GraphConfs。
配置示例:
"GraphConfs": {
"graph_info": {
"Host":"",
"UserName":"",
"Passwd":""
}
}
字段名 | 类型 | 是否必填 | 描述 |
Host | string | 是 | Host信息。 |
UserName | string | 是 | 用户名。 |
Passwd | string | 是 | 密码。 |
FeatureStore(特征平台)
PAI-FeatureStore的配置对应配置总览中的FeatureStoreConfs。PAI-FeatureStore如何使用,参考FeatureStore概述。
配置示例:
"FeatureStoreConfs": {
"fs_info": {
"RegionId":"cn-hangzhou",
"ProjectName":"",
"FeatureDBUsername": "",
"FeatureDBPassword": "",
"HologresUsername": "",
"HologresPassword": ""
}
}
字段名 | 类型 | 是否必填 | 描述 |
RegionId | string | 是 | Region信息,比如cn-hangzhou、cn-beijing等。 |
ProjectName | string | 是 | FeatureStore内创建的项目名称。 |
FeatureDBUsername | string | 否 | FeatureDB用户名称,FeatureStore线上数据库使用FeatureDB时必填。 |
FeatureDBPassword | string | 否 | FeatureDB密码,FeatureStore线上数据库使用FeatureDB时必填。 |
HologresUsername | string | 否 | Hologres用户名称,FeatureStore线上数据库使用Hologres时必填。 |
HologresPassword | string | 否 | Hologres用户密码,FeatureStore线上数据库使用Hologres时必填。 |
SLS
SLS的配置对应配置总览中的SlsConfs。
配置示例:
"SlsConfs": {
"sls_info": {
"EndPoint":"",
"ProjectName":"",
"LogstoreName":""
}
}
字段名 | 类型 | 是否必填 | 描述 |
EndPoint | string | 是 | EndPoint信息,详情可参考SLS服务域名。 |
ProjectName | string | 是 | 项目名称。 |
LogstoreName | string | 是 | 日志库名称。 |
DataHub
DataHub的配置对应配置总览中的DataHubConfs。
配置示例:
"DatahubConfs": {
"datahub_info": {
"Endpoint":"",
"ProjectName":"",
"TopicName":"",
"Schemas":[]DatahubTopicSchema
}
}
字段名 | 类型 | 是否必填 | 描述 |
Endpoint | string | 是 | Endpoint信息,详情可参考DataHub域名列表。 |
ProjectName | string | 是 | 项目名称。 |
TopicName | string | 是 | Topic名称。 |
Schemas | []DatahubTopicSchema | 是 | Topic的Schema。 |
DatahubTopicSchema
字段名 | 类型 | 是否必填 | 描述 |
Field | string | 是 | Schema字段的名称。 |
Type | string | 是 | Schema字段的类型,有效值为:string、integer、bigint、double、float、timestamp。 |
OTS(Tablestore)
Tablestore的配置对应配置总览中的TableStoreConfs。
配置示例:
"TableStoreConfs": {
"tablestore_info": {
"EndPoint": "",
"InstanceName": ""
}
}
字段名 | 类型 | 是否必填 | 描述 |
EndPoint | string | 是 | EndPoint信息,详情可参考Tablestore服务地址。 |
InstanceName | string | 是 | 实例名称。 |
OpenSearch
OpenSearch 的配置对应配置总览中的 OpenSearchConfs
配置示例:
"OpenSearchConfs": {
"opensearch_info":{
"EndPoint": "opensearch-cn-beijing.aliyuncs.com"
}
}
字段名 | 类型 | 是否必填 | 描述 |
EndPoint | string | 是 | EndPoint 信息, 详情可参考OpenSearch服务接入。 |