DescribeHadoopDataSource - 获取hadoop数据源详情

更新时间:

获取hadoop数据源配置信息。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用背景高亮的方式表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
gpdb:DescribeHadoopDataSourceget
*DBInstance
acs:gpdb:*:{#accountId}:dbinstance/{#DBInstanceId}

请求参数

名称类型必填描述示例值
DBInstanceIdstring

实例 ID。

gp-xxx
DataSourceIdstring

服务 ID。

123
RegionIdstring

地域 ID。

说明 您可以调用 DescribeRegions 接口查看可用的地域 ID。
cn-hangzhou

返回参数

名称类型描述示例值
object
DataSourceIdstring

数据源 ID。

123
RequestIdstring

请求 ID。

B4CAF581-2AC7-41AD-8940-D56DF7AADF5B
DataSourceNamestring

服务名称。

hdfs_pxf
DataSourceDescriptionstring

服务描述,最大长度为 256 字符。

pxf for hdfs data source
DataSourceStatusstring

服务状态位,取值:

  • 初始化中 Init

  • 运行中 Running

  • 异常 Exception

Running
DataSourceDirstring

服务目录,在该目录下保留有 Hadoop 相关的配置文件。

HadoopDir
StatusMessagestring

服务状态信息,例如异常情况,则显示异常原因。正常 Running 状态下空值。

""
CreateTimestring

创建时间。

2019-09-08T16:00:00Z
DataSourceTypestring

数据源类型

hive
HadoopCreateTypestring

外部服务创建类型:

  • emr

  • selfCreate

emr
HadoopHostsAddressstring

Hadoop 集群源节点在/etc/hosts 文件中的地址和 hostname。

127.0.0.1 localhost
HadoopCoreConfstring

Hadoop core-site.xml 文件内容。

<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:52:39.527 --> <configuration> <property> <name>hadoop.http.authentication.kerberos.keytab</name> <value>/etc/emr/hadoop-conf/http.keytab</value> </property> <property> <name>fs.oss.idle.timeout.millisecond</name> <value>30000</value> </property> <property> <name>fs.oss.download.thread.concurrency</name> <value>32</value> </property> </configuration>
HDFSConfstring

Hadoop hdfs-site.xml 文件内容。

<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:52:43.945 --> <configuration> <property> <name>dfs.datanode.cache.revocation.timeout.ms</name> <value>900000</value> </property> <property> <name>dfs.namenode.resource.check.interval</name> <value>5000</value> </property> </configuration>
HiveConfstring

Hadoop hive-site.xml 文件内容。

<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:52:50.646 --> <configuration> <property> <name>hive.exec.reducers.bytes.per.reducer</name> <value>256000000</value> </property> <property> <name>hive.stats.column.autogather</name> <value>false</value> </property> </configuration>
YarnConfstring

Hadoop yarn-site.xml 文件内容。

<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:53:29.021 --> <configuration> <property> <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user</name> <value>hadoop</value> </property> <property> <name>yarn.scheduler.fair.dynamic.max.assign</name> <value>true</value> </property> </configuration>
MapReduceConfstring

hadoop mapred-site.xml 文件内容。

<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:53:28.962 --> <configuration> <property> <name>mapreduce.map.speculative</name> <value>true</value> </property> <property> <name>mapreduce.jobhistory.keytab</name> <value></value> </property> </configuration>
EmrInstanceIdstring

emr 实例 id。

c-1234567
ModifyTimestring

最后修改时间。

2024-09-28T02:18:39Z
ExternalDataServiceIdstring

外部数据服务 id。

2952

示例

正常返回示例

JSON格式

{
  "DataSourceId": "123",
  "RequestId": "B4CAF581-2AC7-41AD-8940-D56DF7AADF5B",
  "DataSourceName": "hdfs_pxf",
  "DataSourceDescription": "pxf for hdfs data source",
  "DataSourceStatus": "Running",
  "DataSourceDir": "HadoopDir",
  "StatusMessage": "\"\"",
  "CreateTime": "2019-09-08T16:00:00Z",
  "DataSourceType": "hive",
  "HadoopCreateType": "emr",
  "HadoopHostsAddress": "127.0.0.1 localhost",
  "HadoopCoreConf": "<?xml version=\"1.0\" ?>\n<!-- Created at 2023-08-15 13:52:39.527 -->\n<configuration>\n    <property>\n        <name>hadoop.http.authentication.kerberos.keytab</name>\n        <value>/etc/emr/hadoop-conf/http.keytab</value>\n    </property>\n    <property>\n        <name>fs.oss.idle.timeout.millisecond</name>\n        <value>30000</value>\n    </property>\n    <property>\n        <name>fs.oss.download.thread.concurrency</name>\n        <value>32</value>\n    </property>\n</configuration>",
  "HDFSConf": "<?xml version=\"1.0\" ?>\n<!-- Created at 2023-08-15 13:52:43.945 -->\n<configuration>\n    <property>\n        <name>dfs.datanode.cache.revocation.timeout.ms</name>\n        <value>900000</value>\n    </property>\n    <property>\n        <name>dfs.namenode.resource.check.interval</name>\n        <value>5000</value>\n    </property>\n</configuration>",
  "HiveConf": "<?xml version=\"1.0\" ?>\n<!-- Created at 2023-08-15 13:52:50.646 -->\n<configuration>\n    <property>\n        <name>hive.exec.reducers.bytes.per.reducer</name>\n        <value>256000000</value>\n    </property>\n    <property>\n        <name>hive.stats.column.autogather</name>\n        <value>false</value>\n    </property>\n</configuration>",
  "YarnConf": "<?xml version=\"1.0\" ?>\n<!-- Created at 2023-08-15 13:53:29.021 -->\n<configuration>\n    <property>\n        <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user</name>\n        <value>hadoop</value>\n    </property>\n    <property>\n        <name>yarn.scheduler.fair.dynamic.max.assign</name>\n        <value>true</value>\n    </property>\n</configuration>",
  "MapReduceConf": "<?xml version=\"1.0\" ?>\n<!-- Created at 2023-08-15 13:53:28.962 -->\n<configuration>\n    <property>\n        <name>mapreduce.map.speculative</name>\n        <value>true</value>\n    </property>\n    <property>\n        <name>mapreduce.jobhistory.keytab</name>\n        <value></value>\n    </property>\n</configuration>",
  "EmrInstanceId": "c-1234567",
  "ModifyTime": "2024-09-28T02:18:39Z",
  "ExternalDataServiceId": "2952"
}

错误码

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
2024-08-20OpenAPI 返回结构发生变更查看变更详情