在文件存储 HDFS 版上使用Apache HBase
如果在环境变量中已配置HADOOP_HOME及HADOOP_CLASSPATH也可以执行以下命令进行RowCounter计算。{HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter dfs_test 重要 在YARN上执行MapReduce计数前需要先在Hadoop集群中启动...
UpdateTimeseriesAnalyticalStore
调用UpdateTimeseriesAnalyticalStore接口更新时序分析存储配置信息，目前仅支持修改数据生命周期TTL。请求消息结构 message UpdateTimeseriesAnalyticalStoreRequest { required string table_name=1;required TimeseriesAnalyticalStore ...
使用Fuse-DFS挂载文件存储 HDFS 版
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Fuse-DFS 在Hadoop客户端上安装依赖并载入FUSE模块。执行以下命令，安装依赖。yum...
DescribeTimeseriesAnalyticalStore
调用DescribeTimeseriesAnalyticalStore接口查询时序分析存储描述信息，例如分析存储配置信息、分析存储同步状态、分析存储大小等。请求消息结构 message DescribeTimeseriesAnalyticalStoreRequest { required string table_name=1;...
使用Flink访问
tar-zxvf flink-1.9.0-bin-scala_2.11.tgz-C/usr/local/说明 在使用Apache Flink之前必须在您的集群环境变量中配置 HADOOP_HOME，HADOOP_CLASSPATH 和 HADOOP_CONF_DIR，详情请参见 Apache Hadoop 配置 步骤7配置环境变量。如果您需要对...
在文件存储 HDFS 版上使用Presto
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Presto 执行以下命令，解压Presto安装包。tar-zxf presto-server-0.265.1.tar.gz ...
CreateTimeseriesAnalyticalStore
analytical_store TimeseriesAnalyticalStore 是 分析存储配置信息。名称为必填项，默认数据生命周期为-1（永久保留），默认同步方式为同步全量数据。响应消息结构 message CreateTimeseriesAnalyticalStoreResponse { } 使用SDK 您可以...
TimeseriesAnalyticalStore
分析存储配置信息。数据结构 message TimeseriesAnalyticalStore { optional string store_name=1;分析存储名称。optional int32 time_to_live=2;分析存储数据TTL。optional AnalyticalStoreSyncType sync_option=3;全量同步或者增量同步。...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
文件存储 HDFS 版和对象存储OSS双向数据迁移
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：Hadoop集群部署JindoSDK 下载最新的 JindoSDK安装包。本文以jindosdk-4.5.0为例。执行...
如何删除时序数据
时序模型中的数据包括时间线元数据和时序表数据，此外如果为时序表建立了...如果要删除分析存储的数据，您可以通过为分析存储配置数据生命周期的方式自动清理过期数据。具体操作，请参见 通过控制台管理分析存储 或者 通过SDK管理分析存储。
查询时序表描述信息
查看时序表的分析存储配置。for(TimeseriesAnalyticalStore store:analyticalStores){/查看分析存储名称。System.out.println(store.getAnalyticalStoreName());查看分析存储TTL配置。System.out.println(store.getTimeToLive());查看分析...
操作汇总
本文介绍 表格存储 的调用说明以及提供的宽表模型和...DescribeTimeseriesAnalyticalStore：查询时序分析存储描述信息，例如分析存储配置信息、分析存储同步状态、分析存储大小等。DeleteTimeseriesAnalyticalStore：删除一个时序分析存储。
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
非EMR集群接入OSS-HDFS服务快速入门
以安装包内容解压在/usr/lib/jindosdk-x.x.x-linux 目录为例：export JINDOSDK_HOME=usr/lib/jindosdk-x.x.x-linux 配置 HADOOP_CLASSPATH。export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${JINDOSDK_HOME}/lib/*重要 请将安装目录和环境变量...
文件存储 HDFS 版和数据库MySQL双向数据迁移
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件系统。步骤二：安装Sqoop 目前Sqoop分为Sqoop1和Sqoop2两个版本，且两个版本并不兼容。本文以Sqoop1的稳定版本Sqoop 1...
Trino使用JindoSDK查询OSS-HDFS服务中的数据
将OSS-HDFS服务实现类配置到Trino所有节点上的Hadoop配置文件 core-site.xml 中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...
更新分析存储的数据生命周期
示例 以下示例用于更新test_timeseries_table时序表下名为test_analytical_store的分析存储配置信息，将数据生命周期更新为30天（即2592000秒）。func UpdateTimeseriesAnalyticalStore(client*tablestore.TimeseriesClient){ ...
时序分析存储概述
创建分析存储时支持为分析存储配置生命周期TTL和同步方式（包括存量同步和增量同步）。分析存储的生命周期与时序表的数据生命周期相互独立。删除分析存储 如果不再需要使用分析存储来存储与分析时序数据，您可以删除分析存储节约存储费用。...
创建时序表
createTimeseriesTableRequest:=tablestore.NewCreateTimeseriesTableRequest()createTimeseriesTableRequest.SetTimeseriesTableMeta(timeseriesTableMeta)/构造分析存储配置信息。createTimeseriesTableRequest.SetAnalyticalStores([]*...
在非EMR集群中部署JindoSDK
vim/usr/local/hadoop/etc/hadoop/core-site.xml 将OSS/OSS-HDFS实现类配置到Hadoop的 core-site.xml 中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...
创建时序表
分析存储配置，包括如下内容：analyticalStoreName：分析存储名称。timeToLive：分析存储的数据生命周期。单位为秒。取值范围为-1（数据永不过期）或者大于等于2592000秒（即30天）的int32的正整数。如果希望数据永不过期，可以设置为-1。...
快速入门（PAI-DSW）
存储配置 在共享数据集模块单击 创建数据集，在弹出的 从阿里云云产品创建数据集 面板中配置以下重点参数，其他参数可保持默认值。更多关于数据集的信息，请参见 创建及管理数据集。选择数据存储：选择 阿里云文件存储（NAS）。选择NAS文件...
时序表操作
系统默认已开启分析存储，请根据实际业务场景进行分析存储配置。如果不需要使用分析存储，关闭 创建分析存储 开关即可。如果需要创建默认分析存储，创建分析存储 保持默认配置即可。如果需要自定义分析存储，创建分析存储 保持默认，打开 ...
常见问题
添加完Alluxio服务后，您需要重启服务来加载Hadoop配置。重启服务的具体操作，请参见 重启服务。如何排查Alluxio服务状态异常的问题？您需要报错信息先查找Alluxio服务异常的节点，找到异常信息，然后查看Alluxio服务的异常日志来确认问题...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
通过SDK使用时序模型
查看时序表的分析存储配置。for(TimeseriesAnalyticalStore store:analyticalStores){/查看分析存储名称。System.out.println(store.getAnalyticalStoreName());查看分析存储TTL配置。System.out.println(store.getTimeToLive());查看分析...
设置Dataphin实例的计算引擎为Hadoop
参数 描述 集群存储 计算引擎类型为E-MapReduce 5.x Hadoop时，支持配置集群存储类型。包括HDFS和OSS-HDFS。更多信息，请参见 OSS/OSS-HDFS概述。同时可以通过以下方式查看集群存储类型。未创建集群：可以通过E-MapReduce 5.x Hadoop集群...
通过控制台使用时序模型
系统默认已开启分析存储，请根据实际业务场景进行分析存储配置。如果不需要使用分析存储，关闭 创建分析存储 开关即可。如果需要创建默认分析存储，创建分析存储 保持默认配置即可。如果需要自定义分析存储，创建分析存储 保持默认，打开 ...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
通过SDK使用分析存储
DescribeTimeseriesAnalyticalStore 查询分析存储描述信息，例如分析存储配置信息、分析存储同步状态、分析存储大小等。DeleteTimeseriesAnalyticalStore 删除一个分析存储。步骤一：创建分析存储 为时序表创建分析存储后，您可以使用分析...
日志审计合规
云安全中心日志审计配置检测 RDS日志审计配置检测 日志审计状态检测 PolarDB（DRDS）日志审计配置检测 K8s日志审计配置检测 ActionTrail日志审计配置检测 OSS（对象存储）日志审计配置检测 应用防火墙（WAF）日志审计配置检测 堡垒机日志...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
创建存储空间
存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何创建存储空间。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持...
通过开源HDFS客户端连接并使用文件引擎
配置Hadoop 执行以下命令，解压缩SDK包。tar-zxvf hadoop-2.7.3.tar.gz 添加Hadoop环境变量。export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/...
HAS Kerberos认证使用方法
scp root@emr-header-1:/etc/krb5.conf/etc/配置 hadoop.security.authentication.use.has 的值为 false。登录集群的emr-header-1节点。说明 HA集群也需要登录emr-header-1节点。登录详情请参见 登录集群。执行以下命令，编辑 core-site....
ossutil概述
常用命令 您可以通过以下列表学习ossutil命令的用法：名称 描述 access-monitor 配置存储空间（Bucket）的访问跟踪状态。appendfromfile 用于在已上传的追加类型文件（Appendable Object）末尾直接追加内容。bucket-cname 查看Bucket的...
使用NAS静态存储卷
您可以通过阿里云提供的Flexvolume插件使用阿里云NAS文件存储服务。本文介绍如何使用NAS静态存储卷。前提条件 使用存储卷时请将Flexvolume插件更新到最新版本。具体操作，请参见 安装与升级Flexvolume组件。已通过kubectl连接Kubernetes...
网络开通流程
安全组配置内容如下：配置Hadoop集群所在安全组的入方向访问规则。授权对象为ENI所在的安全组，即步骤2中创建的安全组。HiveMetaStore端口：9083。HDFS NameNode端口：8020。HDFS DataNode端口：50010。例如，当您连接在阿里云E-MapReduce...
- 产品推荐
- 这些文档可能帮助您