代理接入
针对无法直接连接到云安全中心服务端的线下IDC（Internet Data Center）机房、混合云、阿里云VPC（Virtual Private Cloud）等业务场景，您可以通过设置代理服务器，将无法连接公网的服务器（包括主机、容器）接入云安全中心进行防护。...
第三方教程
本文提供了轻量应用服务器在不同场景下的...轻量应用服务器快速建站指南 使用轻量应用服务器搭建博客环境 部署应用 在轻量应用服务器上部署SpringBoot项目 使用轻量应用服务器部署Hadoop云集群 基于轻量应用服务器+OSS的中小型应用运维实践
导入镜像流程
您可以将本地或其他云厂商服务器的镜像文件导入阿里云生成自定义镜像，然后使用导入的自定义镜像创建新的ECS实例或者更换已有ECS实例的操作系统（系统盘），以满足各种业务需求和应用场景。本文介绍Linux镜像和Windows镜像的导入流程。...
常用端口
0.0.0.0/0 1 经典网络 公网入方向 公网Ping ECS实例 专有网络VPC 入方向 允许 全部ICMP-1/-1 地址段访问或安全组访问 根据授权类型填写 1 经典网络 公网入方向 ECS实例作Web服务器 专有网络VPC 入方向 允许 自定义TCP HTTP (80)地址段访问 ...
准备工作
环境准备 已创建阿里云E-MapReduce的Hadoop集群。具体操作，请参见 创建集群。已下载E-MapReduce的最新 SDK，SDK包的名称格式为emr-datasources_shaded_*.jar，emr-datasources_shaded_*.jar中包含Tablestore相关的Spark批流Source和Sink。...
什么是EMR on ECS
采购服务器，部署Hadoop生态组件，周期长达数周。弹性 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS计算存储分离架构，轻松分别扩展计算和存储资源。计算和存储耦合，资源相对固定，无法弹性...
实例规格族
trans 视觉计算型实例规格族ebmgi6s GPU计算型实例规格族gn5 GPU计算型实例规格族gn5i 弹性裸金属服务器规格族群 推荐 其他在售（如果售罄，建议使用推荐规格族）GPU计算型弹性裸金属服务器实例规格族ebmgn7ex GPU计算型弹性裸金属服务器...
弹性裸金属服务器概述
本地SSD型弹性裸金属服务器实例规格族ebmi2g GPU计算型：GPU计算型弹性裸金属服务器实例规格族ebmgn7ex GPU计算型弹性裸金属服务器实例规格族ebmgn7e GPU计算型弹性裸金属服务器实例规格族ebmgn7ix GPU计算型弹性裸金属服务器实例规格族...
镜像检测修复建议（Windows）
登录制作镜像文件的源服务器。打开注册表。以Windows 10为例，在任务栏的搜索框中输入 regedit，按 Enter 即可打开注册表。打开磁盘注册表项。磁盘注册表路径为 HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Control\Class\{4d36e967-e325-11...
已停售的实例规格
支持IPv6 支持ERI（Elastic RDMA Interface）超高网络收发包PPS能力 实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：大数据场景应用，例如Spark、Hadoop 高性能科学计算和仿真计算 各种通用类型的企业应用，例如Redis c7re...
功能特性
轻量应用服务器 轻量应用服务器（Simple Application Server）是可以快速搭建且易于管理的轻量级云服务器，面向单台服务器提供了一键部署应用、一站式域名解析、安全管理以及运维监控等服务。轻量应用服务器操作简单便捷，能让您快速上手...
管理快照
快照是某一时间点磁盘数据状态的备份文件，常用于日常数据备份、服务器数据误操作恢复、网络攻击恢复、制作自定义镜像等场景。本文介绍如何通过管理控制台创建、删除快照以及使用快照回滚磁盘、创建自定义镜像。使用限制 说明 轻量应用...
计费项
本文为您介绍轻量应用服务器、轻量应用负载均衡、轻量容器服务和轻量数据库服务 的计费项及其计费示例。计费项 轻量应用服务器 说明 本文中的价格仅为示例，具体价格以产品购买页显示为准。计费项 计费说明 计费方式 计费公式 套餐配置 ...
CreateSnapshot-创建快照
接口说明 快照是某一时间点磁盘数据状态的备份文件，常用于日常数据备份、服务器数据误操作恢复、网络攻击恢复、制作自定义镜像等场景。说明 轻量应用服务器创建快照不收取任何费用。注意事项 单台轻量应用服务器最多可创建 3 个快照。一个...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
评估迁移时间与测试传输速度
迁移周期时长与待迁移服务器的数量和实际数据量成正比，建议您根据实际迁移测试演练进行评估。本文主要介绍迁移过程中这一阶段所需时间的评估方式和传输速度的测试方法。背景信息 在SMC迁移过程中，系统会先在您账号下创建一台临时中转实例...
EMR集群JindoSDK升级流程（旧版控制台）
rw-r-1 hadoop hadoop xxxx May 01 00:00 bootstrap_jindosdk.sh-rw-r-1 hadoop hadoop xxxxxxxxx May 01 00:00 jindosdk-4.6.2.tar.gz-rw-r-1 hadoop hadoop xxxx May 01 00:00 jindosdk-patches.tar.gz 执行以下命令，制作升级包。...
Python内置资源包
jumpssh 无 使用跳板机连接服务器。mysql-connector-python>=8.0.11 连接并操作MySQL。numpy 无 算法基础处理。pandas 无 算法基础处理。psycopg2>=2.7.4 连接操作PostgreSQL。pyhdfs>=0.2.1 Hadoop计算引擎下，使用PostgreSQL。pyhs2>=0.6...
Python内置资源包
jumpssh 无 使用跳板机连接服务器。mysql-connector-python>=8.0.11 连接并操作MySQL。numpy 无 算法基础处理。pandas 无 算法基础处理。psycopg2>=2.7.4 连接操作PostgreSQL。pyhdfs>=0.2.1 Hadoop计算引擎下，使用PostgreSQL。pyhs2>=0.6...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
UDF（地理空间）
cd spatial-framework-for-hadoop mvn clean package-DskipTests-P java-8,hadoop-2.7,hive-2.1 复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
更换集群损坏的本地盘
hadoop$mount_path/log/hadoop-hdfs chmod 775$mount_path/log/hadoop-hdfs mkdir-p$mount_path/log/hadoop-yarn chown hadoop:hadoop$mount_path/log/hadoop-yarn chmod 755$mount_path/log/hadoop-yarn mkdir-p$mount_path/log/hadoop-...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
EMR集群JindoSDK升级流程（新版控制台）
rw-r-1 hadoop hadoop xxxx May 01 00:00 bootstrap_jindosdk.sh-rw-r-1 hadoop hadoop xxxxxxxxx May 01 00:00 jindosdk-4.6.2.tar.gz-rw-r-1 hadoop hadoop xxxx May 01 00:00 jindosdk-patches.tar.gz 执行以下命令，制作升级包。...
在ECI中访问HDFS数据
usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...
常见问题排查
例如：执行 hadoop 命令或者任务出现如下错误时，表明 org/apache/hadoop/fs/PathFilter 相关的类不在Hadoop的运行环境中，该类所属的Jar包为 hadoop-common-x.x.x.jar，需要您下载该Jar包的正确版本，并将其置于所有Hadoop环境下的...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
通过HDP 2.6 Hadoop读取和写入OSS数据
client/hadoop-aliyun-2.7.3.2.6.1.0-129.jar hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/aliyun-*hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/jdom-1.1.jar hadoop/share/...
- 产品推荐
- 这些文档可能帮助您