使用Fuse-DFS挂载文件存储 HDFS 版
已下载与Hadoop集群版本相同的Hadoop源码包。具体下载地址请参见 下载Hadoop源码包。背景信息 Fuse-DFS是Hadoop项目自带的一个功能模块，提供了使用FUSE（用户空间中的文件系统）在UNIX文件系统上映射HDFS的功能，在官方提供的Hadoop预编译...
性能优化最佳实践
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
基于Hadoop集群支持Delta Lake或Hudi存储机制
步骤三：基于MaxCompute实时分析Hadoop集群数据 基于已创建的MaxCompute项目以及Hadoop集群表数据，创建External Project，用于Hadoop集群，并映射至已创建的MaxCompute项目。后续可通过映射的MaxCompute项目对External Project进行数据...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
漏洞利用分析 Hadoop Yarn RPC未授权访问漏洞存在于Hadoop Yarn中负责资源管理和任务调度的ResourceManager，成因是该组件为用户提供的RPC服务默认情况下无需认证即可访问，因此RPC服务暴露在公网上是非常危险的。RPC服务利用这一问题会...
Teamtnt变种攻击Hadoop集群
系统信息 无 无 无 漏洞利用分析 Hadoop Yarn作为其核心组件之一，负责将资源分配至各个集群中运行各种应用程序，并调度不同集群节点上的任务执行，攻击者通过REST API携带恶意命令即可进行远程命令执行。攻击者不仅沿用了之前的恶意域名...
概览
借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark等）可以使用 文件存储 HDFS 版 作为defaultFS，从而获得 文件存储 HDFS 版 带来的超越原始HDFS的功能和性能优势。更多信息，请参见 安装文件系统SDK、SDK示例。
Java SDK概述
日志服务通过MVNRepository和GitHub来管理开放的下载源码路径和源代码参考。来源 描述 MVNRepository 用于下载日志服务源码包的路径。您可以在MVNRepository中获取Maven项目注入日志服务Java SDK依赖的准确版本。说明 建议您获取日志服务...
前言
OSS通过MVNRepository管理开放的下载源码路径并提供GitHub的源代码参考。来源 描述 MVNRepository 用于下载OSS源码包的路径。您可以在MVNRepository中获取Gradle项目注入OSS Android SDK依赖的准确版本。说明 建议您获取OSS Android SDK的...
在SAE控制台通过源码部署应用
源代码导入的详细信息，请参见 源代码导入。分类 配置项 说明 示例 源代码库 代码仓库类型 选择已导入代码的代码仓库。如果下拉列表为空，请单击前往授权，授予 SAE 平台所需的权限。不同源代码仓库的权限范围，请参见 仓库授权方式。Gitee...
MapReduce常见问题
Hadoop MapReduce的源码，能否直接应用于MaxCompute MapReduce？MapReduce如何实现排序？MapReduce中的Backups是什么？开发MapReduce 开发MapReduce时，如何在命令行传入多个资源？在Main方法中如何判断一个表为空表？在MaxCompute ...
基础开发
本文介绍 Serverless 应用引擎 SAE（Serverless App Engine）源码部署的工作原理、环境配置、构建流程、源代码导入等信息。整体工作原理 作为 Serverless 应用引擎 SAE（Serverless App Engine）中，降低用户运维负担的重要一环，源码部署...
前言
OSS通过MVNRepository管理开放的下载源码路径并提供GitHub的源代码参考。来源 描述 MVNRepository 用于下载OSS源码包的路径。您可以在MVNRepository中获取Maven项目注入OSS Java SDK依赖的准确版本。说明 建议您获取OSS Java SDK的最新版本...
获取网页元素的HTML代码
组件配置示例 在 已打开的浏览器对象 中，选择前置组件（打开新网页 或 获取已打开网页）的输出项 v_web_obj_1 通过 捕获控件 功能，捕获该网页中的一处需要获取其源代码的元素命名为“控件1”在 目标控件 中，选择“控件1”高级选项保持...
基本概念
执行 npm run build 之后，会产出如下模块：文件名 模块类型 模块名称 备注 main.js umd BIComponent 自定义菜单主要源代码模块 meta.js umd BIComponentMeta 自定义菜单元信息模块 main.css-自定义菜单的样式文件 重要 为了确保产出结果的...
上传构建产物
重要 魔笔平台不负责存储您的自定义操作源代码，每次下载获得的代码模版包内不包含任何历史编写的源码，请妥善保管您的自定义操作源码，并在构建前将源码拷贝到对应的实现文件内，避免历史创建的自定义逻辑流操作不可执行。执行及验证 构建...
文件存储HDFS版
借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark、Flink等）可以无需修改代码和编译，直接使用文件存储HDFS版作为defaultFS，从而获得超越原始HDFS的功能和性能优势。如果您更习惯使用图形化的Web应用程序，可以使用...
iOS端接入
目录结构├─iOS/iOS平台的根目录│├─AUIVoiceRoom.podspec/pod描述文件│├─Source/源代码文件│├─Resources/资源文件│├─Example/Demo代码│├─AUIRoomCore/互娱语聊场景核心组件│├─AUIBaseKits/基础UI组件│├─README.md/...
查询并下载数据
具体操作，请参见 创建Hadoop计算源。若您需下载即席查询的结果数据，在您开始执行操作前，请确认您已开启项目下载数据的权限。具体操作，请参见 管理项目空间的权限和计算源。新建即席查询 在Dataphin首页，单击顶部菜单栏 研发。默认进入...
新建IMPALA_SQL任务
具体操作，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建IMPALA_SQL任务 对话框。编写并运行代码。在 新建IMPALA_SQL任务 对话框，配置参数。参数 描述 ...
新建SPARK_SQL任务
前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建SPARK_SQL任务 对话框。...
非EMR集群接入OSS-HDFS服务快速入门
JindoSDK为Apache Hadoop的计算分析应用（例如MapReduce、Hive、Spark、Flink等）提供了访问HDFS服务的能力。本文介绍如何通过在ECS实例中部署JindoSDK，然后完成OSS-HDFS服务快速入门相关操作。前提条件 已创建ECS实例。具体步骤，请参见 ...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
创建应用配置
Android Lint 是Android SDK中的一个静态代码分析工具，用于检测 Android 应用程序中潜在的错误和性能问题。在 Android 官网上，详细的介绍它的作用、用法、配置和规则等方面的信息。详情请参见 Android Lint 工具的文档。iOS静态代码扫描...
分析平台概述
与此同时，分析平台也支持绑定专有的计算源，以便您独立于项目概念之外，便捷地运行SQL代码查询数据。建议您在使用分析平台前，请先完成分析平台专用计算源的创建。具体操作，请参见 计算源概述。说明 完成分析平台计算源创建后，您还需要...
查看并管理脚本任务
Spark SQL任务的优先级仅当Hadoop计算源的HDFS设置了不同任务优先级队列才可生效。暂停 即可将当前任务节点置为暂停调度状态。暂停适用于有些任务及其下游任务暂时不需要运行，后面还会继续使用的场景，例如临时调整一些计算口径，防止影响...
Lindorm文件引擎
操作步骤 准备以下测试代码来读写Lindorm文件引擎的HDFS，并将测试代码打包成 AccessLindormHDFS.py 文件上传至您的OSS。from pyspark.sql import SparkSession if_name_='_main_':def f(a):print(a)spark=SparkSession.builder....
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
应用案例
您可以在GitHub上获取时空数据分析的典型案例，以便快速熟悉DLA Ganos的各项功能。栅格代数运算 栅格代数运算是指使用数学运算符对栅格数据进行加减乘除等代数计算的操作。例如，您可以应用简单的数学运算（例如加法或乘法）来更新栅格像元...
访问Hive数据源
AnalyticDB MySQL湖仓版（3.0）支持访问Hive数据源。本文以E-MapReduce集群的Hive服务为例，介绍使访问Hive数据的方法。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。...
管理Hive Catalog
Hive Catalog中的表可以作为流作业和批作业的源表或结果表。Flink支持Hive MetaStore和 阿里云数据湖构建（Data Lake Formation，简称DLF）作为Hive Catalog的元数据中心。本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 ...
Hudi
通过INSERT INTO语法可以大幅简化开发代码的复杂度，提升效率。支持Data Version：通过时间旅行（Time Travel）特性，提供任意时间点的数据版本历史，便于数据运维，提升数据质量。Hudi的典型场景 DB入湖加速 相比昂贵且低效的传统批量加载...
Notebook概述
应用场景 记录分析过程：您可以使用Dataphin Notebook记录您的分析思路与过程，包括代码、运行结果与分析结论等。可形成完整的数据分析报告，方便您进行分析过程与结果回顾，也可分享给其他Dataphin实例的用户查看。便捷地查询数据：您可以...
Notebook概述
应用场景 记录分析过程：您可以使用Dataphin Notebook记录您的分析思路与过程，包括代码、运行结果与分析结论等。可形成完整的数据分析报告，方便您进行分析过程与结果回顾，也可分享给其他Dataphin实例的用户查看。便捷地查询数据：您可以...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
ADAM概览
源库画像分析:对数据库采集器采集到的源库数据进行多维度评估分析，包括源库的性能、容量、特性、外部依赖、对象详情和全景搜索。其中全景分析提供对象的关联关系、特征标识等信息。目标库选型建议:统计分析多种目标库版本对源库的对象兼容...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
数据库评估分析
源DDL：单击其下的 查看，查看源DDL代码。目标DDL：单击其下的 查看，查看目标DDL代码。改造点：单击其下的 数据库，查看数据库改造点的ID，详细改造方法等。目标库规格 目标库规格为用户迁移到阿里云数据库提供规格与迁移计划指引。配置是...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
- 产品推荐
- 这些文档可能帮助您