通过JDBC连接Spark Thrift Server提交Spark作业
确保您已安装Java环境和Java编程工具，并且已配置环境变量 Java代码连接Spark Thrift Server需要下载Databricks提供的依赖包，下载路径：Databricks JDBC Driver 将项目依赖SparkJDBC42.jar添加到编程工具的Lib下，如图：编写代码，连接...
Spark作业原生运维与监控
背景信息 Databricks数据洞察提供了原生的监控运维UI，例如Spark UI和YARN UI，用户可根据自己的需求进行查询。本文主要介绍原生UI透露出来的日志监控和指标查询，配合平台侧的运维与监控能力，更好的服务于用户，运维Spark作业。集群Web ...
使用Databricks Delta优化Spark作业性能
OSS宽带 10Gbps 背景信息 Databricks数据洞察内置了Databricks商业版引擎，您可以利用Databricks数据洞察创建集群，实现在秒级响应时间内处理PB级别的数据。本文示例制造100亿条数据，利用Databricks Delta的Data Skipping和ZOEDER ...
使用Spark Structured Streaming实时处理Kafka数据
本文介绍如何使用阿里云 Databricks 数据洞察创建的集群去访问外部数据源 E-MapReduce，并运行Spark Structured Streaming作业以消费Kafka数据。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程。已开通 E-MapReduce服务。已...
Spark
Spark是一个通用的大数据计算引擎。本文为您介绍如何在Zeppelin中使用Spark。背景信息 Zeppelin支持Spark的4种主流语言，包括Scala、PySpark、R和SQL。Zeppelin中所有语言在同一个Spark Application里，即共享一个SparkContext和...
SPARK
SPARK任务类型用于执行Spark应用。本文为您介绍创建SPARK类型任务时涉及的参数，并提供了SPARK任务的示例。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时执行该任务...
Spark
解决方法：您需在提交的Spark应用中设置 spark.adb.eni.enabled、spark.adb.eni.vswitchId、spark.adb.eni.securityGroupId 参数，不同数据源数参数的配置方法不同。详情请参见 Spark应用配置参数说明 和 访问外部数据源。Spark SQL应用...
Spark概述
架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据分析、流计算、机器学习和图计算等场景，详情请参见 Apache Spark官网。...
SPARK指标
SPARK指标包含以下部分：SPARK-ThriftServer SPARK-HistoryServer SPARK-ThriftServer 参数 指标 描述 JVM Max Heap Memory spark_thrift_driver_jvm_heap_max JVM最大可用堆内存。单位：Byte。JVM Committed Heap Memory spark_thrift_...
Spark UDF
本文档主要介绍了如何在Spark中管理并使用用户自定义函数UDF（User Define Function）。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB ...
Spark FAQ
Spark访问数据源网络不通怎么办？如何处理Spark作业日志中报错：ClassNotFound？如何处理Spark作业日志中报错：NoSuchMethod？为什么Spark SQL作业使用show tables或者show database查询发现显示的列表不足？为什么在DLA SQL中执行select*...
Spark SQL
Spark与DLA SQL引擎以及数据湖构建服务共享元数据。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 ...
Spark MLlib
场景 本示例将在DLA Serverless Spark中通过K-Means聚类算法，将以下数据分成两个族类，然后判断测试数据是否在族类中。0.0 0.0 0.0 0.1 0.1 0.1 0.2 0.2 0.2 9.0 9.0 9.0 9.1 9.1 9.1 9.2 9.2 9.2 前提条件 在DLA Serverless Spark中运行...
Spark Load
Spark Load通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load主要用于初次迁移、大数据量导入StarRocks的场景（数据量可到TB级别）。本文为您介绍Spark Load导入的...
Spark Load
YARN Cluster模式 CREATE EXTERNAL RESOURCE"spark0"PROPERTIES("type"="spark","spark.master"="yarn","spark.submit.deployMode"="cluster","spark.jars"="xxx.jar,yyy.jar","spark.files"="/tmp/aaa,/tmp/bbb","spark.executor.memory"=...
Spark Streaming
本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
Spark Connector
背景信息 使用Spark引擎调用MaxCompute的Storage API处理MaxCompute数据，满足您数据开放、多引擎使用场景，同时Spark结合MaxCompute的数据存储能力，可以实现高效、灵活和强大的数据处理和分析能力。阿里云提供了Spark Connector来简化...
从Spark导入
name:="Simple Project"version:="1.0"scalaVersion:="2.12.10"libraryDependencies+"org.apache.spark"%"spark-sql"%"3.0.0"libraryDependencies+"ru.yandex.clickhouse"%"clickhouse-jdbc"%"0.2.4"创建WriteToCk.scala数据并写入程序文件...
提交Spark作业
wget https://ecm-repo-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/emr-on-ack/util/emr-spark-ack chmod 755 emr-spark-ack使用emr-spark-ack工具提交作业。提交作业的语法如下。emr-spark-ack-n<集群对应的namespace><spark命令>说明 语法中...
Spark作业配置
本文介绍如何配置Spark类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
Spark访问OSS
详情请参见 访问域名和数据中心。OSS访问方式配置 以AccessKey ID和AccessKey Secret方式访问OSS。spark.hadoop.fs.oss.accessKeyId=xxxxxx spark.hadoop.fs.oss.accessKeySecret=xxxxxx spark.hadoop.fs.oss.endpoint=oss-xxxxxx-internal...
Spark计算引擎
Apache Spark是一个通用的开源的分布式处理系统，通常用于大数据工作负载。Spark既支持使用SQL，又支持编写多种语言的DataFrame代码，兼具易用性和灵活性。Spark通用化的引擎能力可以同时提供SQL、批处理、流处理、机器学习和图计算的能力...
Spark对接OSS
Spark对接OSS提供了高效、灵活的数据处理和分析方式，将大数据处理和云存储相结合。本文介绍Spark如何处理和分析OSS中的数据。背景信息 当前E-MapReduce：支持 MetaService 服务。支持通过免AccessKey方式访问OSS数据源。支持通过显式写...
Spark对接MNS
本文介绍如何通过Spark Streaming消费消息服务MNS（Message Notification Service）中的数据，并统计每个Batch内的单词个数。Spark接入MNS 示例代码如下。val conf=new SparkConf().setAppName("Test MNS Streaming")val batchInterval=...
DMS调度Spark
为解决以上痛点，您可以通过 数据管理DMS 的任务编排功能，周期性、有顺序地调度Spark作业。本文介绍如何使用DMS调度AnalyticDB MySQL Spark作业。应用场景 机器学习 图像处理 推荐系统 报表分析 数据挖掘 前提条件 购买了AnalyticDB MySQL...
搭建Spark应用
以阿里云容器服务的Spark基础镜像为例，设置Dockerfile内容如下：FROM registry.aliyuncs.com/acs/spark:ack-2.4.5-latest RUN mkdir -p /opt/spark/jars #如果需要使用OSS（读取OSS数据或者离线Event到OSS)，可以添加以下JAR包到镜像中 ADD ...
Spark常见问题
以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加 spark.hadoop.odps.cupid.internet.access.list=aliyundoc.com:443 spark.hadoop.odps.cupid.eni.enable=truespark.hadoop.odps.cupid.eni.info=[region]:[vpcid]如何访问OSS...
创建Spark任务
通过ACK One Fleet实例，您可以使用和单集群相同的方式创建Spark任务。由Fleet实例根据Spark任务需要的资源和关联集群的剩余资源，执行动态调度策略，选择适合的关联集群下发Spark任务。本文介绍如何创建Spark任务并查看任务状态。......
Spark常见报错
SSL_ERROR SSL peer shut down incorrectly JDBC_COLUMN_TYPE_PARSER_ERROR Can't get JDBC type for<数据类型>业务需要处理的数据量突然变大导致Spark作业无法成功执行。EXECUTOR_CONTAINER_OOM Exit Code:137 EXECUTOR_DISK_FULL No ...
使用Spark访问
本文介绍在文件引擎上搭建及使用Apache Spark的方法。运行环境准备 开通文件引擎，详情请参见 开通指南。在计算节点上安装JDK，版本不能低于1.8。在计算节点上安装Scala。Scala下载地址：官方链接，其版本要与使用的Apache Spark版本相兼容...
Spark对接MySQL
本文介绍Spark如何访问MySQL。Spark RDD访问MySQL 示例代码如下。val input=getSparkContext.textFile(inputPath,numPartitions)input.flatMap(_.split("")).map(x=>(x,1)).reduceByKey(_+_).mapPartitions(e=>{ var conn:Connection=null ...
自定义Spark镜像
使用Python进行机器学习、数据挖掘等时，依赖的C与C++版本与默认镜像中的版本不兼容，导致 VirtualEnv 环境上传方案不满足。针对Spark内核进行深度定制，或需要处于预览阶段的Spark内核版本中的特性。您可以通过 AnalyticDB for MySQL ...
Spark对接HBase
本文介绍Spark如何写入数据至Hbase。Spark访问HBase示例 重要 计算集群需要和HBase集群处于一个安全组内，否则网络无法打通。在E-Mapreduce控制台创建计算集群时，请选择HBase集群所在的安全组。Java代码 JavaSparkContext jsc=new ...
Serverless Spark概述
DLA Spark基于云原生架构，提供面向数据湖场景的数据分析和计算功能。开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓...
Airflow调度Spark
您可以通过 AnalyticDB MySQL Spark Airflow Operator、Spark-Submit命令行工具来实现Airflow调度Spark任务。本文介绍如何通过Airflow调度 AnalyticDB MySQL Spark作业。注意事项 AnalyticDB MySQL Spark支持的配置参数，请参见 Spark应用...
Spark对接Hologres
本文为您介绍Spark如何读取Hologres表数据。Hologres表全量数据 Spark读取Hologres表全量数据通过JDBC接口，JDBC的Driver需要使用PostgreSQL驱动，请至 官网 下载PostgreSQL JDBC Driver，需要使用42.2.25以上版本的JDBC驱动，详情请参见 ...
Spark UI
本文介绍如何在作业运行中和结束后查看Apache Spark web UI。操作步骤 登录 Data Lake Analytics管理控制台。...过期后Spark UI虽然不能打开，但是OSS上的日志数据是未被删除的，您可以根据需求通过OSS客户端查看日志数据或删除。
Spark对接DataHub
本文介绍如何在E-MapReduce的Hadoop集群，运行Spark作业消费DataHub数据、统计数据个数并打印出来。Spark Streaming消费DataHub 准备工作 使用DataHub的订阅功能订阅Topic，详细信息请参见 创建订阅。消费DataHub数据 运行Spark Streaming...
Spark对接RocketMQ
本文介绍如何通过Spark Streaming消费消息队列RocketMQ（简称MQ）中的数据并计算每个Batch中的单词。通过Spark访问MQ 代码示例如下。val Array(cId,topic,subExpression,parallelism,interval)=args val accessKeyId=System.getenv(...
- 产品推荐
- 这些文档可能帮助您