产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

开发入门

以上三种消费模式都受到checkpoint记录的影响,如果存在checkpoint记录,则从checkpoint处开始消费,不管指定的是什么消费模式。E-MapReduce SDK基于“SPECIAL_TIMER_CURSOR”模式支持用户强制在指定时间点开始消费,在LoghubUtils#...

Alibaba Cloud Linux 2系统的ECS实例中Page Fault异常...

hrtimer_interrupt+0x122/0x270[332.057563]RIP:0033:0x7eff1b11e3a4[332.057564]R13:0000000000000000 R14:0000000000000000 R15:0000000000000000[332.057566]smp_apic_timer_interrupt+0x6a/0x140[332.057568]do_page_fault+0x32/0x140...

Alibaba Cloud Linux 2系统的ECS实例中Page Fault异常...

hrtimer_interrupt+0x122/0x270[332.057563]RIP:0033:0x7eff1b11e3a4[332.057564]R13:0000000000000000 R14:0000000000000000 R15:0000000000000000[332.057566]smp_apic_timer_interrupt+0x6a/0x140[332.057568]do_page_fault+0x32/0x140...

消息通知

RetryCount":"0","Progress":"0","StdoutRedirectPath":"oss:/bucket/tests/a44c0ad8-a003-11e6-8f8e-fefec0a80e06/logs/stderr.job-0000000058184218000008150000000D.task.0","StderrRedirectPath":"oss:/bucket/tests/a44c0ad8-a003-11...

消息通知

0","Progress":"0","StdoutRedirectPath":"oss:/bucket/tests/a44c0ad8-a003-11e6-8f8e-fefec0a80e06/logs/stderr.job-0000000058184218000008150000000D.task.0","StderrRedirectPath":"oss:/bucket/tests/a44c0ad8-a003-11e6-8f8e-fefec...

解析函数

原始日志 content:logType=net_wheel_log&uid=62452*&vid=6.1.0_gf_pc&asb=1206427&git=time=22-11-3+e4%b8%8a11%e6%97%b649%e5%88%8633%e7%a7%92&operatingSystem=Windows+10+(10.0.0)+64bit&deviceModel=System+Product+Name+(System+...

数据开发常见问题

创建作业和执行计划的区别是什么?多个ConsumerID消费同一个Topic时为什么TPS不一致?为什么Spark Streaming作业已经结束,但是E-MapReduce控制台显示作业还处于“运行中”状态?如何在MR作业中使用本地共享库?如何在MR或Spark作业中指定...

什么是弹性高性能计算E-HPC

什么是文件存储NAS 对象存储OSS(Object Storage Service)对象存储服务可以存储您的作业数据及执行文件,您可以将对象存储服务内的作业数据及执行文件导入E-HPC集群。什么是对象存储OSS 功能特性 弹性高性能计算E-HPC主要提供以下功能。...

ListDialogueFlows

47b6-9e1d-400a2722fcf0"}],"branchName":"本人"},{"branchId":"7e49f0e0-b363-11e9-a287-e59394e73583","intents":[{"name":"关系人","id":"55280cca-401c-4297-afcb-6cf21ead3b65"}],"branchName":"关系人"},{"branchId":"810da4c0-b363-...

为RAM用户授权

背景信息 访问控制RAM是阿里云提供的资源访问控制服务,详情请参见 什么是访问控制。在E-MapReduce中,RAM的典型使用场景如下:用户:如果您购买了多台E-MapReduce集群实例,您的组织里有多个用户(如运维、开发或数据分析)需要使用这些...

概述

如果您在2022年2月21日21点前未使用过数据开发功能,推荐您通过EMR Workflow进行数据开发,详情请参见 什么是EMR Workflow。如果您在2022年2月21日21点前使用过数据开发功能,需要继续在EMR上使用数据开发功能,建议您尽快迁移到EMR ...

滚动窗口

什么是滚动窗口 滚动窗口(TUMBLING)将每个元素分配到一个指定大小的窗口中。通常滚动窗口有一个固定的大小,并且不会出现重叠。例如,如果指定了一个5分钟大小的滚动窗口,无限流的数据会根据时间划分成[0:00-0:05)、[0:05,0:10)和[0:10,...

滑动窗口

什么是滑动窗口 滑动窗口(HOPPING),也被称作Sliding Window。不同于滚动窗口,滑动窗口的窗口可以重叠。滑动窗口有windowDuration和slideDuration两个参数。windowDuration为窗口的大小,slideDuration为每次滑动的步长,两者关系如下:...

EMR Doctor概述

E-MapReduce Doctor(简称EMR Doctor)是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor(即集群管理页面的“健康检查”功能)可以全局了解集群的健康状况和动态走势,为运维决策和资源优化提供有力的信息...

选型配置说明

选择合适的集群是E-MapReduce产品使用的第一步。E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求,还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持...

弹性伸缩概述

弹性伸缩是E-MapReduce提供的能够根据业务需求和策略自动调整计算能力(即节点数量)的功能。您可以为节点组设置按时间或按负载的伸缩策略,在业务需求增长时,弹性伸缩自动为节点组增加节点,来保证计算能力;在业务需求下降时,弹性伸缩...

EMR Serverless StarRocks商业化发布

更多信息,请参见 什么是EMR Serverless StarRocks。控制台入口:立即前往。免费试用:EMR Serverless StarRocks 5000CU*H免费试用。支持地域 支持华东1(杭州)、华北2(北京)、华南1(深圳)、华东2(上海)、华北1(青岛)和华北3...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件,包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群(EMR on ECS和EMR on ACK)的计算引擎提交任务,并提供了交互式开发、任务调度和任务监控等...

为Spark集群关联RSS

RSS(EMR Remote Shuffle Service)是E-MapReduce(简称EMR)为了提升Shuffle稳定性和性能推出的扩展组件,优化了Spark原生的Shuffle。本文为您介绍EMR on ACK上的Spark集群如何关联RSS。背景信息 目前在ACK的场景下,Spark Shuffle面临的...

内表数据源

本文为您介绍什么是内表数据源(Default Catalog),以及如何使用Default Catalog查询StarRocks内部数据。Default Catalog StarRocks 2.3及以上版本提供了Internal Catalog(内部数据目录),用于管理StarRocks的内部数据。每个StarRocks...

EMR Workflow商业化公告

更多信息,请参见 什么是EMR Workflow。控制台入口:立即前往。支持地域 EMR Workflow支持以下地域。中国地区 地域名称 地域ID 华北2(北京)cn-beijing 华东1(杭州)cn-hangzhou 华东2(上海)cn-shanghai 华南1(深圳)cn-shenzhen 西南...

概述

SmartData是E-MapReduce(简称EMR)产品的核心自研组件,为EMR各个计算引擎提供统一的存储优化、缓存优化、计算加速优化和多个存储功能扩展,涵盖数据访问、数据治理和数据安全。SmartData组件在EMR产品中的位置如下所示。SmartData组件...

SmartData使用说明(EMR-3.20.0~3.22.0版本)

应用场景 E-MapReduce目前提供了三种大数据存储系统,E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS,其中OssFileSystem和JindoFS都是云上存储的解决方案,下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...

ESS(仅对存量用户开放)

ESS(EMR Remote Shuffle Service)是E-MapReduce(简称EMR)在优化计算引擎的Shuffle操作上,推出的扩展组件。背景信息 目前Shuffle方案缺点如下:Shuffle Write在大数据量场景下会溢出,导致写放大。Shuffle Read过程中有大量的网络小包...

SmartData使用说明(EMR-3.22.0~3.25.1版本)

JindoFS是一种云原生的文件系统,结合OSS和本地存储,成为E-MapReduce产品的新一代存储系统,为上层计算提供了高效可靠的存储。本文主要说明JindoFS的配置使用方式,以及介绍一些典型的应用场景。概述 JindoFS提供了块存储模式(Block)和...

RefreshUploadMedia-刷新媒资上传凭证

411bed50018971edb60b0764a0ec6*返回参数 名称 类型 描述 示例值 object RequestId string 请求 ID*11-DB8D-4A9A-875B-275798*MediaId string 媒资 ID c2e77390f75271ec802f0674a2ce6*UploadAddress string 上传地址。说明 接口返回的上传...

802.11n short GI 工作原理

概述 short gi功能可以缩短两个数据传输间隔,用于提高效率,802.11a/b/g传输间隔是800ns,short gi将间隔缩短至400ns,可以将效率提高10%左右。详细信息 射频芯片在使用OFDM调制方式发送数据时,整个帧是被划分成不同的数据块进行发送的,...

QueryReceiverDetail

{"DataSchema":"UserName,NickName,Gender,Birthday,Mobile","RequestId":"90AA5D9E-A802-5F11-A0C5-537AAB8CACD2","data":{"detail":[{"UtcCreateTime":1692080837,"Email":"111@example.net","CreateTime":"2023-08-15T14:27:17Z","Data...

QueryMediaIndexJob-查询媒资索引任务

c2e77390f75271ec802f0674a2ce6*返回参数 名称 类型 描述 示例值 object Schema of Response RequestId string 请求 ID。4E84BE44-58A7-*-*-FBEBEA16EF94 Success string 是否调用成功。取值:true:成功 false:失败 true Code string ...

ListBotChatHistorys

HTTP/1.1 200 OK Content-Type:application/xml <CostTime>146</CostTime> <RequestId>897F3CD0-99CA-4879-BA1D-989C817FDF9E</RequestId><Datas><KnowledgeTitle>本地测试结果不好怎么办#本地...11eb879e4f3e4091cf78</SessionUuid><ChatUuid>c911f526942c4a85973e13288ddacbcc</ChatUuid><AnswerSource>知识</AnswerSource><QueryTime>2020...

CreateOfficeConversionTask-创建单个文档的转换任务

d1fdd246-e187-11e8-9f32-f2801f1b9fd1 PdfVector boolean 否 当 PDF 转换为 VECTOR 时,是否使用向量模式,默认值为 false。包括如下选项:true:使用向量模式,预览效果比较清晰,但是转换耗时较长。false:使用图片模式,预览效果一般,...

新功能发布记录

本文介绍专有宿主机DDH产品功能发布的时间、地域和相关文档。2023年11月 功能名称 功能描述 发布时间 发布地域 相关文档 自动续费 支持包年包月DDH随包年包月ECS一起自动续费。2023-11-10 全部 开通和...2018-11-15 全部 什么是专有宿主机DDH

数字农业可信上链最佳实践

{"code":"00000","data":{"plainData":"{\"温度\":\"25.2\"}","privacyData":"tiq9SV1EkVkUhZSamwP2unmenPc7Hv6E4YH/VhlJngv/BmKj3cjL8k20mq+pENQo","privacyRuleId":"0387453157147937"},"message":"","requestId":"802E77DD-C5F3-1B11-93...

新功能发布记录

2023-05-19 什么是EMR Workflow 2023年4月 功能名称 功能概述 发布时间 相关文档 版本升级 EMR-5.x系列:升级至EMR-5.11.1 EMR-3.x系列:升级至EMR-3.45.1 2023-04-03 EMR-5.11.x版本说明 EMR-3.45.x版本说明 湖仓一体新能力 EMR支持Spark...

基本概念

格式 描述 示例.1f 浮点数(保留一位小数)11.111=>11.1.2f 浮点数(保留二位小数)11.111=>11.11.0%百分比 0.11=>11%.1%百分比(精确到百分比后一位)0.111=>11.1%.2%百分比(精确到百分比后二位)0.1111=>11.11%,.0f 千分位 1111.1=>1,...

常见问题

权限相关 什么是角色授权?弹性高性能计算服务关联角色(AliyunServiceRoleForEHPC)是访问控制提供的一种服务关联角色,用于授权E-HPC访问关联云资源。通过AliyunServiceRoleForEHPC,E-HPC可以获得云服务器ECS、专有网络VPC、文件存储NAS...

通用流程

本文示例目的是查询云服务器ECS公共镜像,您可以参见镜像相关文档了解什么是公共镜像。更多详情,请参见 公共镜像概述。下表列举了旧版SDK与新版SDK的方法、类以及对象之间的区别。若您使用的是旧版SDK,建议您切换为新版SDK,获取最新功能...

Oracle2PolarDB:Polardb-O兼容性之fetchsize

适用于 本文适用平台为公有云、专有云、PolarDB Stack和纯软。PolarDB高度兼容Oracle版本。目的 如何通过JDBC驱动导出大量数据。解决办法 Oracle迁移到Polardb-o后,通过JDBC驱动导出大量数据时出现OOM错误,报错如下。...

常见问题

什么Spark Streaming作业已经结束,但是E-MapReduce控制台显示作业状态还处于“运行中”?在哪里可以查看Spark历史作业?您可以在EMR控制台目标集群的 访问链接与端口 页签,单击Spark UI链接,即查看到Spark历史作业运行信息。访问UI...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
开源大数据平台 E-MapReduce 物联网无线连接服务 数据传输服务 邮件推送 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用