Tablestore外部表
注意事项 MaxCompute与Tablestore是两个独立的大数据计算和存储服务，所以两者之间的网络必须保证连通性。MaxCompute公共云服务访问Tablestore存储时，推荐您使用Tablestore私网地址，即Host名以 ots-internal.aliyuncs.com 作为结尾的地址...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
操作审计事件数据迁移至MaxCompute
选择 投递到其他账号，设置 大数据计算服务ARN 和 大数据计算服务写入角色ARN。选择投递到其他账号时需要先在目标账号中创建RAM角色，授予操作审计服务向目标账号投递事件的权限，并提前创建 大数据计算服务 项目。具体操作，请参见 将多个...
数据分析整体趋势
这些云原生数据仓库技术分别起源于数据库和大数据，提供标准SQL接口和ACID保证，底层存储通过Share Everything或Share Nothing实现资源池化和横向扩展能力。资源隔离，数据共享是目前业务应用对云原生数据仓库的普遍需求。综上所述，数据...
运维大盘
背景信息 物联网边缘计算中，运维大盘实时统计和展示边缘一体机相关的数据。说明 因网络原因，可能存在数据延时问题。运维大盘 登录 边缘计算控制台。在左侧导航栏选择 运维与支持>运维大盘。在 运维大盘 页面，单击 运维大盘。数据 描述 ...
函数
自定义函数（UDF）：为MaxCompute提供了高度的灵活性，允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数（UDF）可以进一步分为标量值函数（UDF）、自定义聚合函数（UDAF）和自定义表值函数（UDTF）三种类型。您在开发完成UDF...
升级和降配
在 变配 页面，配置升级后所需的CU数量，并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute，单击 立即购买。订单价格计算规则如下：升级订单价格计算=新配置剩余时长购买金额（新配置的月单价/30/24×剩余时...
打车营销风控解决方案
核心技术点 1）大数据快速迭代能力 强大的离线数据处理能力能够让大数据量（TB）规模的全量更新时效变成MIN分钟级 实时更新链路能够支撑起百万级别的更新消息低延迟 2）智能运维系统 一站式的图计算服务生命周期管理，单人轻松玩转图数据 ...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
功能发布记录
基础版、企业双擎版 运维配置 数据库运维实时连接 优化 优化了运维令牌访问数据库时，实时连接并发计算逻辑，提高审计准确性。企业双擎版 无 V3.2.36 稳定性优化 优化 优化过载保护进程，提升产品组件稳定性。基础版、企业双擎版 2023-07-...
专家成长计划技术培训课程
现场面授（特殊情况可调整为线上钉钉群直播）大数据运维工程师专家培训（专项）2天 30人 通过学习本课程，能帮助学员了解阿里云的大数据产品-大数据计算服务MaxCompute和DataWorks的架构与基础运维知识、统一运维平台大数据管家，以及...
PingCAP与阿里云计算巢联合方案深度解析：数据库软件...
同时为了进一步的优化体验，PingCAP结合自身的最佳实践和测试结果，针对不同版本的TiDB集群推荐了最高性价比的云服务器规格，结合Alibaba Cloud Linux针对数据库场景的专门优化，用户将可以获得更高的性能。此外，针对跨3AZ的高可用版本，...
支持的连接器
云数据库Redis×流模式 SQL 是 Upsert Kafka√流模式和批模式 SQL 是 Elasticsearch√流模式和批模式 SQL和DataStream 是 云原生数据仓库 AnalyticDB MySQL版 3.0×流模式和批模式 SQL 是 ClickHouse×流模式和批模式 SQL 是 Print×流模式...
数据库运维最佳实践
阿里云堡垒机企业双擎版支持Windows服务器、Linux服务器以及数据库的运维管控，针对多种类型数据库均可实现运维权限划分及事后审计追溯，最大化保证数据库运维安全。另外还提供混合场景运维能力，通过网络域运维能力将跨账号、线下IDC、...
2023年
FORMAT JSON_TYPE JSON_PRETTY JSON_EXTRACT JSON_ARRAY JSON_OBJECT JSON_EXISTS 2023-06-29 新增MaxCompute JSON类型使用指南（试用Beta版本）新说明 MaxCompute当前支持了JSON数据类型，提高了表中带有JSON类型数据的计算和分析的性能，...
行业趋势与背景
比如随着移动互联网和IoT的普及，数据层面会有爆炸式的增长，以及疫情之后有更多的企业会关注IT成本，因此高性能、低成本和可扩展的计算和存储能力也成为普适性诉求；另外，按查询付费的弹性能力，也是市场的一个诉求。因此，下一代的分布...
RDS搭配大数据计算服务实现大规模数据计算
开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
准备环境
为保证您可以顺利完成本次实验，请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号，详情请参见 注册阿里云账号。实名认证，详情请参见 个人实名认证 背景信息 本次...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...
TPC-DS性能测试
MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据集及测试工具，以大数据基准测试TPC-DS为例为您验证MaxCompute的性能。准备工作 环境准备。在进行TPC-DS测试前，您...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
什么是图计算服务
图计算服务Graph Compute是阿里云自主研发的高性能分布式图计算产品，为开发者提供万亿级数据规模的一站式图技术服务。Graph Compute支持复杂图关系数据的存储、查询和计算，高效对接图算法与模型，在搜索推荐广告、实时风控、知识图谱、...
查看和导出运维报表
堡垒机管理员可以通过运维报表，按运维需求设定时间范围，查看运维的总体数据、会话大小、运维次数和运维时长。本文介绍如何查看运维报表基本信息以及导出运维报表。查看运维报表 登录堡垒机系统。具体操作，请参见 登录系统。在左侧导航栏...
集群镜像
如果您使用的是 Linux 操作系统，还需要检测 cloud-init 服务的完整性，请执行命令 cloud-init-h 查询软件能否正常运行，若抛异常则说明 cloud-init 服务被破坏，需要联系批量计算运维人员对镜像进行修复操作。3.5.注册镜像 需要注意的是，...
ListOperationTickets-获取需要审批的运维申请列表
获取需要审批的运维申请列表。接口说明 本接口用于管理员获取需要审批的运维申请列表。本接口的单用户 QPS 限制为 10 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。调试 您可以在OpenAPI Explorer中直接运行该...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
将云消息队列 Kafka 版的数据迁移至MaxCompute
DataWorks基于MaxCompute计算和存储，提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。在数加（一站式大数据平台）中，DataWorks控制台即为MaxCompute控制台。MaxCompute和DataWorks一起向用户提供完善的数据处理...
系统运维工具集SysAK使用说明
SysAK（System Analyse Kit）是阿里云操作系统提供的一个全方位的系统运维工具集，可以覆盖系统的日常监控、线上问题诊断和系统故障修复等常见运维场景。本文为您介绍SysAK的安装部署和使用方法。运维场景 阿里云通过对百万服务器运维经验...
数据组织优化
Compaction服务通过消除记录中间历史状态，可节省计算和存储成本，极大加速全量快照查询场景的效率，但也不是频率越高越好，首先执行一次也要读取一遍全量数据进行Merge，极大消耗计算和IO资源，并且生成的新BaseFile也会占据额外的存储...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
- 产品推荐
- 这些文档可能帮助您