东软案例

在运维过程中,用户通过实时监控仪表盘、统计分析报表或风险定位、检测工具对接Lindorm多模引擎海量数据检索、分析能力,来满足不同应用场景的运维大数据信息提取需要。图 3.东软新型IT智能运维系统部署方案 适用场景 实时状态大屏展现。...

将云消息队列 Kafka 版的数据迁移至MaxCompute

背景信息 大数据计算服务MaxCompute(原ODPS)是一种大数据计算服务,能提供快速、完全托管免运维的EB级云数据仓库解决方案。DataWorks基于MaxCompute计算和存储,提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。在...

查看Ranger日记审计信息

Resource 访问的数据信息。例如,Hive的库表列和HDFS的路径等。单击 图标,可以查看具体的Query信息。Access Type 访问的种类。Permission 访问触发的权限。Result 访问的结果。Access Enforcer 访问触发的权限控制对象。例如ranger-acl...

概述

背景信息大数据生态系统中,Alluxio位于数据驱动框架或应用(例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等)和各种持久化存储系统(例如HDFS和阿里云OSS)之间,使得上层的计算应用可以通过统一的客户端API和...

阶段一:基础防护建设

例如:《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...

DataWorks On EMR使用说明

背景信息 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...

附录:数据地图服务关联角色

权限说明:用于大数据开发治理平台 DataWorks的服务关联角色,DataWorks使用此角色来访问您在OSS中的资源,并进行统计分析。使用该权限的作用:获取带有 access_by=DW-OSS-MANAGE 标签的存储空间访问权限,包括开通/关闭存储空间清单、开通...

查看治理方案模板

数据治理中心针对不同的治理项,为您提供了相应的解决方案,当检测出该类待治理项时,您可以单击目标治理项对应的 关联解决方案,即可根据系统所给的解决方案处理该问题。在治理方案模板中,您不能修改治理项的配置,但是您可以在 治理项...

在DataWorks运维中心查看作业运行信息

DataWorks运维中心展示 离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息,帮助您提升任务运维效率。当您在DataStudio中完成节点开发,并提交和发布至生产环境后,即可在运维中心查看作业运行详情、监控作业运行状态等...

数据服务入门

背景信息 DataWorks数据服务作为数据库和数据应用之间的桥梁,旨在为个人、团队及企业提供全面的数据服务及共享能力,帮助用户统一管理面向阿里云内外部的API服务。数据服务已与API网关连通,支持一键发布API至API网关。数据服务与API网关...

迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...

背景信息 数据传输支持创建源端 TiDB 数据库至目标端 OceanBase 数据库 MySQL 租户的数据迁移项目。您可以通过结构迁移、全量迁移和增量同步等,无缝迁移源端数据库的存量业务数据和增量数据至 OceanBase 数据库 MySQL 租户。TiDB 数据库...

授权信息

本文为您介绍 云原生大数据计算服务 MaxCompute(MaxCompute)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。云原生大数据计算服务 MaxCompute(MaxCompute)的RAM代码(RamCode)为 odps,支持的授权粒度为 ...

通过Presto查询RDS MySQL数据库

本文介绍在同一VPC下创建的E-MapReduce集群和RDS MySQL实例,如何通过E-MapReduce集群的Presto查询RDS MySQL数据信息。前提条件 已创建集群,并且选择了Presto服务。详情请参见 创建集群。已购买RDS,详情请参见 创建RDS MySQL实例。说明...

应用场景

数据库MongoDB版支持单节点、副本集和分片集群三种部署架构,具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用:使用云数据库MongoDB作为大数据的云存储系统,随时进行数据提取分析,掌握行业动态。

冷热分层

背景信息 在海量大数据场景下,随着业务和数据量的不断增长,性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案,推出了数据流入、数据组织管理、数据查询和数据流出等特性,同时提供了数据的ACID和CRUD操作...

GetDoctorHiveCluster-获取 Hive 集群信息

调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 RegionId string 是 地域 ID。cn-hangzhou ClusterId string 是 集群 ID。c-b933c5aac8fe*DateTime string 是 其日期和时间信息以 ISO 8601 格式表示,例如:...

使用Logview查看作业运行信息

数据倾斜 运行缓慢有时是由于在某个Fuxi Task的所有Fuxi Instance中,有个别Instance形成长尾造成的。长尾的现象由同一个Task内任务分配不均导致。这时可以在任务运行完后,在Summay标签页中看运行结果。在每个Task中都可以看到如下输出:...

准备工作:获取CDH或CDP集群信息并配置网络连通

背景信息 CDH是Cloudera的开源平台发行版,提供开箱即用的集群管理、集群监控、集群诊断等功能,并支持使用多种组件,助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台,可帮助您收集实时数据,并将其构建...

2021年

2021-03-16 全部地域 支持压缩格式数据 MaxCompute SQL支持FROM_JSON/TO_JSON函数 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStr和schema信息,返回ARRAY、MAP或STRUCT类型。TO_JSON函数...

GetDataSourceMeta

调用GetDataSourceMeta获取目标数据源的Meta信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...

UpdateMetaTableIntroWiki

数据不存在时增加对应信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

ListMetaCollections

查询集合信息。集合的概念包括数据地图页面上的专辑、专辑中的子类目等。通过本接口可以指定集合类型查询集合信息。集合包括:ALBUM(专辑集合),ALBUM_CATEGORY(专辑内的子类目)。调试 您可以在OpenAPI Explorer中直接运行该接口,免去...

GetMetaTableColumn

调用GetMetaTableColumn,获取表的字段信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

查看集群信息

前提条件 已在E-MapReduce上创建on ACK的集群,创建详情请参见 快速入门。查看集群列表 登录 EMR on ACK。在EMR on ACK页面,可以查看集群列表信息...数据湖构建(DLF)显示DLF是否启用的状态。默认是未启用。如果需要启用,可以单击 点击启用。

UpdateMetaTable

调用UpdateMetaTable更新表的Meta信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

2023年

2023-03-30 全部地域 向量计算(Proxima CE)概述 支持External Volume非结构化数据存储能力 External Volume是MaxCompute提供的非结构化大数据存储方案,是OSS路径在数仓中的映射和管理对象。2023-03-30 全部地域 External Volume操作 ...

TRINO指标

本文为您介绍TRINO指标的详细信息。参数 指标 描述 JVM Used MemHeap trino_Memory_HeapMemoryUsage_used JVM内存使用量。JVM Used MemNonHeap trino_Memory_NonHeapMemoryUsage_used 非堆内存使用量。Queued Queries trino_QueryManager_...

GetDoctorHiveDatabase-获取Hive库信息

调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 RegionId string 是 地域 ID。cn-hangzhou ClusterId string 是 集群 ID。c-b933c5aac8fe*DateTime string 是 日期。2023-01-01 DatabaseName string 是 数据...

ListDataServiceApplications

调用ListDataServiceApplications获取数据服务应用的基础信息列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...

2019年

2019-09-30 全部区域 监控报警 支持元数据服务 MaxCompute的Information Schema提供了项目元数据及使用历史数据信息。2019-09-06 全部区域 Information Schema概述 存储降价 MaxCompute存储计费于2019年9月1日进行降价,原5个阶梯价调整...

ListDoctorHiveDatabases-批量获取 Hive 库信息

调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 RegionId string 是 地域 ID。cn-hangzhou ClusterId string 是 集群 ID。c-b933c5aac8fe*NextToken string 否 标记当前开始读取的位置。DD6B1B2A-5837-5237-...

ZOOKEEPER指标

本文介绍ZOOKEEPER指标的详细信息。ZOOKEEPER指标包含以下部分:Important metrics zk count info Important metrics 参数 指标 描述 AvgLatency zk_avg_latency。Zookeeper平均请求延迟。单位:ms。MaxLatency zk_max_latency Zookeeper...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

ListDataServiceAuthorizedApis

调用ListDataServiceAuthorizedApis获取获得授权的API信息列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...

2020年

2020-09-10 全部区域 使用Logview 2.0查看作业运行信息 备份与恢复功能商业化发布 MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,...

QueryPublicModelEngine

调用QueryPublicModelEngine接口,使用FML语句查询数据建模引擎的信息。每次调用该接口均需使用FML语句请求获取查询信息。除了数仓分层、业务过程和数据域查询外,其他引擎信息查询均可使用分页查询方式。您可以在FML语句结尾增加offset ...

RSS指标

PausePushData rss_worker_metrics_PausePushData_Value RSS Worker因为内存压力导致的停止从executor接受数据的次数。PausePushDataAndReplcate rss_worker_metrics_PausePushDataAndReplicate_Value RSS Worker因为内存压力高导致的...

2022年

2022-07-14 全部地域 聚合函数 2022-6 功能名称 功能描述 发布时间 发布地域 相关文档 支持在DataWorks公共表中查看外部数据源的元数据信息 支持在DataWorks公共表中查看外部数据源的元数据信息,使基于湖仓的数据开发人员方便查看外部数据...

配置说明

说明 不建议您将该参数值修改的过,过可能会造成分析时间过长、中间存储数据等问题。collect.storage.top.size 100 高级配置。存储元数据每个层级获取的top目录个数,默认是每个层级获取top100。说明 不建议您将该参数值修改得过...

PRESTO指标

本文为您介绍PRESTO指标的详细信息。参数 指标 描述 HeapMemory committed presto_Memory_HeapMemoryUsage_committed JVM堆内存分配量。HeapMemoryUsage Init presto_Memory_HeapMemoryUsage_init JVM初始堆内存。HeapMemoryUsageMax ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 数据传输服务 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用