功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
产品更新动态
2023年9月 发布时间：2023-09-28 功能名称 功能描述 相关文档 数据中心 数据源管理模块，用户可以在数据中心连接和管理数据库，并可直接在数据中心预览和查看数据库中的不同数据表。添加PolarDB PostgreSQL数据库 管理数据树 我的项目 核心...
应用场景
应用程序只需配置一个连接地址，无需修改代码即可将业务平滑扩展到更多地域，从1个数据中心，扩展到2个、3个甚至更多的数据中心。上海、深圳的集群规格无需与北京保持一致，可以灵活选择。部署流程 创建一个GDN，将已有集群作为GDN中的主...
名词解释
数据中心 云数据库Cassandra中，数据中心（Data Center，简称DC）是指在同一地域下，电力、网络隔离的一组节点。在多DC的部署架构下面，DC之间内网互通，同一DC内网络延时更小，不同DC之间故障隔离。Partitioner partitioner用来确定将数据...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
流程简介
数据探索主要包括首页、数据中心、算子中心、模型中心、任务中心等功能。本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。数据探索的流程说明如下表所示。流程 说明 首页 提供新手引导及用户登录、模型情况的运行...
功能简介
数据中心 数据中心包含数据管理、数据配置、API接入。数据管理：展示并管理用户添加的数据，主要功能包括数据表引入、本地数据导入。数据配置：展示并管理用户添加的计算资源。算子中心 算子中心包含算子管理、算子配置。算子管理：展示并...
专题广场
个人数据中心：可查看并管理负责人是自己的资产，详情请参见 个人数据中心。③配置中心 可创建专题分组及配置数据探查。专题分组管理：帮助您对专题分组进行统一管理，提高专题的管理效率，详情请参见 新建及管理专题分组。数据探查配置：...
专题广场
个人数据中心：可查看并管理负责人是自己的资产，详情请参见 个人数据中心。③配置中心 可创建专题分组及配置数据探查。专题分组管理：帮助您对专题分组进行统一管理，提高专题的管理效率，详情请参见 新建及管理专题分组。数据探查配置：...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
添加RDS PostgreSQL数据库
在 数据中心 页面下方，单击 新建数据连接。选择需要添加的数据库，单击 去连接数据库。不打开VPC开关，填写数据库信息。参数 说明 数据连接名称 数据源的显示名称，可以自由命名。域名 连接数据库的地址。重要 该地址是DataV-Atlas服务器...
添加体验空间数据库
在 数据中心 页面下方，单击数据库列表的 体验空间。在体验空间模块，单击右上角的 上传数据，打开上传数据文件窗口。在 选择文件 页签，将文件拖拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON...
添加PolarDB PostgreSQL数据库
在 数据中心 页面下方，单击 新建数据连接。选择需要添加的数据库，单击 去连接数据库。不打开VPC开关，填写数据库信息。参数 说明 数据连接名称 数据源的显示名称，可以自由命名。域名 连接数据库的外网地址。重要 该地址是DataV-Atlas...
基本概念
地域 地域指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华北2（北京）地域表示数据中心所在的城市是北京。可用区 可用区是指在同一地域内，电力和网络互相独立的物理区域。例如，华北2（北京）地域支持12个可用区，...
资产全景及目录概述
支持在个人数据中心快捷查看自己所负责的资产。名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好...
资产全景及目录概述
支持在个人数据中心快捷查看自己所负责的资产。名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好...
什么是Dataphin
运维中心 资产全景及目录 支持采集、解析和管理基础数据中心、公共数据中心、萃取数据中心的元数据。在元数据中心基础上，深度分析元数据，实现数据资产化管理。为您可视化地呈现资产分布、元数据详情等，方便您快速查找、深度了解数据资产...
数据分析整体趋势
据Gartner统计，到2025年实时数据占比达30%，其中非结构数据占比达80%，同时数据存储云上规模达45%，而云上数据库规模可达75%。从数仓分析市场增长来看，据Global Market Insights分析，2019-2025全球年复合增长超过12%，中国则大于15%，...
在EMR集群运行TPC-DS Benchmark
A：Spark ThriftServer服务的默认内存不适合较大规模数据集测试，如果在测试过程中出现Spark SQL作业提交失败，原因可能是Spark ThriftServer出现OutOfMemory异常。针对这种情况的解决方法为调整Spark服务配置 spark_thrift_daemon_memory ...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 ...
应用场景
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
应用场景
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...
什么是数据库备份DBS
DBS支持备份恢复MySQL、SQL Server、PostgreSQL、Oracle等近10种数据源，同时支持阿里云云数据库、阿里云ECS数据库、本地数据中心、其他云厂商等环境，允许通过数据库网关DG私网、专线、VPN网关等网络进行接入，帮助您有效解决备份耗时耗...
什么是DataWorks
典型客户 国家电网大数据中心：通过DataWorks实现总部+27家省（市）公司PB级数据的统一管理，通过全链路数据中台的治理与监测运营体系，加快电网整体数字化转型升级。世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型...
JindoFS介绍和使用
支持对冷数据做透明压缩和归档，使用多种手段进行成本优化，对接对象存储，支持EB级数据规模。Block模式支持HDFS的一些重要特性。例如，HDFS AuditLog、Ranger集成和数据加密。Q：Block模式具有哪些特别的优势？A：Block模式可以管理文件...
什么是数据库网关
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台。数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
应用场景
云数据库HBase是一个键值/宽表型的分布式数据库，适用于任何数据规模，可以提供单个毫秒响应的性能，尤其擅长低成本、高并发的场景，支持水平扩展到PB级存储和千万级QPS，在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的...
通过上传本地数据新建数据集
在顶部菜单栏，单击 图标，选择目标工作组，单击 数据中心。在左侧导航栏，选择 数据管理>数据集。添加数据目录。在目录栏选中目录，单击 图标，在目录输入框中输入目录名称，按回车键。页面提示新增成功，在目录栏可查看添加的目录。说明 ...
什么是数据库网关
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台。数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
配置离线数据集成节点
运行时间与数据规模成正比，数据规模越大，运行耗时时间越长。如果执行日志的最后一行出现 status SUCCEEDED，表明任务试运行成功。试运行成功后，您可以在目标库的SQL窗口中，查询目标表中已迁移的数据。如果执行日志的最后一行出现 ...
观远BI连接MaxCompute
在 观远数据 页面单击 数据中心。在 数据集 页面单击 新建数据集 并选择 数据库。在 选择连接器 面板中选择 MaxCompute 后单击 下一步。步骤二：选择数据表 在 选择数据表 面板，单击 新建账户。如果已有创建的账户，直接跳转 第4步。在 ...
产品架构
云原生数据库PolarDB 基于Cloud Native设计理念，既融合了商业数据库稳定可靠、高性能、可扩展的特征，...数据多副本、Parallel-Raft协议 数据库存储节点的数据采用多副本形式，确保数据的可靠性，并通过Parallel-Raft协议保证数据的一致性。
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
产品架构
云原生数据库PolarDB 基于Cloud Native设计理念，既融合了商业数据库稳定可靠、高性能、可扩展的特征，...数据多副本、Parallel-Raft协议 数据库存储节点的数据采用多副本形式，确保数据的可靠性，并通过Parallel-Raft协议保证数据的一致性。
通过操作审计查询行为事件日志
DIRunStreamxJob 运维中心数据集成启动实时任务 DIBatchRunStreamxJob 运维中心数据集成批量启动实时任务 DIStopStreamxJob 运维中心数据集成停止实时任务 DIBatchStopStreamxJob 运维中心数据集成批量停止实时任务 DIOfflineStreamxJob 运...
面临的业务挑战
一方面，业务发展变化很快，其数据规模体量也变化很大；另一方面，有些业务具备很强的时间周期特点，平时空闲，高峰明显。这些特点对底层基础能力提出了很高的资源弹性要求。这里所说的弹性，既包括存储能力的弹性，也包括计算能力的弹性。...
创建Impala数据源
参数 说明 Endpoint 可选，填写集群在DLF数据中心所在地域的Endpoint，若未填写则使用hive-site.xml中的配置项。Endpoint如何获取，请参见 DLF Region和Endpoint对照表。AccessKey ID、AccessKey Secret 填写集群所在账号的AccessKey ID和...
- 产品推荐
- 这些文档可能帮助您