什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
计算设置概述
亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB Transwarp ArgoDB是星环科技的分布式分析性数据库。说明 星环ArgoDB不支持智能研发版。设置Dataphin实例的计算引擎为TDH或ArgoDB 星环...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、...，帮助用户构建和持续优化的大数据体系架构...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
EMR Studio概述
EMR Studio作为一款云上产品，支持与数据湖构建（DLF）和对象存储（OSS）等云上产品对接，构建云原生大数据产品架构。您可以在创建EMR Studio时指定OSS bucket路径，EMR Studio将自动备份作业代码和作业日志，并可以通过该路径提交Airflow ...
什么是Dataphin
超级管理员需要通过管理中心来进行成员管理和计算设置，同时您也可以通过智能引擎来配置计算和存储规则，以提高数据构建的效率。管理中心 全局规划 基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您...
产品概述
高效的数据检索：基于元数据及业务数据构建数据图谱，实现快速、智能检索数据表及数据。可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
Flink VVP+DLF数据入湖与分析实践
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...
应用场景
Databricks数据洞察（简称DDI）的核心引擎是Databricks Runtime和Databricks Delta ...实时数仓 利用Databricks Delta Lake的ACID事务特性，可以构建云上大数据的实时数仓。icmsDocProps={'productMethod':'created','language':'zh-CN',};
数据服务入门
DataWorks数据服务的主要目标是为个人、团队和企业构建统一的数据服务总线，帮助用户统一管理面向内外部的API服务。例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL...
Data Copilot智能助手
DMS Data Copilot是 DMS 基于阿里云大模型构建的数据智能助手。其结合了 DMS 熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理数据。本文为您介绍如何使用DMS Data Copilot。...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
测试数据构建
您可以通过DMS提供的测试数据构建功能，批量生成各类随机值、地区名、虚拟IP地址等信息，有效减轻您准备测试数据的负担。准备工作 已在数据库下创建表。建表操作，请参见 创建表。本文示例中数据库为 poc_dev，表为 big_table。操作步骤 本...
新功能发布记录
空间数据构建平台助力用户一键生成三维城市，精准还原物理实物，解决图形技术难题。2021-08-04 搭建BI分析组件并配置数据集案例 视觉映射使用场景 BI分析模式数据面板功能介绍 区块概述 设计资产概述 空间构建平台 v5.10 新增组件回收站...
功能特性
数据分析概述 访问数据分析功能 管理数据集 仪表盘 Copilot Copilot是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理...
构建全量数据索引
执行以下命令为宽表 testTable 的全量数据构建索引，命令是异步执行的。build_external_index 'testTable' 查看全量数据同步任务的进度。全量数据的构建由LTS完成，可以在LTS页面中查看。登录LTS操作页面。在Lindorm控制台上单击目标实例ID...
权限设置
操作步骤 开启权限 打开 数据构建控制台 依次打开菜单：数据权限-权限设置 在数据目录（Catalog）的右侧，如数据目录处于关闭状态，点击“开启”操作，将会提示确认开启弹出框，确认后，完成权限开启。关闭权限 打开 数据构建控制台 依次...
数据集概述
RFM模型：基于交易数据或者客户消费数据构建RFM模型，从购买频次、购买金额、最近一次购买时间三个维度进行消费者购买力分析。后续可应用于RFM分析、受众RFM模型筛选。AIPL模型：基于行为数据集或客户统计数据构建AIPL模型，将品牌人群细分...
ALTER INDEX
BUILDING：重新对历史数据构建索引。索引构建完成后，索引状态会自动切换为ACTIVE。ACTIVE：将索引状态切换为有效状态。说明 如果Lindorm宽表引擎为2.2.16之前的版本，索引状态说明如下：DISABLE：禁用索引。再次启用前需要进行REBUILD操作...
管理中心概述
同时您也可以配置计算和存储资源的规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。使用限制 仅支持超级管理员在管理中心管理成员、设置Dataphin计算引擎、配置智能引擎。功能介绍 管理中心支持的功能如下表所示。...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
管理中心概述
同时您也可以配置计算和存储资源的规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。使用限制 仅支持超级管理员在管理中心管理成员、设置Dataphin计算引擎、配置智能引擎。功能介绍 管理中心支持的功能如下表所示。...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
PluginType参数说明
CLONE 测试数据构建 GENERATE 数据追踪 DATA_TRACK 数据归档 DATA_ARCHIVE 数据分析 DATA_WAREHOUSE T+1全量数据快照 DATA_SNAPSHOT 数据库迁移 SAAS_DB_MOVE 权限申请-库表权限 PERM_APPLY 权限申请-Owner OWNER_APPLY 权限申请-安全访问...
新零售：杭州数云信息技术有限公司
数云以软件产品为主线，以营销效果为导向，帮助企业深度挖掘大数据价值，持续构建自身的核心竞争优势。实现了以全渠道客户数据管理平台为基础，以CRM（客户关系管理）和BI（商业智能）为核心应用，并渗透到全渠道数据化营销、销售和服务...
Quick BI连接
单击左侧导航栏中的 数据构建>数据源。在 选择数据源 页面，单击 Alibaba AnalyticDB for PostgreSQL。单击 新建数据源。在 配置连接 页面进行参数配置。说明 通过公网连接Quick BI和数据库时，需要将Quick BI的IP地址添加至数据库白名单中...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
- 产品推荐
- 这些文档可能帮助您