数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
数据建模：智能数据建模
沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的能力，并通过数据建模快速构建企业数据资产。功能概述 智能数据...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
什么是数据资源平台
统一服务：是一款数据中台建设过程中的数据服务化组件，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析能力，实现数据中台建设后...
受众与核心能力
同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...
什么是DataWorks
世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型治理，极大提升数据中台的自服务能⼒，让企业数据决策实现下放，释放新零售的数字化力量。上市公司创梦天地：基于开源的EMR引擎，用DataWorks替换自研调度系统，企业内部...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
面临的业务挑战
数据散乱不一致 传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
常见问题概览
连接访问 打开SQLConsole页面时提示“未获取到数据库相关信息”的报错 MySQL中出现“Too many connections”报错 新增ECS自建数据库提示“因白名单问题无法连接数据库”账号或权限 如何在DMS控制台中查看数据库对应的DBA 在DMS控制台添加...
功能介绍
4 我的看板 当前区域为可视化应用中心中数据看板的展示页面，当可视化工作台中的数据看板发布后，此处即展示已发布的数据看板。可视化演播厅 序号 区域名称 说明 1 工作空间 当前区域为可视化演播厅中工作空间的管理部分，通过切换工作空间...
重启集群
重启企业版集群 登录 云数据库ClickHouse控制台。在页面左上角，选择目标集群所在的地域。在 集群列表 页面，选择 企业版实例列表，单击目标集群ID。单击右上方导航栏的 重启实例。在弹出的 重启实例 对话框中，单击 确定。根据界面提示，...
为RAM账号授权
为确保RAM用户能正常使用CDP企业数据云控制台的功能，您需要使用云账号登录访问控制RAM（Resource Access Management），授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，更多详情请参见 什么是访问控制。...
规格及选型
案例七：大型互联网企业 用户为大型互联网企业，各业务线具有各自独立的业务中台，企业存在统一的数据中台，希望可以快速部署独立资源支持不同的业务负载，且未来不会产生数据孤岛。建议：使用 AnalyticDB PostgreSQL版 Serverless版本，...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
如何选择产品类型
已经创建成功的集群，您可通过 CDP企业数据云控制台-集群管理 查看某个集群对应的产品类型。产品类型对比 您可以通过下述对比项，根据自己的业务需求选择CDP的产品类型。对比项 基础版 专业版 适用场景 现代数据仓库 准实时分析 流式处理和...
功能特性
企业微信入方向 敏感信息同步 同步全部通讯录数据 企业微信入方向 全量同步 手动同步企业微信通讯录的全部数据到 IDaaS 企业微信入方向 定时校验 定时同步企业微信的全部数据到 IDaaS 企业微信入方向 企业微信扫码登录 企业微信扫码登录到 ...
通过阿里云百炼搭建专属大模型应用
完成向量数据库配置后，返回 企业数据 首页，并单击 导入企业数据，进行企业文档上传。等待状态为 导入完成 时，进行后续操作。重要 一次最多只能上传3个文件。单个文件小于100 MB。文档内容格式要求，请参见 文档上传格式要求。数据上传...
功能概览
在您需要监控和管理数据库实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行账号、IP地址、执行详情等信息，对实例性能没有影响。...
通过RAM配置验证码权限控制
控制台登录与编程访问分离 在业务中集成验证码能力，通常您需要在先控制台创建业务配置，然后在您的业务前端和服务端分别集成验证码提供的功能接入代码。在服务端集成验证码功能接入代码时，需要您填写访问密钥（AccessKey）参数信息，供...
通过RAM配置验证码权限控制
控制台登录与编程访问分离 在业务中集成验证码能力，通常您需要在先控制台创建业务配置，然后在您的业务前端和服务端分别集成验证码提供的功能接入代码。在服务端集成验证码功能接入代码时，需要您填写访问密钥（AccessKey）参数信息，供...
基于Delta lake的一站式数据湖构建与分析实战
如果有数据更新，则会自动更新至Delta Lake数据中。步骤三：数据湖探索与分析 DLF产品提供了轻量级的数据预览和探索功能，点击菜单“数据探索”->“SQL查询”进入数据查询页面。a.在元数据库表中，找到“dlf_demo_delta”，展开后可以看到...
SQL Review
数据库自治服务DAS（Database Autonomy Service）提供SQL Review功能，本文介绍如何在 SQL洞察和审计 的 SQL洞察 功能中进行 SQL Review。前提条件 已在DAS中接入对应的数据库实例，并且接入状态显示为 连接正常。实例已开启SQL洞察和审计...
产品计费
功能 描述 基础版 企业版 敏感数据识别 DSC 根据内置和自定义的识别模型检测您资产中的敏感数据，并支持搜索敏感数据。数据风险检测 DSC 根据内置和自定义的敏感数据泄漏检测模型识别您资产中的敏感数据并告警，支持查看并处理泄漏风险告警...
产品系列
查看产品系列 您可以通过 云原生多模数据库Lindorm控制台 的 实例列表 页面查看实例所属的系列，如下图所示：控制台的服务类型与实例所属的系列对应关系如下表：控制台的服务类型 系列 Lindorm Lindorm Lindorm_V2 Lindorm轻量版 AI 服务...
SQL洞察和审计
支持的数据库和地域 开启DAS企业版后，才可以使用该企业版提供的SQL洞察和审计功能，不同的企业版支持的数据库和地域不同。各个企业版支持的数据库和地域请参见 各个版本支持的数据库和地域。费用 开启DAS企业版后，才可以使用该企业版提供...
从RDS MySQL迁移至自建Kafka
背景信息 由于数据同步功能对自建Kafka的部署位置要求如下：ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 如果Kafka集群的部署位置为...
SQL洞察和审计
数据库自治服务DAS为 PolarDB MySQL版 提供SQL洞察和审计，在全量请求和安全审计的基础上，融合了搜索、SQL洞察、安全审计等功能，帮助您更好地获取SQL语句的具体信息、排查性能问题、识别高危风险来源，并且提供流量回放和压测功能，帮助...
调用API
查看API调用的认证信息 登录 DataWorks控制台，单击左侧导航栏的 数据服务，在下拉框中选择对应工作空间后单击 进入数据服务。在 数据服务 页面，单击右上方的 服务管理。在左侧导航栏，单击 API调用。在 API调用 页面，您可以根据自身需求...
购买指引
场景3：数据中台建设/数仓规范化建设推荐配置 推荐配置 推荐原因 功能 推荐购买 企业版，企业版具备完整的数据开发治理功能，包含各类安全合规能力、OpenAPI定制化能力等。增值功能推荐开通 智能数据建模，智能数据建模落地数据中台建设...
- 产品推荐
- 这些文档可能帮助您