大数据开发应用实例-大数据开发应用实例文档介绍内容-阿里云

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...

快速体验

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

实验介绍

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

DataWorks on EMR Serverless StarRocks最佳实践

了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...

DataWorks准备工作流程

DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台，使用其进行数据开发前，您需做好相关准备工作，保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程，帮助您快速开通DataWorks并准备所需开发...

查看账单详情

单击明细账单页签，进入明细账单页面，您可以勾选统计项和统计周期，并单击产品右侧的过滤器图标选择 大数据开发治理平台 DataWorks，查看DataWorks账单汇总信息。账单明细说明 DataWorks包括按量付费和包年包月两种计费方式：类别 ...

数据标准

数据标准落标说明数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在字段编辑器页面，编辑中文名，输入拼音首字母即可快速检索出...

实例生成方式：发布后即时生成实例

DataWorks会为您的周期调度节点自动生成自调度实例，支持 T+1次日生成、发布后即时生成两种实例生成方式，即发布至生产环境后第二天自动调度及发布至生产环境后立即自动调度。本文为您介绍即时生成实例的规则及配置要点。注意事项周期...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...

用户授权与管理

角色规划使用数据建模并应用至数据开发的过程中，通常需要进行定义标准、数据建模、数据开发、部署运维等任务，下图为您示例不同流程中操作人员的角色以及所需的角色权限。建议您参考下图进行用户角色及权限规划。开通权限建议您参考 ...

ETL工作流快速体验

案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅空间管理员角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见空间级模块权限管控。导入ETL工作流模板您可以将DataWorks ETL工作流模板...

部署和管理轻应用

应用开发完成后，您可以创建应用部署容器实例，将其部署到具体环境中，供前端应用使用中台能力。本文介绍如何对已有的轻应用容器实例进行更新部署操作，以及如何查看应用部署记录和基于历史部署记录执行回滚部署实例操作。前提条件已经...

数据导入概览

从阿里云对象存储OSS导入数据至图数据库GDB实例图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤步骤说明 ① 将需要...

应用开发概览

本文介绍了 OceanBase 数据库应用开发常用的文档链接。规划数据库对象二级目录文档名称规划数据对象创建数据库创建表创建索引数据写入二级目录文档名称数据写入插入数据更新数据删除数据替换数据数据读取二级目录文档名称...

实例画像

数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...

准备工作

创建DataWorks工作空间，选择region（本案例选择华东1），勾选 MaxCompute 和 数据开发 购买 DataV产品企业版。连接交互式分析（Lightning）服务。由于本案例使用的是Lightning数据源，故需要首先连接MaxCompute Lightning服务。开通API...

数据开发与运维中心：数据加工

DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...

公共数据集成（调试）资源组：按量计费

计费项数据集成任务在周期实例、补数据实例、手动实例、数据开发（DataStudio）界面业务流程、冒烟测试等几种运行方式所产生的实例（运行成功）并发数，均会纳入计费范围。说明数据集成任务实例不仅会消耗公共数据集成（调试）资源组...

子账号使用DataWorks

访客仅有只读权限，可以查看数据开发页面的业务流程设计和代码内容。安全管理员仅有数据保护伞模块的操作权限，详情请参见数据保护伞。使用子账号登录 DataWorks控制台，单击 数据开发 页面的 DataStudio。您可以根据业务需求进行数据...

API概览

创建数据开发作业调用 CreateFlowJob接口，创建数据开发作业。创建项目空间调用CreateFlowProject，根据传入的地域、名称和描述创建项目空间，并返回创建好的项目空间的ID。删除工作流调用DeleteFlow接口，删除工作流。删除数据开发项目...

Token鉴权

} } 开启应用实例Token鉴权应用发布后，新增绑定设备生成的应用实例可继承应用的Token，也支持生成单独的Token或关闭Token鉴权。在应用编辑器左侧导航栏，单击设备绑定管理按钮。应用绑定设备页显示所有已绑定设备的配置（即应用实例）...

通用参考：切换资源组

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。修改数据集成资源组。离线同步任务单个任务修改在左侧导航栏，单击 数据开发，找到目标离线同步...

创建解决方案

数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...

DataWorks新版数据源公告

若想使用创建的数据源进行数据开发，则数据源创建完成后还需进入数据开发（DataStudio）进行模块绑定。已绑定的计算引擎：已绑定的计算引擎迁移至 数据开发>数据源管理。编辑计算引擎：不再支持直接编辑计算引擎，如需编辑可直接通过编辑...

运行历史

运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录，单击相应的任务，即可查看运行日志。说明运行历史界面只展示当前账号在数据开发（DataStudio）最近三天的运行记录。如您需查看调度任务每日运行情况，请前往运维...

功能发布记录（2024年）

2024.2.20 所有地域所有DataWorks用户 DataWorks on EMR Serverless StarRocks最佳实践数据地图新增数据开发代码搜索 DataWorks数据地图新增数据开发代码搜索功能，支持跨工作空间全局代码检索，通过关键字精确定位目标代码，帮助您提升...

其他问题

任务与实例周期任务与周期实例、补数据实例、测试实例是什么关系？资源组日志和实例保留多长时间？为什么不能在调度资源组上进行大数据计算？其他如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是...

为什么会空跑

场景四：实例属性为空跑检查数据开发调度配置界面该节点时间属性是否设置为空跑调度，该实例状态为实例属性为空跑。场景五：临时工作流中未被选择的实例当补数据时，假设C节点依赖B节点，B节点依赖A节点，如果补数据选择补AC节点，则该...

任务冻结与解冻

假设实例a是实例b的上游，实例b被冻结，如果解冻实例b：场景一：实例a未运行，那么解冻后实例b会处于等待状态，实例b会按照节点定时时间运行。场景二：实例a运行中，那么解冻后实例b会处于等待状态，实例b会按照节点定时时间运行。场景三：...

工作空间概述

后续：开始数据开发 创建工作空间并分配空间成员角色权限后，您可根据各角色定义的权限前往数据开发DataStudio模块开始数据开发工作，数据开发模块的入门教程详情请参见：数据开发：开发者。相关文档在阅读工作空间的概述后，若您想创建...

绑定交互式分析实例

实例选择后自动生成端口 Hologres实例的网络地址实例选择后自动生成连通性测试测试是否连通无进入HoloStudio开发工作空间创建成功后会跳转至管控台，可看到已配置好的工作空间信息，单击目标工作空间后的快速进入>数据开发，即可...

创建手动任务

您可以在DataWorks的数据开发（DataStudio）模块创建手动任务，并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务，并将手动任务发布到生产环境。使用说明若任务不需要发布生产环境操作生产环境引擎，您可选择新建临时...

下线任务

通过生产环境运维中心的周期任务界面下线的任务，在开发环境将默认回到编辑状态，不会进入回收站，您可在数据开发（DataStudio）界面搜索节点名称查找该节点。任务下线流程周期调度任务的下线流程如下。步骤一：删除开发环境任务在数据...

查看并管理已提交实例

默认进入数据开发页面。按照下图操作指引，进入已提交实例页面。已提交实例页面介绍已提交实例页面主要由搜索及筛选区、筛选区、已提交实例列表、批量操作区组成。您可以在已提交实例页面对生成的补数据实例进行相关的运维操作。区域 ...

查看并管理已提交实例

默认进入数据开发页面。按照下图操作指引，进入已提交实例页面。已提交实例页面介绍已提交实例页面主要由搜索及筛选区、筛选区、已提交实例列表、批量操作区组成。您可以在已提交实例页面对生成的补数据实例进行相关的运维操作。区域 ...

一键启停应用

随着您托管在 SAE 的应用逐渐增多，可能会出现部分应用占用了资源却处于闲置状态的情况，例如应用开发完成后对其进行测试联调，完成测试联调后未将应用实例释放，造成资源浪费。您可以使用命名空间来逻辑隔离不同环境下的应用，将同一命名...

全景视角

③ 该区域为您展示当前账号发布的任务总数及实例总数（周期实例、补数据实例、测试实例、手动实例），您可以单击查看详情进入运维中心查看任务和实例详情。详情请参见报表。④ 该区域为您展示当前账号发布、授权给他人的和获得授权的...

大数据开发应用实例

新品推荐