技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
开发流程
详细操作请参见 开发前端逻辑流操作代码 和 开发后端逻辑流操作代码。步骤三、上传构建产物 返回魔笔IDE的逻辑流编辑界面，在逻辑流物料面板中单击上传构建产物，选择构建产物并上传。详细操作请参见 上传构建产物。开发完成自定义逻辑流...
上传构建产物
前提条件 已完成逻辑流执行代码的开发，前、后端逻辑流的详细操作请分别参见 开发前端逻辑流操作代码 和 开发后端逻辑流操作代码。操作步骤 登录 魔笔。在顶部菜单栏选择 应用管理，在左上角搜索框中搜索目标应用。在目标应用的卡片中单击 ...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
EMR数据开发停止更新公告
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
添加或引入自定义逻辑流操作
开发自定义逻辑流操作代码，详细操作请参见：开发前端逻辑流操作代码、开发后端逻辑流操作代码。上传自定义逻辑流操作，具体操作请参见：上传自定义逻辑流操作。发布自定义模块，详细操作请参见。创建的应用A、B、C引用自定义模块，详细...
元数据采集
MaxCompute和E-MapReduce（DLF）数据源绑定至数据开发后，由系统自动运维元数据采集器，您无需额外管理元数据采集器。支持的数据源及元数据采集方式 数据源类型 元数据采集方式 是否能在数据地图中看到采集器 元数据更新时效性 数据表/字段...
准备环境
前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见 购买指引。说明 因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见 开通OSS服务。步骤一：...
客户案例
价值体现 基于飞天大数据平台产品，快狗打车不仅机器成本节约30%以上，数据开发效率提升100%。从Java Storm迁移到Flink SQL使实时计算开发周期大大减少，维护更加容易，数据一致性得到更好地保障，提升了业务监控大屏的准确性和实时性，...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
运行历史
运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录，单击相应的任务，即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发（DataStudio）最近三天的运行记录。如您需查看调度任务每日运行情况，请前往 运维...
运维阶段
运维人员按照步骤实施发布，完成后通知数据开发人员进行验证。如果验证失败，则运维人员按照修改脚本的回滚方法进行回滚，并反馈结果至开发人员。验证实施方案。开发人员在收到运维人员实施成功的通知后，开始验证变更结果是否符合预期。...
批量操作
操作步骤 登录DataWorks控制台，进入 数据开发 页面后，在顶部的快捷操作按钮中单击 批量操作 按钮，即可打开批量操作页面。批量修改。在 批量操作 页面中，您可以在顶部页签中选择对 节点、资源 或者 函数 进行批量处理。您可以在页签中的...
概述
自定义后端逻辑流操作：基于Java编写，对于熟悉Java的开发者来说，可以运用Java的强大能力来扩展后端逻辑流。开发出的后端逻辑流操作可以在物料市场中分享，任何人都可以从中受益，而无需了解Java。例如，您可以编写基于Java的后端逻辑流...
Data API功能简介
降低使用成本 通过使用RDS Data API Service，一些特定的系统可以免去后端服务，直接从前端请求到数据库，简化系统架构的同时，由于不再需要服务端业务逻辑开发，减少了应用程序开发的人力成本，降低了维护基础设施的风险，而且更便于扩展...
大数据AI公共数据集分析
操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks：一站式大数据开发与治理平台，绑定计算引擎后可在DataWorks上开发调度对应引擎的分数据开发治理任务。MaxCompute：适用于数据分析场景的企业级SaaS模式云数据仓库，为海量数据...
我的地盘
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 我的地盘 页签，在我的地盘页面中查看模型的相关信息。
用户管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 用户管理 页签，在用户管理页面中查看...
模型目录
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据开发>DATABLAU。选择 模型目录 页签，在模型目录页面中查看模型的详细信息。...
敏感数据概况
操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。单击左侧导航栏的 ...
进入数据质量概览（旧版）
查看数据质量概览 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>数据质量，默认进入 概览 页面。模块 描述 我的订阅 为您展示当前...
移动网关简介
该组件简化了移动端与服务端的数据协议和通讯协议，能够显著提升开发效率和网络通讯效率。功能特点 移动网关是连接移动客户端跟服务端的桥梁，移动客户端通过网关来访问后台服务接口。移动网关能够：自动生成客户端的 RPC 调用代码，用户不...
执行冒烟测试
完成代码开发后，您需要调试运行。本文为您介绍如何在开发环境进行冒烟测试。背景信息 为保障调度节点任务执行符合预期，建议您在发布前对任务进行冒烟测试。在使用调度参数的场景下，您也可以通过冒烟测试校验调度场景下的参数替换情况。...
电商网站智能推荐
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
查看数据风险（旧版）
操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主...
配置代码模板
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左侧导航栏底部的 图标，进入 设置 页面。在 设置 页面，单击 代码模板，进入 代码模板 页面。设置代码模板。在 ...
数据脱敏能力概述
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若...
用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
开发前准备：绑定数据源或集群
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 数据源，进入数据源或集群绑定页面。若左侧导航栏未显示 数据源 模块，则您需 进入个人设置 页面，...
数据下载
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>数据集成>上传与下载。在 上传与下载 页面单击左侧导航栏的 下载...
通用开发流程
进入数据开发后，您可根据下文流程创建所需任务。开发流程 数据开发任务的通用开发流程如下。步骤 描述 相关文档 步骤一：新建业务流程 DataWorks数据开发基于业务流程组织与开发代码，您需先新建业务流程，才可进行后续的开发工作。创建...
查看数据开发操作记录
进入数据开发DataStudio 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。查看操作历史 在数据开发DataStudio左侧边栏点击 图标进入 操作历史 页面，可通过操作类型、...
创建解决方案
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开启解决方案配置。在左侧导航栏底部，单击 图标。在 设置 页面的 个人设置 页签，勾选 显示解决...
代码搜索
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域，单击顶部菜单栏的 图标，进入代码搜索页面。配置搜索条件并查看搜索结果。...
创建并使用PAI Studio节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点>算法>PAI Studio。在 新建节点 对话框中，输入...
场景：数据开发定制化展示
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。调整DataStudio左侧导航栏模块（即区域2展示的功能）。新用户可根据区域1的提示，在DataStudio界面...
首页
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>数仓规划，默认进入 数仓分层 页面。单击顶部菜单栏右侧的 首页，进入智能...
查看代码结构
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入目标节点的编辑页面。您可以在 数据开发 或 手动业务流程 的目录树下，找到目标节点，双击该节点即可进入节点的...
- 产品推荐
- 这些文档可能帮助您