文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发...

概述

DataWorks为您提供了多个实验教程,帮助您从前期的环境准备、数据采集,到后期的数据开发、结果展示,...DataWorks目前提供的产品教程如下:简单开发应用教程 简单用户画像分析(MaxCompute版)简单用户画像分析(EMR版)对接使用CDH与CDP

统一存储简介

基于 OrmLite(Object Relational Mapping Lite)框架重构,提供 DAO(Data Access Objects)支持,开发简单易用。支持基于 SharePreferences 的键值对存储。支持文件加密存储。接入 iOS 客户端:减少 NSUserDefaults 的使用,不将较大数据...

什么是多端低代码开发平台魔笔

什么是低代码开发平台 低代码开发平台(LCDP)英文全称为Low-Code Development Platform,它是一种软件开发方法,可以更快地以最少的手工编码交付应用程序。通过在图形界面中使用可视化建模来组装和配置应用程序,开发人员可以跳过所有基础...

Python容器型

说明 云开发平台默认提供了一个简单的demo—一个fastapi框架开发简单Web应用,默认使用gunicorn启动项目,应用必须通过8080端口提供服务。关于项目启动命令的自定义修改,可在prepare.sh中的“自定义命令注释快”内修改。配置文件....

流程管控

DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...

数据开发概述

DataWorks数据开发(DataStudio)模块用于定义周期调度任务的开发及调度属性,与运维中心配合使用,面向各引擎(MaxCompute、Hologres、EMR等)提供可视化开发主界面,支持智能代码开发、多引擎混编工作流、规范化任务发布等能力,帮助您...

创建并使用PAI Designer

步骤二:开发PAI Designer节点任务 简单示例 开发任务:编写Designer工作流 编辑PAI Designer节点任务时,如选择加载已有工作流,则需提前在PAI中创建Designer工作流,通过名称搜索,载入已经创建好的工作流。在PAI Designer节点编辑页面,...

什么是 mPaaS

移动开发平台(Mobile PaaS,简称 mPaaS)是源于支付宝 App 的移动开发平台,为移动开发、测试、运营及运维提供云到端的一站式解决方案,能有效降低技术门槛、减少研发成本、提升开发效率,协助企业快速搭建稳定高质量的移动 App。...

为工作空间添加空间成员

创建简单的周期调度任务,请参见 数据开发开发者。执行完整示例教程,请参见 实际开发场景示例。本文主要以使用正式开发环境为例,为您介绍开发前如何添加及管理DataWorks工作空间成员。操作步骤 进入 工作空间 管理页面。登录 DataWorks...

使用开发小助手

代码示例 以下为一个拓展开发小助手的简单示例。该示例增加了拓展功能 拓展接入,实现点击图标后返回字符串“onclick”的功能。package com.alipay.mpaas.test.helper;import android.annotation.TargetApi;import android.content.Context...

ETL工作流快速体验

教程(点击链接快速体验)涉及产品 涉及模块 DataWorks版本要求 模板描述 网站用户行为分析 DataWorks MaxCompute MYSQL(无须开通)OSS(无须开通)数据集成 数据开发 基础版 揭秘用户行为,驱动业务增长!该案例将通过数据分析技术,解析...

环境准备

说明 DataWorks的工作空间分为 简单模式 和 标准模式:简单模式:指一个DataWorks工作空间对应一个引擎项目,无法设置开发和生产环境,只能进行简单的数据开发,无法对数据开发流程以及表权限进行强控制。标准模式:指一个DataWorks工作...

服务条款

六、免责申明 本网站将尽最大努力保障软件平台的连续可靠运行,但鉴于网络服务的特殊性,本网站对可能发生的网络服务的中断或终止所可能导致的一切损失,不承担任何法律责任及经济赔偿。本网站将尽最大努力保障客户数据的安全备份,但无法...

常见问题

集成与扩展 魔笔移动端版本怎么接收url参数 运维中心 发布之后图片资源或者网站加载不出来 搭建中心 DataGrid自定义逻辑流搜索搭建步骤 DataGrid自定义逻辑流分页的搭建步骤 魔笔搭建中怎么判断列表为空 魔笔现在支持对NativeApp的支持 ...

创建AnalyticDB for PostgreSQL数据源

若您要使用DataWorks进行AnalyticDB for PostgreSQL任务的开发、管理,需先将您的AnalyticDB for PostgreSQL实例创建为DataWorks的AnalyticDB for PostgreSQL数据源。创建完成后,可在DataWorks的各功能模块使用该数据源连接AnalyticDB for...

创建AnalyticDB for MySQL3.0数据源

若您要使用DataWorks进行AnalyticDB for MySQL3.0任务的开发、管理,需先将您的AnalyticDB for MySQL3.0实例创建为DataWorks的AnalyticDB for MySQL3.0数据源。创建完成后,可在DataWorks的各功能模块使用该数据源连接AnalyticDB for MySQL...

发布任务

标准模式工作空间提交任务后,任务仅在开发环境生效,开发环境中的任务不进行自动调度,您需要通过任务发布流程,将任务发布至生产环境后,任务才会周期调度运行。说明 在数据开发界面提交的操作都将进入任务发布界面处于待发布状态,您...

创建并使用MaxCompute表

代码示例 开发环境(数据开发开发环境运维中心)执行代码 生产环境(生产环境运维中心)执行代码 访问开发项目中的开发表:select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户(子账号)执行相关...

创建Hologres数据源

数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供Hologres任务的开发与调度能力,若您需要基于该Hologres数据源进行Hologres任务开发,或周期性调度Hologres相关任务,需先...

MaxCompute数据权限控制详情

DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射,来让被授予空间角色的RAM用户,拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限,但默认无生产权限,本文为您介绍预设角色权限基本情况、MaxCompute权限...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

准备环境

步骤一:创建OSS Bucket 本教程需要您创建一个OSS Bucket,后续会将用户信息和网站访问日志信息同步到OSS Bucket中,用于数据建模和数据分析。登录 OSS控制台。在左侧导航栏,单击 Bucket列表,在Bucket列表页面,单击 创建Bucket。在 创建...

加工数据

user_info_d及访问日志数据ods_raw_log_d,通过DataWorks的ODPS SQL节点加工得到目标用户画像数据,阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的数据,完成数仓简单数据加工场景。前提条件 开始本实验前...

必读:简单模式和标准模式的区别

简单模式如何实现开发与生产隔离 若您已经在使用简单模式工作空间,并希望实现简单模式开发与生产隔离,您可参考该部分内容。注意事项 不同工作空间模式对于创建数据源存在一定的要求,标准模式工作空间需要分别为开发环境和生产环境创建...

RunSmokeTest

简单模式的工作空间无开发环境,详情请参见 简单模式和标准模式的工作空间。Bizdate String 是 2020-05-26 00:00:00 业务日期。Name String 是 xm_create_test 工作流的名称。NodeId Long 是 1234 节点的ID。您可以调用 ListNodes 接口获取...

创建CDH Hive节点

开发SQL代码:简单示例 在SQL编辑区域输入任务代码,示例如下。show tables;select*from userinfo;开发SQL代码:使用调度参数 DataWorks提供 调度参数,可实现调度场景下代码动态入参,您可在节点中通过${变量名} 的方式定义代码中的变量,...

创建CDH Presto节点

开发SQL代码:简单示例 在SQL编辑区域输入任务代码,示例如下。show tables;select*from userinfo;开发SQL代码:使用调度参数 DataWorks提供 调度参数,可实现调度场景下代码动态入参,您可在节点中通过${变量名} 的方式定义代码中的变量,...

创建CDH Impala节点

开发SQL代码:简单示例 在SQL编辑区域输入任务代码,示例如下。show tables;select*from userinfo;开发SQL代码:使用调度参数 DataWorks提供 调度参数,可实现调度场景下代码动态入参,您可在节点中通过${变量名} 的方式定义代码中的变量,...

StarRocks

DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库,...

创建EMR Presto节点

Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎,支持使用标准的SQL查询语言进行大数据的交互式分析查询(Presto概述),DataWorks为您提供EMR Presto节点,便于您在DataWorks上进行Presto任务的开发和周期性调度。...

创建并使用PAI DLC节点

步骤二:开发PAI DLC任务 开发任务代码:简单示例 在PAI DLC节点编辑页面,您可通过如下方式编写DLC任务:基于已有DLC任务编写任务代码。通过名称搜索,载入在人工智能平台PAI已创建的DLC任务。任务载入后,DLC节点编辑器会根据PAI中该任务...

DataWorks V2.0

一个 DataWorks工作空间对应两个MaxCompute项目,分别是开发环境和生产环境,详情请参见 简单模式和标准模式的区别。隔离风险,进一步保障生产环境代码的稳定性。数据开发 任务开发 整体功能 进行单任务、工作流的代码编写、周期调度配置,...

产品优势

本文介绍魔笔的产品优势,供您在使用时参考。一云多端 面向全端场景提供多样化用户体验,支持包括Web、Native App、H5、全平台小程序、PC、IoT等场景的应用...魔笔作为一个开发工具,可降低简单重复事项的资源投入,快速提升整体开发效率。

子账号使用DataWorks

简单权限模型(推荐)简单权限模型是Hologres基于PostgreSQL的授权体系,为提升用户体验,制定的一种粗粒度的权限模型,详情请参见 简单权限模型概述。专家权限模型 专家权限模型是与标准PostgreSQL语句相同的授权体系,简称专家模式。您...

DataWorks On MaxCompute使用说明

代码示例 开发环境(数据开发开发环境运维中心)执行代码 生产环境(生产环境运维中心)执行代码 访问开发项目中的开发表:select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户(子账号)执行相关...

DataWorks On Hologres使用说明

创建Hologres数据源 开发前准备:绑定数据源或集群 协同开发环境准备 为保障RAM用户以工作空间为单位进行协同开发,您需执行如下操作:需将进行协同开发的RAM用户添加为当前工作空间的成员,并授予其开发角色。将工作空间成员添加至...

DataWorks On CDP/CDH使用说明

环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足 CDP或CDH 基本的数据上云、数据开发与调度生产、简单的数据治理工作,若需获取更专业的数据治理、数据安全解决方案,可选择相应的 标准版、专业版、企业版 ...

创建并管理工作空间

规划工作空间 选择空间模式 DataWorks工作空间分为简单模式与标准模式:简单模式:仅具有生产环境,对应一个引擎项目,无法做到数据权限隔离与开发生产隔离。标准模式:包括开发环境及生产环境,可以分别对应两个引擎项目,更好的做到开发...

场景:MaxCompute引擎在不同模式工作空间访问资源与...

细分特点 简单模式 标准模式 权限概述 在简单模式空间下,DataWorks的“开发”角色因为与所绑定MaxCompute项目的“Role_Project_Dev”Role进行了映射,因此:DataWorks开发角色天然能够读取MaxCompute项目内的所有数据。由于简单模式工作...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
移动开发平台 mPaaS 云数据库 RDS 共享流量包 云解析DNS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用