创建MaxCompute数据源

若您要使用DataWorks进行MaxCompute任务的开发、管理,需先将您的MaxCompute项目创建为DataWorks的MaxCompute数据源。创建完成后,可在DataWorks的各功能模块使用该数据源连接MaxCompute项目,进行相应的数据同步、数据开发、数据分析等...

2、PM如何设计工作流和创建看板?

如下图所示,是在云效上建立的看板,需求的阶段包括待处理(需求池)、已选择、分析中、就绪(待开发)、开发中、待测试、测试中、待发布和已发布 这里有个阶段需要特别说明一下:已选择:由业务方和开发团队代表共同完成,清晰要解决的...

创建工作空间

标准模式:包括开发环境及生产环境,可以分别对应个引擎项目,更好的做到开发生产隔离与数据安全保障。说明 建议您在实际任务开发时,选择标准模式工作空间。必读:简单模式和标准模式的区别 步骤一:切换地域 登录 DataWorks控制台。在...

创建并管理工作空间

标准模式:包括开发环境及生产环境,可以分别对应个引擎项目,更好的做到开发生产隔离与数据安全保障。说明 建议您在实际任务开发时,选择标准模式工作空间。必读:简单模式和标准模式的区别 操作步骤 切换地域。登录 DataWorks控制台。...

数据服务入门

数据源环境 标准模式工作空间支持选择访问开发或生产环境数据源,种环境的区别,详情请参见 必读:简单模式和标准模式的区别。本文示例选择 生产环境。数据表名称 选择该数据源下需要生成API的数据表。本文示例选择 rds_workshop_log ...

文档修订记录

您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 2024.2.6 更新功能 数据保护伞 数据保护伞新版系统...

加工数据

已通过数据集成将存储于OSS的网站访问日志(user_log.txt)同步至MaxCompute的ods_raw_log_d表。注意事项 本案例中,数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后,您可以前往目标空间,并自行完成后续的数据...

数据治理中心概述

治理项包括强治理和可选治理,强治理默认全局开启,且不可更改,可选治理可根据需求选择是否启用。例如,治理可以配置为 任务运行时间超长、连续出错节点、无人访问叶子节点、空跑节点 等。治理问题:治理检测出的待治理优化...

查看账单详情

账单明细说明 DataWorks包括按量付费和包年包月种计费方式:类别 描述 按量付费 每个地域下,按照按量付费计费(例如,公共数据服务资源组、公共调度资源组、数据质量检查实例数等)类别进行统一收费,不支持按照工作空间粒度出账。...

服务条款

三、知识产权 本网站的包括但不限于应用程序、源代码、商标、标示图案(LOGO)、界面设计、应用程序编程接口(API)等所关联的所有知识产权均属阿里云所有。用户不得复制、修改、传播或在非本网站所属的服务器上做镜像或者以其它方式进行...

数据开发概述

DataWorks数据开发(DataStudio)模块用于定义周期调度任务的开发及调度属性,与运维中心配合使用,面向各引擎(MaxCompute、Hologres、EMR等)提供可视化开发主界面,支持智能代码开发、多引擎混编工作流、规范化任务发布等能力,帮助您...

交通云控平台开发者协议

知识产权 开放平台上所有内容,包括但不限于图片、档案、资讯、资料、数据、网站架构、网站画面的安排、网页设计等,均由阿里云或其他权利人依法拥有其知识产权,包括但不限于商标权、专利权、著作权、商业秘密等。非经阿里云或其他权利人...

创建业务流程

周期业务流程与手动业务流程 DataWorks提供了 周期业务流程 和 手动业务流程 种,以满足需要周期性调度和无需周期性调度手动触发运行的场景,这类业务流程均可以在数据开发(DataStudio)中开发对应的开发任务,然后提交到运维中心实现...

阿里云SDK支持策略

本文讲述阿里云 OpenAPI SDK 工具包的生命周期维护策略,包括版本发布策略、更新策略、停止支持策略。在 SDK 完整的生命周期内,官方会对 SDK 持续进行安全补丁的更新和新功能的支持。一、概述 本文讲述阿里云 OpenAPI SDK 工具包的生命...

开发前端逻辑流操作代码

npm run build 该命令会在当前目录内增加两项内容:dist/:包含所有构建完成的自定义代码构建产物。cutomizedActions.zip:压缩完毕的自定义代码构建产物。重要 魔笔平台不负责存储您的自定义操作源代码,请您妥善保管,以便复用。若当前...

与本地 CI/CD hook 集成

集成阿里云开发平台CI/CD hook 前置条件:安装Node.js环境,安装指南 下载阿里云云开发平台CI/CD hook 解压zip包,解压后包括两个文件“workbench.cicd.js和package.json”进入解压后的目录并安装依赖:npm install 设置环境变量,CI/CD ...

通信能力技术服务协议

开发者:调用阿里通信能力接口进行应用开发合作的主体,包括公司和个人,经过阿里审核通过后成为本协议的开发者,以下简称“您”。第二条 服务内容 阿里将通信能力以API接口的形式提供给您调用,您根据自己的业务需要选择需要的服务,具体...

关于展位

在控制台中您也可以设置展位宽度和展位高度的设置,但这两项配置只有在客户端工程中未进行配置时才会生效。客户端预置展位支持的展位类型包括弹屏、公告、banner、列表、浮标以及自定义。可通过客户端配置方式来实现动态展位不支持的展位...

数据开发:开发者

操作流程 步骤一:新建业务流程 数据开发基于业务流程组织与开发代码,您需要先新建业务流程,才可进行后续的开发工作。步骤二:新建表 DataWorks支持使用可视化方式创建表,并以目录结构方式在界面展示。数据开发前,您需先在引擎创建用于...

创建并使用MaxCompute表

权限类别 描述 MaxCompute开发项目权限 DataWorks通过空间级预设角色与开发环境MaxCompute引擎Role的映射关系,让被授予空间角色的RAM用户(子账号)拥有该角色映射的开发引擎权限,默认拥有开发环境对应的引擎项目权限,但无生产环境对应...

创建Hologres外部表

DataWorks作为数据加工的开发平台,提供了便捷的可视化建表方式,当需要创建多个Hologres外部表时,可参考 一键MaxCompute表结构同步节点。同时,也可直接使用Hologres通过DDL语句建表,详情请参见 CREATE FOREIGN TABLE。使用限制 目前仅...

开发可视化应用监控树莓派状态

如果您想进一步体验IoT Studio的Web可视化和业务逻辑功能,可继续执行后续步骤,体验 监控机房温湿度 案例的开发过程。后续步骤 添加温湿度传感器,完成检测设备数据的目标,实现对机房温度和湿度环境参数的数据展示。为温湿度传感器定义物...

DataWorks V2.0

任务管理:业务流程、解决方案 让复杂的开发任务管理更加简单。任务调度:更开放的调度系统,轻松应对更加复杂的业务场景。其他功能:新增功能可以优化长久以来的用户痛点,从细节上照顾用户的体验。SQL研发 以单个任务或工作流的形式,在...

优雅下线

选择下线对象 您可以在 下线对象 区域,根据需求选择下线对象,包括 任务 或 表:下线任务:支持通过 添加下线对象 或 通过血缘导入 种方式添加下线任务。下线表:支持 通过血缘导入 添加下线表。说明 已经处在下线计划中的对象不能被...

常见问题

服务门户 魔笔的表达式文档 请问如何获取应用的ID?...魔笔开发过程中,工作流无法选择审批用户 魔笔使用中A、B人可以互相看到各自的模块吗?魔笔有什么方便的学习资料?魔笔中使用导入控件导入数据时,如何不把重复数据导进去。

导出开源引擎任务

Azkaban转换 DataWorks转换 说明 Flow 数据开发(DataStudio)的业务流程 Flow里的Job作为节点会放至Flow对应的业务流程目录下。嵌套Flow的内部Flow也会单独转换为一个业务流程,通过Flow转换后的业务流程会自动建立节点间的依赖关系。...

简介

复选框 用于选项菜单有且仅有个值的单项选择,或者切换某个选项的选中状态,以实现从一组互斥的选项组中选择一。日期 用于日期选择或输入,可以选择或输入日期,支持年、月、日期等类型,支持选择范围。单选框 用于选项菜单有且仅有...

创建并使用自定义函数

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。创建业务流程,详情请参见 创建周期业务流程。新建函数。打开相应的业务流程,右键单击 MaxCompute...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

通用数据开发

说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步...

新功能发布记录

本文介绍物联网应用开发(IoT Studio)功能和文档的动态。2024年01月 Web可视化开发和移动可视化开发 功能名称 功能描述 发布时间 相关文档 组件交互 动作执行模式默认 同时执行,新增 按顺序执行。2024-01-29 交互配置 2023年12月 项目...

mPaaS 适配 WKWebView

该组件最大的特点是支持多进程的渲染方式,包括页面滚动不影响图片资源加载,crash 不影响主进程,内存使用少等。相较于 UIWebView,WKWebView 在性能、稳定性和体验上都有较大提升。经过几年的发展和完善(iOS8,iOS9,iOS10,iOS11,iOS12)...

移动分析简介

移动分析服务(Mobile Analysis Service,简称 MAS)是 mPaaS 平台的一个核心基础服务组件,是一方便您轻松地大规模收集、可视化并理解应用程序使用数据的服务。MAS 通过统计和分析客户端流量、性能质量和用户行为等数据,用数据实现产品...

定义属性

传入以下个参数:props propValues displayIdentifier string 否 用来判断是否启用当前配置的prop,最终组件也会获取这个prop值。displayDefaultValue boolean 否 是否显示属性初始值。true:显示 false:不显示 displayLinkage ...

功能发布记录(2022年)

2022-11 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 DataWorks数据服务支持面向开发和生产环境数据源封装API DataWorks在标准模式的工作空间下,新增如下功能:支持根据自行选择数据源的环境类型(开发环境或生产环境),设置...

管理中心功能概览

在DataWorks的 管理中心,用户可以按照 工作空间维度 进行操作,包括配置工作空间的基本设施、选择合适的计算引擎、接入不同的数据源、注册开源集群、配置扩展程序,以及管理工作空间成员的权限和角色;此外,用户还可以在 全局维度 进行...

开发阶段

您在完成需求评审、模型与调度设计后,即可进入数据开发阶段。开发阶段的主要任务是将设计阶段的产出转化为具体代码。开发过程中,开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试,以便后续测试工作可以顺利开展。开发阶段...

工作空间概述

种模式的开发行为及数据安全不同,建议您在实际开发时,选择标准模式工作空间。详情请参见 必读:简单模式和标准模式的区别、场景:工作空间模式升级(简单模式升级标准模式)。工作空间基本操作 操作 说明 相关文档 创建工作空间 工作...

UpdateNodeRunMode

ProjectEnv String 是 PROD 运行的环境,包括开发环境(DEV)和生产环境(PRD)。RegionId String 是 cn-shanghai 地域信息,通常是服务所在的地域。例如,华东2(上海)是cn-shanghai,华北3(张家口)是cn-zhangjiakou。您无需填写...

UpdateNodeOwner

ProjectEnv String 是 PROD 运行的环境,包括开发环境(DEV)和生产环境(PRD)。RegionId String 是 cn-shanghai 地域信息,通常是服务所在的地域。例如,华东2(上海)是cn-shanghai,华北3(张家口)是cn-zhangjiakou。您无需填写...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
商标服务 数据库备份 DBS 云解析DNS 域名 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用