流程管控

本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景信息 DataWorks的工作空间分为 标准模式和简单模式,不同模式工作空间下任务的开发流程存在一定差异,两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式...

数据开发概述

流程管控:任务在开发过程可结合数据开发(DataStudio)自带的 代码评审、冒烟测试 等功能,以及 数据治理中心 预设的检查项、开放平台 基于扩展程序实现自定义逻辑校验等功能,保障开发任务符合规范。说明 不同工作空间模式涉及的流程管控...

数据治理中心概述

数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题,并通过健康分量化评估,从全局、工作空间、个人等多个视角,以治理报告及排行榜呈现治理成果,帮助您高效达成治理目标。同时,提供...

通用开发流程

开发过程需使用资源,您可通过DataWorks可视化方式上传资源,并进行后续资源管理操作。说明 在DataWorks中支持新建资源的引擎,以及支持的资源类型,请以实际使用界面为准。创建并使用MaxCompute资源 创建和使用EMR资源 步骤四:新建调度...

概述

扩展能力是魔笔的核心特性,支持您在构建应用的过程中,通过自定义页面组件、自定义逻辑流、自定义模块等方式来扩展应用能力。扩展能力 自定义页面组件 如下场景可能需要自定义页面组件:您可以为自己的业务定制开发和维护一组标准的业务...

技术架构选型

在数据模型设计之前,您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

阶段一:基础防护建设

在该阶段,DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践,帮助企业做好数据安全治理的相关基础防护工作。场景一:数据分级分类 无论在任何行业,数据分级分类都是监管首要检查的...

总览

在接入 mPaaS 进行开发过程中,最常见的场景就是在已有的原生 Android 工程中接入 mPaaS 后再进行开发。场景介绍 在接入 mPaaS 进行开发过程中,最常见的场景就是在已有的原生 Android 工程中接入 mPaaS 后再进行开发。故本教程也将...

什么是多端低代码开发平台魔笔

什么是低代码开发平台 低代码开发平台(LCDP)英文全称为Low-Code Development Platform,它是一种软件开发方法,可以更快地以最少的手工编码交付应用程序。通过在图形界面中使用可视化建模来组装和配置应用程序,开发人员可以跳过所有基础...

什么是Web可视化开发

使用页面模板,可有效地简化物联网应用开发过程。应用发布后,可以为应用批量绑定设备。使用流程 创建Web应用:创建Web应用,使用编辑器进行Web应用开发。Web应用开发步骤,请参见:步骤一:在项目中创建开关遥控器产品 步骤二:搭建开关...

使用流程

业务合作流程 在业务合作流程中,分为线下沟通流程和平台参与流程,具体业务合作流程参见以下流程图。产品使用流程 多方安全建模服务可以在保证多方原始数据不离开本地前提下,通过交换信息量完成模型训练。模型训练完成后,各参与方只持有...

开发流程

开发过程中会涉及一些基本概念,详细说明请参见 基本概念。自定义页面组件在魔笔应用中的运行逻辑 流程简介 开发自定义页面组件的整体流程如下:前提条件 已安装v16.x版本的 Node.js,例如v16.16.0。操作步骤 本地安装离线版脚手架。单击...

开发管控:管理者

作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...

开发阶段

开发过程中,开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试,以便后续测试工作可以顺利开展。开发阶段的流程包括以下步骤:代码开发 该部分内容请参见 编码规范,编码时需要注意以下问题:层次分明、结构化强。增加必要...

迁移Function Studio代码至云效服务平台

MaxCompute UDF开发流程 通过DataWorks可视化上传资源 通过DataWorks可视化方式基于资源注册函数 方案二:通过Java或Python代码,在本地IntelliJ IDEA安装MaxCompute Studio插件,开发自定义UDF。本地开发完成后,您可直接将资源、函数上传...

项目分配与安全

在为企业级大数据平台创建项目时,建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目,对于ADS层的数据...同时要为在数据开发过程中的资源使用赋权,并做好数据安全隔离。关于MaxCompute数仓安全和权限配置详情,请参见 安全模型。

权限管理与规范化数据开发

本实践将基于DataWorks标准模式空间完成从“数据建模”到“数据生产”的基本流程,帮助您快速掌握规范化的数据体系建设流程,提升在数据开发过程中的规范性、安全性、稳定性。背景信息 DataWorks采取RBAC权限模型供用户管理DataWorks所有...

应用示例:数据开发过程触发事件检查

使用限制 扩展程序启用后,实际在数据开发过程中,扩展事件被触发后的消息通知与响应有以下限制。系统内置扩展程序启用后,暂时仅支持对ODPS SQL类的节点生效。即启用后,仅ODPS SQL类节点中相应扩展点事件被触发时,流程会被阻断,通过...

创建并使用PAI Designer

人工智能平台PAI的 可视化建模Designer,用于实现端到端的机器学习开发流程的可视化建模工具。DataWorks为您提供PAI Designer节点,方便您通过该算法节点载入Designer工作流,通过调度配置实现Designer工作流的周期性任务调度。前提条件 ...

概述

物模型接入模式 物模型可以屏蔽底层设备差异,让软件开发者基于平台提供的标准API进行开发,让硬件开发者基于平台提供的标准协议开发,从而达到软硬开发解耦的目的。物模型详细介绍请参见 物模型。在物模型模式下,设备与云端的交互协议、...

开发部署扩展程序:自建服务方式

在扩展程序代码开发过程中,您可以使用参数来提高开发和应用效率,例如,您可以使用内置扩展程序参数 extension.project.disabled,使扩展程序对某个工作空间不生效。更多扩展程序参数的使用配置请参见 高级应用:扩展程序参数配置。返回...

测试应用扩展程序

更多触发示例请参见 应用示例:数据开发过程触发事件检查。提交扩展程序审核 完成扩展程序测试后,在上线扩展程序前,您需要将扩展程序进行提交,完成提交后等待DataWorks平台审核后即可上线扩展程序。进入扩展程序页面。登录 DataWorks...

开发计划

流程步骤 owner 备注 建立开发计划 产品 产品是计划管理员,负责建立和结束计划 埋点需求编辑、发布 产品 方案中的埋点需求加入开发计划 埋点开发 研发 线上仅流程,实际开发过程是离线的 埋点测试 测试 线上仅流程,提供测试工具,测试...

扩展程序概述

DataWorks通过OpenEvent能力为您提供消息推送订阅能力,同时您可以将服务程序注册为DataWorks的扩展程序,通过扩展程序来卡点并响应...更多扩展点的触发应用示例可参见 应用示例:数据开发过程触发事件检查、应用示例:运维中心触发事件检查。

创建和使用EMR资源

DataWorks支持可视化创建EMR(E-MapReduce)JAR、EMR(E-MapReduce)FILE资源,用于上传提交自定义函数或开源MR示例源码作为资源,便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源,并上传提交资源,为资源的使用做好前期...

环境准备

说明 DataWorks的工作空间分为 简单模式 和 标准模式:简单模式:指一个DataWorks工作空间对应一个引擎项目,无法设置开发和生产环境,只能进行简单的数据开发,无法对数据开发流程以及表权限进行强控制。标准模式:指一个DataWorks工作...

创建业务流程

您可以基于业务流程对应引擎分组下的数据开发节点来进行具体的数据清洗工作,例如MaxCompute引擎下的ODPS SQL节点,如果代码开发过程中需要用到资源或函数,DataWorks也支持您通过可视化的方式来创建资源节点、创建函数节点。说明 目前...

场景:工作空间模式升级(简单模式升级标准模式)

操作须知 升级工作空间模式前,您需先了解以下内容:了解简单模式与标准模式工作空间的区别,包括不同工作空间模式的物理形态、开发流程等差异,详情请参见 必读:简单模式和标准模式的区别。了解创建并绑定数据源的相关内容,详情请参见 ...

设计阶段

将上述内容产出为 ETL文档 留存,ETL将作为后续开发流程的第一参考依据。调度设计 依赖设计 将ETL抽象为多个相互依赖的代码节点形成上下游依赖关系,要求如下:一个节点仅产出一张表,一张表仅由一个节点产出。下游节点的输入数据来自于...

个人设置

警告校验 用于设置在代码开发过程中是否提供研发规范校验,将给出提示。代码提示 用于在输入代码时,提供如下智能提示:连续智能提示:智能感知输入目的,连续给出下一步输入提示建议。关键字:提示代码支持输入的关键字。语法模板:代码...

数据开发:开发者

说明 目前DataWorks的节点分为数据同步类型节点与计算类型节点两大类,实际开发过程中,您通常需要先通过离线同步任务将业务数据库中的数据同步至数仓中,再通过DataWorks计算节点对数仓中的表数据进行清洗加工。创建节点。您可通过如下两...

接入第三方 SDK 目录

为保障移动开发平台 mPaaS 的稳定运行或实现相关功能,我们可能会接入由第三方提供的软件开发包 SDK。接入的部分第三方 SDK 可能涉及收集用户信息,用于向用户提供服务。我们会评估该第三方收集信息的合法性、正当性、必要性,要求第三方对...

开发可视化应用监控树莓派状态

如果您想进一步体验IoT Studio的Web可视化和业务逻辑功能,可继续执行后续步骤,体验 监控机房温湿度 案例的开发过程。后续步骤 添加温湿度传感器,完成检测设备数据的目标,实现对机房温度和湿度环境参数的数据展示。为温湿度传感器定义物...

开发部署扩展程序:函数计算方式

扩展程序参数配置 DataWorks支持在扩展程序开发过程中使用参数来提高扩展程序开发和应用效率,在扩展程序代码开发时,将需要应用的参数添加至此处即可。您可直接使用DataWorks提供的典型应用场景的内置参数,也可自定义参数。支持添加多个...

文档修订记录

本文为您介绍DataWorks文档更新的最新动态,基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及...您可参考数据开发任务的通用开发流程进行任务的数据开发...

DataWorks On CDP/CDH使用说明

同时,提供了任务开发与发布的流程管控,助力您规范开发操作,保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力,您需要将Hive或HBase组件创建为 DataWorks的 Hive...

MaxCompute数据访问权限控制

在RAM用户(子账号)开发过程中没有相关表权限的场景下,可以通过 权限申请 界面申请对应权限。待审批人员(空间管理员或者表Owner)在 权限审批 页面通过申请后,便可获得权限。说明 DataWorks的 安全中心 为您提供默认的权限申请审批流程...

编排逻辑流

在应用程序开发过程中,系统可以处理和恢复潜在错误和异常,以帮助您处理错误和异常,提高应用程序的稳定性、可靠性和可维护性。逻辑流搭建方式 魔笔支持以下两种方式搭建逻辑流。在页面中,通过数据容器绑定逻辑流,快速搭建逻辑流。通过...

DataWorks On Hologres使用说明

同时,提供了任务开发与发布的流程管控,助力您规范开发操作,保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力,您可将其他数据源的数据同步至Hologres数据源,或将Hologres数据源的...

DataWorks On MaxCompute使用说明

同时,提供了任务开发与发布的流程管控,助力您规范开发操作,保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力,您可将其他数据源的数据同步至MaxCompute数据源,或将MaxCompute数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储 CPFS 商标服务 移动开发平台 mPaaS 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用