技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
数据开发概述
流程管控：任务在开发过程可结合数据开发（DataStudio）自带的 代码评审、冒烟测试 等功能，以及 数据治理中心 预设的检查项、开放平台 基于扩展程序实现自定义逻辑校验等功能，保障开发任务符合规范。说明 不同工作空间模式涉及的流程管控...
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
流程管控
本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景信息 DataWorks的工作空间分为 标准模式和简单模式，不同模式工作空间下任务的开发流程存在一定差异，两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式...
开发阶段
开发过程中，开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试，以便后续测试工作可以顺利开展。开发阶段的流程包括以下步骤：代码开发 该部分内容请参见 编码规范，编码时需要注意以下问题：层次分明、结构化强。增加必要...
通用开发流程
若开发过程需使用资源，您可通过DataWorks可视化方式上传资源，并进行后续资源管理操作。说明 在DataWorks中支持新建资源的引擎，以及支持的资源类型，请以实际使用界面为准。创建并使用MaxCompute资源 创建和使用EMR资源 步骤四：新建调度...
开发流程
开发流程简介 自定义逻辑流操作开发流程如下所示：步骤一、创建自定义逻辑流操作 登录 魔笔。创建自定义逻辑流操作。配置自定义逻辑流操作。详细操作请参见 创建并配置逻辑流操作。步骤二、开发自定义操作的执行代码 在逻辑流物料面板内...
开发计划
流程步骤 owner 备注 建立开发计划 产品 产品是计划管理员，负责建立和结束计划 埋点需求编辑、发布 产品 方案中的埋点需求加入开发计划 埋点开发 研发 线上仅流程，实际开发过程是离线的 埋点测试 测试 线上仅流程，提供测试工具，测试...
开发虚拟设备
物联网平台设备的正常开发流程为：设备端开发完成>设备上报数据>云端接收数据>云端开始开发工作。该流程开发线程长、耗时久。而虚拟设备通过模拟真实设备产生业务数据，可以快速体验IoT Studio的开发功能。本案例通过虚拟设备完成物联网...
概述
开发个人组件 在 组件开发 页面，根据组件开发流程图，进行单个组件开发和使用。准备环境 本地开发测试 打包本地项目文件 上传组件压缩包和截图 编辑组件 发布与使用 公开组件包 将个人组件上传到组件包，公开到市场供其他客户使用。创建...
必读：简单模式和标准模式的区别
说明 您可选择创建任意模式工作空间体验DataWorks，但建议您在实际开发时，使用标准模式工作空间实现DataWorks开发环境与生产环境代码隔离、不同环境计算资源隔离、权限隔离、任务发布流程管控等需求。若您已在使用简单模式工作空间，并且...
创建业务流程
您可以基于业务流程对应引擎分组下的数据开发节点来进行具体的数据清洗工作，例如MaxCompute引擎下的ODPS SQL节点，如果代码开发过程中需要用到资源或函数，DataWorks也支持您通过可视化的方式来创建资源节点、创建函数节点。说明 目前...
接入 mPaaS 小程序
本文的视频中介绍了 mPaaS 小程序以及在 Android 和 iOS 开发过程中如何接入 mPaaS 小程序。mPaaS 小程序介绍 在 Android 开发中接入 mPaaS 小程序并实现启动 在 iOS 开发中接入 mPaaS 小程序并实现启动
魔笔脚手架怎么安装？
问题描述 魔笔脚手架怎么安装？解决方案 自定义页面组件V2.0 开发流程 更多信息 更多资料请查看 魔笔学院
总览
在接入 mPaaS 进行开发的过程中，最常见的场景就是在已有的原生 Android 工程中接入 mPaaS 后再进行开发。场景介绍 在接入 mPaaS 进行开发的过程中，最常见的场景就是在已有的原生 Android 工程中接入 mPaaS 后再进行开发。故本教程也将...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
权限管理与规范化数据开发
本实践将基于DataWorks标准模式空间完成从“数据建模”到“数据生产”的基本流程，帮助您快速掌握规范化的数据体系建设流程，提升在数据开发过程中的规范性、安全性、稳定性。背景信息 DataWorks采取RBAC权限模型供用户管理DataWorks所有...
数据开发：开发者
说明 目前DataWorks的节点分为数据同步类型节点与计算类型节点两大类，实际开发过程中，您通常需要先通过离线同步任务将业务数据库中的数据同步至数仓中，再通过DataWorks计算节点对数仓中的表数据进行清洗加工。创建节点。您可通过如下两...
开发流程
开发过程中会涉及一些基本概念，详细说明请参见 基本概念。自定义页面组件在魔笔应用中的运行逻辑 流程简介 开发自定义页面组件的整体流程如下：前提条件 已安装v16.x版本的 Node.js，例如v16.16.0。操作步骤 本地安装离线版脚手架。单击...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
概述
扩展能力是魔笔的核心特性，支持您在构建应用的过程中，通过自定义页面组件、自定义逻辑流、自定义模块等方式来扩展应用能力。扩展能力 自定义页面组件 如下场景可能需要自定义页面组件：您可以为自己的业务定制开发和维护一组标准的业务...
应用开发
本文介绍应用开发的流程，帮助您搭建您的应用。应用开发流程图 在低代码开发平台Mobi中，无需大量编程语言，只需通过拖、拉、拽等操作即可完成应用的搭建，创建流程如图所示。登录 魔笔。创建应用，具体请参见 添加应用。模型设计是应用...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
什么是Web可视化开发
使用页面模板，可有效地简化物联网应用开发过程。应用发布后，可以为应用批量绑定设备。使用流程 创建Web应用：创建Web应用，使用编辑器进行Web应用开发。Web应用开发步骤，请参见：步骤一：在项目中创建开关遥控器产品 步骤二：搭建开关...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
医疗
方案优势 客户端版本可快速迭代开发：在迭代开发过程中，客户端只需关注与“HTML5 / 小程序”的交互接口扩展，几乎实现了和客户端的“分离”开发。发版上线实现秒级更新：业务开发完成后，在支付宝小程序 IDE 上一键发版提测。上线也只需在...
与本地 CI/CD hook 集成
在本地环境下，云开发平台在不影响原有开发流程的前提下提供 hook 文件支撑项目本地 CI/CD，让您的原有项目轻松升级到云原生 Serverless 架构。Hook 文件需要集成在代码托管平台的触发器逻辑中，文档以 Gitlab 举例。Gitlab 提供了两种钩子...
服务端接入说明
租户业务系统接入移动同步服务（Mobile Sync Service，MSS）的服务器端的开发流程主要分为以下两个步骤：接入 Java SDK，编写调用代码：采用 Java SDK 的方式进行接入。由于需求不同，编写调用代码分为 使用单数据同步接口 与 使用全局数据...
创建并使用PAI Designer
人工智能平台PAI的 可视化建模Designer，用于实现端到端的机器学习开发流程的可视化建模工具。DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 ...
DataWorks On MaxCompute使用说明
同时，提供了任务开发与发布的流程管控，助力您规范开发操作，保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至MaxCompute数据源，或将MaxCompute数据...
概述
阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案（DATABLAU），将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上夯实数据...
扩展程序概述
DataWorks通过OpenEvent能力为您提供消息推送订阅能力，同时您可以将服务程序注册为DataWorks的扩展程序，通过扩展程序来卡点并响应...更多扩展点的触发应用示例可参见 应用示例：数据开发过程触发事件检查、应用示例：运维中心触发事件检查。
魔笔开发过程中，工作流无法选择审批用户
问题描述 魔笔开发过程中，使用工作流为用户分配逻辑流时，已经创建好了数据模型，但后端逻辑流中选择数据模型里面逻辑流为空，如下图所示：问题原因 逻辑流在创建的时候，必须返回一个系统用户的列表才能在这里被识别到。解决方案 建议您...
迁移Function Studio代码至云效服务平台
MaxCompute UDF开发流程 通过DataWorks可视化上传资源 通过DataWorks可视化方式基于资源注册函数 方案二：通过Java或Python代码，在本地IntelliJ IDEA安装MaxCompute Studio插件，开发自定义UDF。本地开发完成后，您可直接将资源、函数上传...
DataWorks On Hologres使用说明
同时，提供了任务开发与发布的流程管控，助力您规范开发操作，保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至Hologres数据源，或将Hologres数据源的...
DataWorks on EMR集群配置最佳实践
使用DataLake（新版数据湖）集群在DataWorks上进行EMR作业的注意事项及开发流程，详情请参见 DataWorks On EMR开发流程（必读）。EMR组件配置 Kyuubi组件 在生产环境配置Kyuubi组件时，建议将 kyuubi_java_opts 内存大小调整至 10g 及以上...
应用示例：数据开发过程触发事件检查
使用限制 扩展程序启用后，实际在数据开发过程中，扩展事件被触发后的消息通知与响应有以下限制。系统内置扩展程序启用后，暂时仅支持对ODPS SQL类的节点生效。即启用后，仅ODPS SQL类节点中相应扩展点事件被触发时，流程会被阻断，通过...
代码评审
DataWorks的强制代码评审为工作空间维度开启，开启后，开发人员提交的节点代码必须通过评审人员的审核才可发布。同时，您可指定代码评审的基线范围（即对哪类基线任务进行评审），把控高优先级任务的代码质量，防止任务运行失败阻塞其他...
开发部署扩展程序：自建服务方式
在扩展程序代码开发过程中，您可以使用参数来提高开发和应用效率，例如，您可以使用内置扩展程序参数 extension.project.disabled，使扩展程序对某个工作空间不生效。更多扩展程序参数的使用配置请参见 高级应用：扩展程序参数配置。返回...
DataWorks On CDP/CDH使用说明
同时，提供了任务开发与发布的流程管控，助力您规范开发操作，保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive...
- 产品推荐
- 这些文档可能帮助您