流程管控

背景信息 DataWorks的工作空间分为 标准模式和简单模式,不同模式工作空间下任务的开发流程存在一定差异,两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式工作空间开发流程 如上图所示,在通用流程的关键节点,例如,...

数据开发概述

标准模式工作空间开发流程 简单模式工作空间开发流程 基本流程:以标准模式为例,调度任务的开发流程包括开发、调试、调度配置、提交、发布、运维等阶段。其中,任务开发的通用开发流程,请参见 通用开发流程。流程管控:任务在开发过程可...

数据治理中心概述

相关概念 检查项:用于任务提交、发布等环节的事前检查,在开发流程中检测不符合数据规范的内容,生成影响开发流程正常执行的问题事件,约束、管理开发流程。例如,检查项可以配置为禁止使用 select*语句,不允许通过 create table 语句...

前期开发说明

软件开发完成日期距公司成立日期不足半年,且程序量较大,需要提供前期开发说明,可以以1个月一万行为标准。注意事项 软件的开发完成日期必须在企业成立日期之后,如距离企业成立日期较近,不符合一个合理的开发周期,需要提供前期开发说明...

总览

故本教程也将基于此场景,从创建 Android 原生工程,到接入 mPaaS,再到接入小程序进行开发,最后到发布小程序并在 App 中打开,对整个开发流程进行完整的演示。接入方式选择 移动开发平台 mPaaS 支持多种 不同的接入方式,如果您想要像...

使用流程

关于模型开发流程的详细介绍,请参见 模型开发概述。模型部署 模型评审通过后可进行模型部署,模型部署阶段基于多方安全建模控制台的模型发布和服务集成模块进行操作,模型部署完成后进入服务调用环节。关于模型部署流程的详细介绍,请参见...

开发管控:管理者

作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...

创建并使用PAI Designer

人工智能平台PAI的 可视化建模Designer,用于实现端到端的机器学习开发流程的可视化建模工具。DataWorks为您提供PAI Designer节点,方便您通过该算法节点载入Designer工作流,通过调度配置实现Designer工作流的周期性任务调度。前提条件 ...

设计阶段

将上述内容产出为 ETL文档 留存,ETL将作为后续开发流程的第一参考依据。调度设计 依赖设计 将ETL抽象为多个相互依赖的代码节点形成上下游依赖关系,要求如下:一个节点仅产出一张表,一张表仅由一个节点产出。下游节点的输入数据来自于...

接入第三方 SDK 目录

为保障移动开发平台 mPaaS 的稳定运行或实现相关功能,我们可能会接入由第三方提供的软件开发包 SDK。接入的部分第三方 SDK 可能涉及收集用户信息,用于向用户提供服务。我们会评估该第三方收集信息的合法性、正当性、必要性,要求第三方对...

开发可视化应用监控树莓派状态

物联网应用开发(IoT Studio)中的Web可视化开发工具可帮助您开发一个基于网页的控制界面,无需编写代码,十分的方便快捷。本文介绍通过开发Web应用,实现检测边缘计算机状态和控制设备电源指示灯开关的功能。前提条件 已完成项目开发和...

用户授权与管理

角色规划 使用数据建模并应用至数据开发过程中,通常需要进行定义标准、数据建模、数据开发、部署运维等任务,下图为您示例不同流程中操作人员的角色以及所需的角色权限。建议您参考下图进行用户角色及权限规划。开通权限 建议您参考 ...

DataWorks On CDP/CDH使用说明

本文为您介绍在DataWorks上使用CDP/CDH的基本开发流程,以及相关 费用说明、环境准备、权限控制 等内容。背景信息 CDH是Cloudera的开源平台发行版,提供开箱即用的集群管理、集群监控、集群诊断等功能,并支持使用多种组件,助力您执行...

DataWorks On Hologres使用说明

同时,提供了任务开发与发布的流程管控,助力您规范开发操作,保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力,您可将其他数据源的数据同步至Hologres数据源,或将Hologres数据源的...

DataWorks On MaxCompute使用说明

同时,提供了任务开发与发布的流程管控,助力您规范开发操作,保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力,您可将其他数据源的数据同步至MaxCompute数据源,或将MaxCompute数据...

创建Hologres数据源

后续操作 为保障您的开发过程更加顺畅,建议先阅读 DataWorks On Hologres使用说明,了解在DataWorks使用Hologres的开发流程、相关费用、环境准备、权限控制等内容。数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:...

创建MaxCompute数据源

后续操作 为保障您的开发过程更加顺畅,建议先阅读 DataWorks On MaxCompute使用说明,了解在DataWorks使用MaxCompute的开发流程、相关费用、环境准备、权限控制等内容。数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:...

通用数据开发

说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步...

服务端接入说明

租户业务系统接入移动同步服务(Mobile Sync Service,MSS)的服务器端的开发流程主要分为以下两个步骤:接入 Java SDK,编写调用代码:采用 Java SDK 的方式进行接入。由于需求不同,编写调用代码分为 使用单数据同步接口 与 使用全局数据...

通用开发流程

开发流程 数据开发任务的通用开发流程如下。步骤 描述 相关文档 步骤一:新建业务流程 DataWorks数据开发基于业务流程组织与开发代码,您需先新建业务流程,才可进行后续的开发工作。创建业务流程 步骤二:新建数据表 DataWorks支持使用...

必读:简单模式和标准模式的区别

不同模式工作空间对生产任务开发与运维的影响 对比 简单模式 标准模式(推荐)生产任务开发流程管控差异 任务提交后,您无需发布,即可进入调度系统周期性执行,产出结果数据。(提交->生产)任务需要先提交至开发环境,再执行发布操作,将...

计算巢软件分销模式说明

软件 分销面临的问题和计算巢软件分销的解决方法 软件开发商与云分销商在合作过程中,存在需求和问题需要解决:云分销商需要触达更多的软件开发商来扩展业务,而软件开发商需要分销商的渠道来拓展用户。云分销商承接分销软件时,需要重复...

数据开发与运维中心:数据加工

核心技术与架构 高效、规范的开发流程 说明 DataWorks提供标准模式的工作空间,可隔离开发环境与生产环境,标准模式的详细介绍可参见 简单模式和标准模式的区别。可视化的开发界面 支持通过拖拉拽的方式构建任务流程,在统一的界面进行数据...

技术架构选型

在数据模型设计之前,您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

应用开发

应用开发流程图 在低代码开发平台Mobi中,无需大量编程语言,只需通过拖、拉、拽等操作即可完成应用的搭建,创建流程如图所示。登录 魔笔。创建应用,具体请参见 添加应用。模型设计是应用开发中的重要一环,模型设计章节的入口请参见 添加...

配置检查项

背景信息 数据治理中心通过检查项和治理项检测数据开发流程中存在的待治理问题,根据生效环节不同,检查项和治理项的校验时间及校验内容存在差异。检查项:用于任务提交发布前的管控治理,主要校验提交发布前的规范性,拦截存在问题,预防...

什么是基因分析平台?

平台提供了包括公共工具镜像、第三方商业软件、公共应用在内的WDL流程开发资源,帮忙用户简单方便的建立自己的分析应用。基因计算任务 用户运行WDL分析应用,指定OSS输入文件和运行参数后,产生的分析任务将由平台自动执行,直至完成。平台...

与本地 CI/CD hook 集成

在本地环境下,云开发平台在不影响原有开发流程的前提下提供 hook 文件支撑项目本地 CI/CD,让您的原有项目轻松升级到云原生 Serverless 架构。Hook 文件需要集成在代码托管平台的触发器逻辑中,文档以 Gitlab 举例。Gitlab 提供了两种钩子...

开发阶段

开发过程中,开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试,以便后续测试工作可以顺利开展。开发阶段的流程包括以下步骤:代码开发 该部分内容请参见 编码规范,编码时需要注意以下问题:层次分明、结构化强。增加必要...

项目分配与安全

在为企业级大数据平台创建项目时,建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目,对于ADS层的数据...同时要为在数据开发过程中的资源使用赋权,并做好数据安全隔离。关于MaxCompute数仓安全和权限配置详情,请参见 安全模型。

创建业务流程

DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求,也提供了 周期业务流程 和 手动业务流程 两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,...

权限管理与规范化数据开发

进入 数据建模 阿里云DataWorks联合建模工具DDM(Datablau Data Modeler)为您提供一体化的数据建模解决方案,我们将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程,助力用户实现数据资产价值化输出,在数据全生命周期上...

MaxCompute函数管理

您可以通过MaxCompute函数面板,查看在MaxCompute计算引擎中存在的函数、函数的变更历史,并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏,单击 工作空间列表。选择工作...

MaxCompute资源管理

您可以通过MaxCompute资源面板,查看在MaxCompute计算引擎中存在的资源、资源的变更历史,并可以一键添加资源文件至数据开发面板的业务流程中。使用限制 仅支持MaxCompute客户端(odpscmd)上传的不超过200M的资源通过MaxCompute资源功能...

创建和使用EMR资源

DataWorks支持可视化创建EMR(E-MapReduce)JAR、EMR(E-MapReduce)FILE资源,用于上传提交自定义函数或开源MR示例源码作为资源,便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源,并上传提交资源,为资源的使用做好前期...

开发前准备:绑定数据源或集群

说明 不同数据源或集群无法绑定至DataStudio(数据开发的原因存在差异,平台会自动展示不支持绑定的原因,您可基于具体原因进行排查处理。当前仅支持绑定MaxCompute、E-MapReduce、Hologres、AnalyticDB for MySQL、ClickHouse、CDH/CDP...

数据开发

数据开发为用户提供一站式计算节点开发能力,通过对数据加工流程开发、部署、调试等环节的一体化管理,数据开发实现数据加工工作流编排、加工逻辑的复用,大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构,提高系统的工程化...

审批中心概述

功能介绍 在DataWorks上进行数据开发管理的过程中,您可以便捷地对表数据、数据服务API等进行权限管控,进行权限管控时,DataWorks的 安全中心 为您提供默认的权限申请审批流程,同时也支持您在 审批中心 自定义审批流程。自定义审批流程后...

概述

物模型接入模式 物模型可以屏蔽底层设备差异,让软件开发者基于平台提供的标准API进行开发,让硬件开发者基于平台提供的标准协议开发,从而达到软硬开发解耦的目的。物模型详细介绍请参见 物模型。在物模型模式下,设备与云端的交互协议、...

迁移概述

其中,软件迁移支持迁移自研软件和开源软件:自研软件:指开发开发的或者基于开源软件增强开发的软件。具体操作,请参见 源码迁移。开源软件:指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储 CPFS 移动开发平台 mPaaS 商标服务 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用