数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
通过运维中心管理任务流与任务流实例
进入任务编排运维中心 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 运维管理>任务编排运维中心。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>运维管理>任务编排运维中心。任务流 管理 进入任务编排运维...
通过操作审计查询行为事件日志
DIRunStreamxJob 运维中心数据集成启动实时任务 DIBatchRunStreamxJob 运维中心数据集成批量启动实时任务 DIStopStreamxJob 运维中心数据集成停止实时任务 DIBatchStopStreamxJob 运维中心数据集成批量停止实时任务 DIOfflineStreamxJob 运...
管理数据脱敏策略
数据库运维时产生的审计数据可能会包含敏感信息，例如身份证号、手机号等。您可以在堡垒机上配置数据脱敏策略，对产生的数据库事件进行脱敏处理，降低敏感信息泄露风险。本文介绍如何新建和管理数据脱敏策略。新建数据脱敏策略 您可以新建...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
运维中心概述
运维中心为您提供运维概览、任务运维、实例运维、监控管理、系统配置5大功能模块，您可针对提交的任务和生成的实例进行多方位的运维管理。应用场景 全局视角管控：Dataphin运维中心支持离线实例和实时实例的实例统计。异常统计情况，包括...
运维中心概述
运维中心为您提供运维概览、任务运维、实例运维、监控管理、系统配置5大功能模块，您可针对提交的任务和生成的实例进行多方位的运维管理。应用场景 全局视角管控：Dataphin运维中心支持离线实例和实时实例的实例统计。异常统计情况，包括...
基本概念
集成接入 集成接入是将监控源跟运维事件中心数据打通的必要配置。本产品提供了详细的集成步骤，帮助用户完成集成接入。集成密钥 集成密钥是监控源跟运维事件中心数据打通的唯一标识。每一个监控源的集成接入，都需要配置对应的集成密钥。...
通用参考：切换资源组
说明 实时同步任务暂不支持在运维中心修改数据集成资源组，请在数据集成控制台或数据开发控制台修改，具体请参见 数据集成页面、数据开发页面。在左侧导航栏单击 周期任务运维>周期任务。节点类型 筛选条件设置为 离线同步，然后选中需要...
OpenEvent概述
DataWorks当前支持订阅的事件覆盖了运维中心、DataStudio和数据治理三个功能模块中的事件，详情如下表所示。应用范围 所属模块 事件细分 事件描述与类型 事件示例 空间级 运维中心 实例操作事件 描述：在运维中心对实例进行冻结、解冻等...
功能发布记录 2022年之前
资源运维 数据服务支持MaxCompute数据源封装API。DataWorks数据服务现已灰度支持直接访问并使用MaxCompute表封装API，该类API的调用请求将借助MaxCompute加速查询能力（MCQA）在引擎中执行数据查询，实现快速、高效的调用返回。（附：仅...
运维概述
系统 相关文档 Windows系统运维 SSH协议运维 RDP协议运维 SFTP协议运维 数据库运维 Mac系统运维 SSH协议运维 RDP协议运维 SFTP协议运维 数据库运维 常见的客户端运维工具，请参见 客户端远程连接工具及版本推荐。Web运维 运维方式 说明 ...
文档修订记录
注册EMR集群至DataWorks 2023.6.27 更新功能 运维中心 运维大屏功能改版，支持展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的...
任务中心
任务中心对数据资源平台中的数据同步、数据开发、标签加工等任务和实例进行运维管理。数据资源平台各模块发起的任务，如数据同步、数据开发、标签加工等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务流程，任务流中...
阿里云SLS集成
本文介绍如何集成阿里云SLS。...运维事件中心其他区域部署计划进行中，若有疑问请加群咨询35645045 步骤3：新增SLS源 单击 新增数据源，填写数据源基本信息，并进行连通性测试。步骤4：保存集成并配置业务监控 点击 确认集成，保存当前配置。
数据库运维
本文介绍在Window系统上如何运维数据库。前提条件 已在本地主机安装支持SSH隧道的数据库运维工具，例如DBeaver、DbVisualizer、Navicat Premium、Navicat For MySQL等。已获取堡垒机运维地址。您可以在堡垒机 概览 页面的 堡垒机实例信息 ...
应用示例：运维中心触发事件检查
运维中心-下线节点 运维中心-补数据 相关文档 启用扩展程序，详情请参见：启用扩展程序。运维中心更多扩展点事件，详情请参见：支持的扩展点事件列表。补数据事件的消息实体格式，详情请参见：补数据操作事件。节点变更事件的消息实体格式...
搜索和查看会话
数据库审计：可查看通过堡垒机运维数据库的SQL语句及执行结果。日志备份：可通过堡垒机管理运维日志。更多信息，请参见 日志备份。配置搜索条件，然后单击 搜索。您可以根据会话中运维的主机IP、会话的用户名、会话ID等搜索项配置搜索条件...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
数据开发功能索引
运维中心分开发运维中心和生产运维中心，生产运维中心承担生产调度任务的整体运维管控。DataWorks各模块的通用功能：说明 本文以DataStudio界面为例，为您讲解如下通用功能，其他模块对应界面，该类功能相同。消息中心（）：用于发送产品侧...
DataWorks On Hologres使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
DataWorks On MaxCompute使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
必读：简单模式和标准模式的区别
绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心 开发环境运维中心：操作...
查看异常统计
异常统计入口 请参见 运维中心入口，进入 运维中心。进入运维中心后，单击左侧导航栏 异常统计，进入 异常统计 页面。异常统计页面介绍 异常统计页面为您展示系统内离线实例和实时实例的异常数据。编号 描述 ① 实例页签 切换 离线实例 或 ...
欠费说明
说明对用户在使用运维中心后欠费的情况进行解释。运维事件中心为用户提供了一定的免费额度，在免费额度用尽后会按照产品定价进行收费，如您的账户余额不足或欠费，告警接收、流转规则、通知订阅等功能会受限制，届时会关闭短信、语音外呼、...
数据库管理
导入RDS数据库 堡垒机支持MySQL、SQL Server、PostgreSQL类型的RDS数据库，可以直接将RDS数据库同步至堡垒机，方便您运维数据库实例。登录 堡垒机控制台，在顶部菜单栏，选择堡垒机所在的地域。在堡垒机实例列表，定位到目标实例，单击 ...
数据服务系统配置
运维监控统计数据可帮助您查看最近某段时间的API运维数据，以便您更好的调整API，合理优化资源。本文为您介绍如何自定义运维监控配置。权限说明 超级管理员支持修改系统配置。数据服务系统配置入口 在Dataphin首页，单击顶部菜单栏 服务。...
畅捷通
业务痛点 畅捷通在智能运维平台开发初期，底层使用了自建的ELK进行运维数据分析。随着畅捷通业务的增长接入的应用系统增多，畅捷通很快发现平台出现各种问题，各产品的稳定运行受到极大挑战。并发量大 几万个点并发发送数据，每天产生的...
DataWorks on EMR Serverless StarRocks最佳实践
数据开发与运维中心 DataWorks为您提供 数据开发 与 运维中心 两个子模块，可实现在数据开发中开发并调试任务，完成后将任务提交发布至运维中心，实现周期性自动运行。数据开发模块介绍请参见 数据开发概述。运维中心模块介绍请参见 运维...
创建Hologres数据源
说明 建议购买Hologres实例时，地域 与创建Hologres数据源的DataWorks工作空间地域一致，如果地域不一致就只能创建为跨地域的数据源，此类数据源无法绑定为计算引擎，即无法在DataWorks的数据开发、运维中心页面中执行对应计算任务，仅可...
管理运维中心
本文介绍通过运维中心可以查看作业概览，监控任务运行状态，管理流式作业和查看审计日志，便于对作业的管理和运维。前提条件 已创建项目，详情请参见 新建项目。查看作业概览 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks...
专家成长计划技术培训课程
现场面授（特殊情况可调整为线上钉钉群直播）大数据运维工程师专家培训（专项）2天 30人 通过学习本课程，能帮助学员了解阿里云的大数据产品-大数据计算服务MaxCompute和DataWorks的架构与基础运维知识、统一运维平台大数据管家，以及...
查看实例统计
实例统计入口 请参见 运维中心入口，进入 运维 中心。进入 运维 中心后，单击左侧导航栏 实例统计，进入 实例统计 页面。实例统计页面介绍 实例统计页面主要由 运行详情、运行趋势、排行 组成。您可以在实例统计页面查看实例运行情况。编号...
系统角色
DBA 管理和运维数据库实例资源、数据库研发规范、数据库研发流程、任务执行等。可以是企业的DBA、运维等。在普通用户基础上，可使用除 用户管理 以外的系统管理功能。管理员 当前租户的主账号默认为管理员，且不可取消。可设置子账号或其他...
运行及排错
测试运行 单击当前页面左上角的 图标，选择 全部产品>数据开发与运维>运维中心（工作流），进入 运维中心 页面。在左侧导航栏，单击 周期任务运维>周期任务。在弹出的页面中，找到目标节点，在 操作 列中单击 测试。在 冒烟测试 对话框中，...
步骤4：运维已授权的资产
Windows操作系统 SSH协议运维 RDP协议运维 SFTP协议运维 数据库运维 Mac操作系统 SSH协议运维 RDP协议运维 SFTP协议运维 数据库运维 网页运维 网页运维指RAM用户通过堡垒机控制台的主机运维功能进行运维，或本地用户通过Web运维门户进行运...
功能特性
作业运维 数据联邦 MaxCompute支持湖仓一体能力，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。功能集 功能 功能描述 参考文档 数据联邦 基于Delta Lake或Hudi存储...
自动运维
进入自动运维 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏，选择 智能监控>自动运维，进入自动运维页面。运维规则管理 自动运维...
管理运维令牌
在左侧导航栏，选择 资产运维>数据库运维。在 数据库运维 页面，定位到目标数据库，在 登录 列，单击 运维令牌。在 运维令牌 对话框，选择 数据库账户，单击 获取运维令牌。非RAM用户 登录运维门户。具体操作，请参见 登录运维门户。在左侧...
资源运维
进入资源运维 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏，选择 资源运维，默认显示当前DataWorks使用的独享资源组列表。查看资源组列表 资源运维...
- 产品推荐
- 这些文档可能帮助您