通过Logstash导入数仓版
更多参数配置：max_flush_exceptions：当写入数据出现异常时，设置最大重试次数，默认值100。skip_exception：设置是否跳过异常，默认为FALSE，表示出现异常时将重试直到到达最大重试次数 max_flush_exceptions，如果仍然失败，则同步程序...
实例告警
及时发现数据库异常是数据库日常运维的重要...当数据库出现异常情况或达到预设的告警阈值时，系统会立即通知设定的告警联系人，以帮助您及时发现数据库异常并维护数据库的稳定性。操作步骤 为实例配置警规则和告警模板，详情请参见 配置告警。
使用创建反向任务功能
请根据业务数据库出现异常后的预估恢复时间，合理设置数据库Binlog的保存时间。若原实例为Serverless实例，则创建的反向实例的计费方式将为按量付费，且规格为 micro；若原实例的计费方式为包年包月或按量付费，则创建的反向实例的计费方式...
实例告警
当数据库出现异常情况或达到预设的告警阈值时，系统会立即通知设定的告警联系人，以帮助您及时发现数据库异常并维护数据库的稳定性。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入目标实例详情...
异常检测
及时发现数据库的异常问题是数据库日常运维的重点。数据库自治服务DAS提供异常检测功能，基于...相关文档 您可以利用DAS的自治功能，在数据库出现异常时进行自动处理。自动SQL限流 自动SQL优化 自动性能扩展 自动空间扩展 空间碎片自动回收
一键诊断
自治服务开启后，DAS会在数据库出现异常时，自动进行根因分析，给出优化或止损建议，并自动进行优化或止损操作（需经您授权后才会开启优化操作）。详情请参见 自治中心。会话管理：您可以通过会话管理功能查看目标实例的会话详情和会话统计...
数据集成概述
脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
基于Client SDK数据写入
错误码名 错误码值 描述 COMMIT_ERROR_DATA_LIST 101 commit中某些数据出现异常，会返回异常的数据。说明 通过 e.getErrData()即可获得异常数据List，此错误码在 addMap(s)、addRow(s)、commit 操作的时候都可能会发生，因此在这些操作的...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
Tair Proxy特性说明
在某些极端场景下某个数据分片出现异常后，对数据的影响及优化方案如下。场景 影响与优化方案 图 2.多Key命令场景 影响：客户端通过4个连接发送4个请求，当数据分片2处于异常状态时，仅有请求1（GET Key1 可正常读取到数据），其他请求会...
Redis Proxy特性说明
在某些极端场景下某个数据分片出现异常后，对数据的影响及优化方案如下。场景 影响与优化方案 图 2.多Key命令场景 影响：客户端通过4个连接发送4个请求，当数据分片2处于异常状态时，仅有请求1（GET Key1 可正常读取到数据），其他请求会...
配置算法实例
参数 描述 异常检测类型 可选：异常点：检测设备时序数据中的异常点，高亮显示有异常的时序数据点。异常区间：检测设备时序数据中的异常区间，数据波动相差较大的相邻区间使用不同颜色块显示。检测敏感度水平 异常检测类型 为 异常点 时，...
H5 性能
统计应用 H5 页面的整体浏览量（PV）、页面加载时长、慢加载占比、JS 错误数及白屏率，并监控 H5 ...字段 描述 异常最新上报时间 页面在指定时段内最近一次出现 JS 异常的时间。异常页面 出现 JS 异常的页面。异常详情 页面的 JS 异常详情。
查看异常统计
③ 异常数据排行 展示离线实例和实时实例异常数据的排行：离线实例排行包括运行状态统计和运行时长统计排行。实时实例排行包括失败次数统计和延时时长统计排行。④ 报警排行 展示离线实例和实时实例的报警排行：离线实例报警排行包含运行...
查看异常统计
③ 异常数据排行 展示离线实例和实时实例异常数据的排行：离线实例排行包括运行状态统计和运行时长统计排行。实时实例排行包括失败次数统计和延时时长统计排行。④ 报警排行 展示离线实例和实时实例的报警排行：离线实例报警排行包含运行...
错误代码
ERROR 1003:Transaction error,need to rollback 问题描述：在事务中执行时如果出现了 SQL 执行异常，数据访问代理为了数据安全，会强制将事务状态设置为中断，需要显式调用 rollback 后才能继续执行其他 SQL。排查方法：确认是否有数据库...
常见错误处理方法
连接异常 连接异常即应用程序或者客户端与数据库的连接出现异常，例如已经创建的连接，提示连接不存在或连接超时，无法与数据库实例建立连接等。连接异常经常发生在网络闪断，或者数据库服务重启时，您需要在应用程序中就此类异常，添加重...
API概览
通信监测 API 描述 ...异常诊断 API 描述 DescribeFaultDiagnosisOverallData 获取异常诊断的概览数据。DescribeFaultDiagnosisUserList 获取异常诊断的用户明细列表。DescribeFaultDiagnosisUserDetail 获取异常诊断的用户详情。...
OpenEvent概述
运维中心告警事件 描述：任务在运维中心执行过程中，出现异常情况时会触发 告警事件。类型：属于 普通事件。事件例如下。任务运行失败。任务执行超时。资源不足。监控告警 监控告警事件 描述：在运维中心中，触发DataWorks的告警机制的事件...
离线核对
步骤三：新建核对点 核对点用做进行资金业务表或表与表之间的核对检查，找到异常数据。在左侧导航栏上，单击 核对点列表。单击 新建核对点，进入 新建核对点 页面。在 新建核对点 页面中，填写以下信息。基本信息：核对点名称：核对点的...
文件核对
步骤四：新建核对点 核对点用做进行资金业务表或表与表之间的核对检查，找到异常数据。在左侧导航栏上，单击 核对点列表。单击 新建核对点，进入 新建核对点 页面。在 新建核对点 页面填写以下信息。基本信息：核对点名称：核对点的名称，...
在程序中通过AnalyticDB MySQL版Client高效写入数据到...
COMMIT_ERROR_DATA_LIST 101 提交中某些数据出现异常，会返回异常的数据，通过 e.getErrData()即可获得异常数据List。此错误码在 addMap(s)、addRow(s)和提交操作的时候都可能会发生，需要单独处理此错误码的异常。COMMIT_ERROR_OTHER 102 ...
数据安全监控和审计
数据安全监控和审计有利于事前发现风险和事后审计，面向云的数据安全监控和审计需要考虑的维度如下：安全监控的维度 监控特征 特征描述 流转异常 异常地理位置下载敏感数据 来自异常地理位置的数据下载可能是由于账号访问权限被外部攻击者...
迁移失败常见原因及解决方案
原因分析 如果持续出现创建中的状态，表示在分配资源时出现异常。解决方案 建议删除数据地址，并尝试重新创建数据地址。案例十四：出现“mgw.service.agent.dMountNasFailed”报错 现象描述 某客户创建NAS数据地址时报错，状态显示 地址...
基本水位图
当数据描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
业务数据推送
截止到2021.2.5，支持以下数据推送 人脸状态变更 设备同步错误 设备上报数据 模型ID：BizDataPushModel 模型版本：1.1 属性名称 属性标识符 类型 长度 非空 数据描述 记录标示 eventId String 256 是 记录标示 事件时间 eventTime Date 是 ...
时序异常检测
esd：适用于尖刺型异常（例如监控曲线出现尖刺的现象），对于数据点中有少量显著离群点的情况比较适用。nsigma：原理简单，便于分析异常原因。ttest：用于识别一个时间窗口内时序指标是否存在因均值变化而发生的异常。istl-esd：适用于带...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
配置SQLServer数据源
数据源描述 对数据源进行简单描述，不得超过80个字符。适用环境 可以选择 开发 或 生产 环境。说明 仅标准模式工作空间会显示该配置。地域 选择购买RDS的地区。RDS实例ID 您可以进入 RDS控制台，查看RDS实例ID。RDS实例主账号ID 实例购买者...
步骤二：实时项目规划
数据源描述 填写数据源简单描述。例如，实时研发的来源数据。数据源配置 选择“生产”数据源。标签 默认 不填。JDBC URL 输入格式为 jdbc:mysql:/host:port/dbname。host:port 信息可以登录MySQL实例详情页进行查看。如下图所示：重要 连接...
步骤二：实时项目规划
数据源描述 填写数据源简单描述。例如，实时研发的来源数据。数据源配置 选择“生产”数据源。标签 默认 不填。JDBC URL 输入格式为 jdbc:mysql:/host:port/dbname。host:port 信息可以登录MySQL实例详情页进行查看。如下图所示：重要 连接...
数据防泄漏典型案例
常见数据泄露原因 在获得用户授权后，异常告警功能可检测以下类型的问题：内部数据泄漏 笔记本电脑和移动设备的丢失或失窃 敏感数据越权访问和存储 在职员工、待离职员工、合作伙伴、外包人员盗窃数据 员工外发、打印和复制敏感数据 意外...
创建OpenGauss数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建OpenGauss数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建Sap Table数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 HOST SAP实例所在的服务器的...
创建Sap Table数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 HOST SAP实例所在的服务器的...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
- 产品推荐
- 这些文档可能帮助您