基于GitHub公开事件数据集的离线实时一体化实践
前提条件 已创建云服务器ECS实例并绑定弹性公网IP，用于提取GitHub API中的实时事件数据，详情请参见 创建方式导航 和 绑定和解绑弹性公网IP。已开通对象存储OSS并在ECS中安装ossutil工具，用于存储 GH Archive 提供的JSON数据文件，详情请...
数据库评估常见问题
画像报错，采集数据中缺乏某信息？ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请重启采集或联系 ADAM 工作人员。画像内容，如何查看兼容度？ADAM 数据库画像主要内容是围绕着源 Oracle 信息，如果想查看目标数据库兼容性，请...
教程概述
本文为您介绍当需要通过DataV展示海量数据的分析结果时，如何使用DataWorks的数据服务开发数据API，并快速在DataV中调用API，最终将来自MaxCompute的数据成果展示在DataV大屏中，数据开发到数据服务再到数据分析展现一气呵成。注意 本案例...
快速体验
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
添加阿里云API网关数据源
本文档介绍在DataV中添加阿里云API网关数据源的方法，以及相关参数配置说明。阿里云API网关即API托管服务，涵盖API发布、管理、运维、售卖的全生命周期管理。前提条件 已准备好待添加的阿里云API网关数据源。添加阿里云API网关数据源操作...
添加API数据源
API指通用的数据接口，如果您已有可用的API接口，可在DataV中使用自己的API数据源连接。前提条件 已准备好待添加的API数据源。操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 ...
添加API数据源
API指通用的数据接口，如果您已有可用的API接口，可在DataV中使用自己的API数据源连接。前提条件 已准备好待添加的API数据源。操作步骤 登录 DataV控制台。在 我的可视化 页面中，将鼠标移动至需要编辑的可视化应用上，单击 编辑。重要 ...
DescribeApiTrafficData-查询API监控数据中流量统计...
查询指定API监控数据中对流量的统计数据。接口说明 此功能面向开放 API 的用户 监控功能默认对线上环境的 API 做统计，不包括测试环境的 API 调用 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，Open...
添加阿里云API网关数据源
本文档介绍在DataV中添加阿里云API网关数据源的方法，以及相关参数配置说明。阿里云API网关即API托管服务，涵盖API发布、管理、运维、售卖的全生命周期管理。前提条件 已准备好待添加的阿里云API网关数据源。添加阿里云API网关数据源操作...
上海新能源汽车车辆基础数据
海量采集数据有实时归档到离线数仓案并分析的需求。数据分析结果有服务化的需求，需要回流到在线存储。解决方案 Lindorm历经阿里众多核心服务的大规模验证，拥有相关技术领域的技术团队，保障了使用过程的持续稳定、可靠，构建起坚实的离...
数据服务
API分组是一个特定功能或场景的API集合，是数据服务中API的最小组织单元，对应于API网关中的分组概念。数据服务中的API发布至API网关时，系统会在API网关中自动创建一个同名的分组。如何合理设置API分组？通常将解决同一个问题或者相似功能...
新建数据采集接口
参数 说明 渠道名称 输入采集数据的渠道名称。是否Quick Tracking采集 选择 是。请勿选择 否，非Quick Tracking采集无需配置此接口。应用类型 选择 APP、小程序 或 WEB。平台类型配置 对于APP和小程序，选择相应的平台类型，例如：安卓、...
数据服务概述
加工后的数据供应用读取 用户使用DMS数仓开发对数据进行加工汇总后，希望在应用中读取这部分加工后的数据进行业务处理，则可通过API的方式快速输出。当需要变更读取的逻辑时，只需要调整API的查询逻辑，而不需要重新发布应用。使用流程图 ...
DataWorks数据服务对接DataV最佳实践
单击 发布，即可成功生成一个数据API。发布完成后，单击右上角 服务管理 查看API详情。如果您需要调用API，请进入 服务管理 API调用 页面，数据服务为您提供简单身份认证（AppCode）和加密签名身份认证（AppKey&AppSecret）两种认证方式，...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
数据源管理常见问题
本文介绍在DataV中连接数据源时，经常遇到的问题及相应的解决方法。DataV小课堂直播视频：数据源管理-常见问题。CSV数据源类问题 如何为组件配置CSV数据源？您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 ...
数据源管理常见问题
本文介绍在DataV中连接数据源时，经常遇到的问题及相应的解决方法。DataV小课堂直播视频：数据源管理-常见问题。CSV数据源类问题 如何为组件配置CSV数据源？您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 ...
通过HTTP API写入数据
database not found:\"atlantis\""} 后续任务 现在您已经知道了如何使用TSDB For InfluxDB®内置的HTTP API来写入数据，下一步，我们将在文档 通过HTTP API查询数据 中学习如何将数据读出来。若想获取更多关于如何使用HTTP API写入数据的...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
通过HTTP API查询数据
下面的例子展示如何使用HTTP API来查询数据库，这些数据库的名字在文档 通过HTTP API写入数据 中已经出现过了。curl-G 'https://<网络地址>:3242/query?u=<账号名称>&p=<密码>&pretty=true'-data-urlencode"db=mydb"-data-urlencode"q=...
API概览
DescribeApiLatencyData 查询API监控数据中对响应时间统计数据 查询指定API监控数据中对响应时间的统计数据。DescribeApiQpsData 查询API监控数据中对QPS的统计数据 查询指定API监控数据中对QPS的统计数据。DescribeApiTrafficControls ...
数据库评估分析
规格：根据采集数据，通过ADAM智能计算出迁移到目标库需要的数据库规格和预估费用。规格评估受采集环境影响，实际购买需要结合业务综合评估。风险：对用户的迁移改造进行风险预警。包含源库已有的风险点，及迁移到目标库可能发出的风险点。...
命令行界面介绍
说明 也可以向数据库发送原生的HTTP请求，请参阅文档通过HTTP API写入数据和通过HTTP API查询数据中使用curl的示例。初探数据的读写功能 当在阿里云平台成功创建好数据库之后，TSDB For InfluxDB®就可以接收写入和查询请求。首先，对数据...
知识库
说明 如需在数据治理中心中使用Hologres数据源，请先在数据地图中采集Hologres元数据。具体操作，请参见 元数据采集。当前仅华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）地域的数据治理中心支持Hologres数据源。查看治理项...
DescribeApiLatencyData-查询API监控数据中对响应时间...
查询指定API监控数据中对响应时间的统计数据。接口说明 查询指定 API 的监控信息：Latency(ms)此功能面向开放 API 的用户 监控功能默认对线上环境的 API 做统计，不包括测试环境的 API 调用 调试 您可以在OpenAPI Explorer中直接运行该接口...
同步字典
实例录入数据管理DMS后，DMS会自动采集实例中数据库的字典信息。当您在DMS发现实例信息不一致时，您可以手动同步字典。如果您在DMS进行数据库结构变更，DMS会自动同步字典，否则需要手动同步字典。背景信息 字典信息用于实现数据库、表、...
DescribeApiQpsData-查询API监控数据中对QPS的统计...
查询指定API监控数据中对QPS的统计数据。接口说明 此功能面向开放 API 的用户 监控功能默认对线上环境的 API 做统计，不包括测试环境的 API 调用 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，Open...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
表设计规范
例如，在规范化设计表的同时对数据通道中的数据采集方式进行优化，可以减少分布式系统中小文件的问题，降低表和分区的维护数量。表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照...
操作流程
数据服务API：数据API是一种由云计算资源中的数据通过参数配置生成API的API类型，生成API后可以方便后续调用，减少资源操作成本。三方API：统一服务支持创建第三方平台提供的API，通过生成API可以方便后续调用，减少资源操作成本。数据上报...
创建API数据源
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加...
创建API数据源
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加...
数据服务入门
向导模式：无需具备编码能力，即可快速配置一个数据API。脚本模式：支持多表关联、复杂查询和聚合函数等高级功能，可自行编写API的查询SQL，满足高阶用户的个性化查询需求。本文示例使用向导模式。两种模式的更多介绍，详情请参见 生成API...
数据源配置常见问题
如果您已有API中的逻辑在使用DataV的API数据源时不支持（例如计算签名等），可使用阿里云API网关托管您的API，DataV连接阿里云API网关数据源时可以间接调用您在API网关中托管的API，此时阿里云API网关相当于API的代理。具体使用操作请参见 ...
数据源配置常见问题
如果您已有API中的逻辑在使用DataV的API数据源时不支持（例如计算签名等），可使用阿里云API网关托管您的API，DataV连接阿里云API网关数据源时可以间接调用您在API网关中托管的API，此时阿里云API网关相当于API的代理。具体使用操作请参见 ...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
教程概述
本案例使用阿里云DTS将您的增量数据同步到DataHub上，再通过阿里云实时计算Flink订阅DataHub...数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。数据展示：通过DataV大屏，对数据进行处理并展示。
添加Open API数据源
本文为您介绍在DataV中添加Open API数据源的方法，以及相关参数配置说明。Open API是阿里云提供的云产品开放接口的调用方式，使用Open API可以方便地调用各云产品提供的API接口，轻松实现控制及查询等功能。在DataV中，最常见的场景是使用...
添加Open API数据源
本文为您介绍在DataV中添加Open API数据源的方法，以及相关参数配置说明。Open API是阿里云提供的云产品开放接口的调用方式，使用Open API可以方便地调用各云产品提供的API接口，轻松实现控制及查询等功能。在DataV中，最常见的场景是使用...
- 产品推荐
- 这些文档可能帮助您