产品系列概述
各产品系列对比 系列 说明 适用场景 基础版 单节点实例 个人学习、中小规模DevOps监控、应用指标和IoT传感器的时序数据采集分析、中小企业开发测试。高可用版 采用Raft一致性协议的三节点架构，适合80%以上的用户场景 大中型企业的指标采集...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
云产品集成
配置数据库白名单 添加OceanBase for MySQL数据源 Quick BI 数据分析与展现 Quick BI 是一款全场景数据消费式的BI平台，秉承全场景消费数据，让业务决策触手可及的使命，通过智能的数据分析和可视化能力帮助企业构建数据分析系统。...
推送采集数据
方法 POST URI/v3/openapi/app-groups/{appName}/data-collections/{dataCollectionName}/data-collection-type/{dataCollectionType}/actions/bulk appName 指的是 opensearch 应⽤名称 dataCollectionName 指的是数据采集名称，...
什么是Quick BI
Quick BI是一款全场景数据消费式的BI平台，秉承 全场景消费数据，让业务决策触手可及 的使命，通过智能的数据分析和可视化能力帮助企业构建数据分析系统，您可以使用Quick BI制作漂亮的仪表板、格式复杂的电子表格、酷炫的大屏、有分析思路...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务...实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务决策。
概述
本文介绍DMS数据分析的基本概念、设计理念和主要应用场景。背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘...
规格及选型
案例四：自动驾驶企业 用户为自动驾驶领域企业，需要基于车采数据进行地理位置和时序的采集数据分析，要求对JSON格式的友好兼容和时空数据的分析能力，构建业务看板并支持特征工程。建议：使用 AnalyticDB PostgreSQL版 存储弹性模式，实例...
数据分析概述
数据分析是数据辅助决策的最后一公里，是最终的数据可视化展示与探索分析的部分，选择使用最适合的数据展示方式，可以帮助分析人员大大提升分析效率。仪表板：支持近40种数据图表，操作方便简单，如果您是专业版用户，还可以在群空间下配置...
即席分析概述
即席分析面向一线业务人员，以表格形式提供拖拽式的表格分析能力，让懂业务的人自助实现数据分析。即席分析只适用于Quick BI专业版的群工作空间下，个人空间不支持。产品定位 千万级别规模数据量下的低门槛数据探查及分析工具。核心能力 ...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
数据聚合分析
AnalyticDB的智能分析系统对采集的数据进行了多种分析，从而洞察实例运行状态。实例查询行为画像分析 对单独实例的查询行为进行了统计分析，主要统计指标包括：用户在某段时间内的查询次数；用户查询是否包含join、agg或者sort等；用户第一...
上海新能源汽车车辆基础数据
由上海市经济和信息化委员会负责业务指导，是上海市的新能源汽车市级监管平台，其主要职责是对上海市推广的全部新能源汽车进行数据采集和分析应用，以支撑政府政策制订和安全监管。截至2021年1月31日，数据中心累计接入新能源汽车41.8万辆...
快速接入
产品准备-创建组织和应用 在使用Quick Tracking产品时，首先需要创建一个组织和应用，后续的SDK集成、用户行为日志采集和数据分析都需在此基础之上。组织管理 应用管理 角色授权 埋点方案录入 将业务准备中梳理好的埋点方案内容录入到Quick...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
入门概述
Beats是轻量型的数据采集工具，阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat采集器。本文介绍如何通过使用场景选择对应的采集器，并完成数据采集。数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与...
日志同步分析概述
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 使用Filebeat采集日志数据，将Kafka作为Filebeat的输出端。Kafka实时接收到Filebeat采集的数据后，输出到Logstash中进行过滤处理，最终将满足需求的数据输出到Elasticsearch中...
计费说明
购买示例 举例：某公司有1款应用（年总事件量约为1亿条、性能数据暂无具体概念）需要做用户行为数据采集与分析和性能监控的功能，需要使用SAAS服务，由于自己对埋点、指标体系搭建理解不深，需要咨询服务和按年购买产品，整体的价格如下 ...
服务端埋点验证
1 打开埋点验证 打开产品首页，点击顶部导航“数据采集”进入数据采集模块，点击顶部导航“埋点验证”在埋点验证模块内，选择“服务端验证”2 生成DebugKey 3 将DebugKey设置在代码中 将第2步生成的DebugKey配置在上报的日志中，注意代码...
管理问题数据
问题数据采集最终将基于您的规则生成数据采集SQL，并在MaxCompute引擎侧执行，此过程将产生MaxCompute计算引擎费用。问题数据采集结果将存储与MaxCompute临时表中，此过程将产生MaxCompute计算引擎存储费用。保留问题数据配置入口 您可在按...
采集-通过WebTracking采集日志
开发难度大/成本高：为完成一次数据采集、分析需求，首先需要购买云主机、公网IP、开发数据接收服务器、消息中间件等，并且通过互备保障服务高可用。接下来需要开发服务端并进行测试。使用不易：数据达到服务端后，还需要工程师先清洗结果...
应用场景
报表产出效率低，维护难 后台分析系统的数据报表变更，编码研发周期长，维护困难。图表效果设计不佳，人力成本高 使用HighChart等工具做报表，界面效果不佳，人力维护成本高。推荐搭配使用 RDS+Quick BI 报表与自有系统集成 某运输公司期望...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
数据采集
日志数据采集 内部的各类日志会被采集并发送到SLS日志服务系统中进行统一的存储和加工，日志数据主要包括：审计日志：用于记录用户的所有的操作行为，例如DDL操作和DML操作等。查询详情日志：用于记录一条查询在执行过程中的详细信息，包括...
使用流程
云原生数据湖分析DLA（Data Lake Analytics）是无服务器（Serverless）化的云上交互式查询分析服务，支持通过Presto和Spark引擎分析多种数据源中的数据。快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与...
非结构化分析
支持数据实时更新 传统的向量分析系统中数据只能按照T+1更新，不支持数据实时写入。云原生数据仓库PostgreSQL版向量分析支持数据实时更新和查询。支持向量分析碰撞 AnalyticDB PostgreSQL版 向量分析支持KNN-Join，即比较一堆向量与另外一...
设备协议
设备协议模块可创建的协议以及各协议的功能如下：设备采集协议：将设备数据自动推送到云控平台数据采集端口。数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
常见术语
数据湖 数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据，数据湖支持存储EB级别的数据，阿里云数据湖存储以OSS为代表！数据湖分析 数据湖分析就是针对数据湖数据分析的方案。云原生数据湖分析（简称DLA）是新一代...
教程概述
数据采集：通过阿里云DTS的数据同步功能，将RDS中的数据同步到DataHub中，完成数据采集。数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。数据展示：通过DataV大屏，对数据进行处理并展示。
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
游戏运营融合分析
架构图 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDS MySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADB 数据湖分析DLA、Quick BI 参考链接 有关游戏运营融合分析...
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
系统管理
上传数据至EMR Hive、Hologres引擎：仅支持使用独享资源组（即 数据分析>系统管理 相应引擎必须配置为独享调度资源组和独享数据集成资源组）。所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
- 产品推荐
- 这些文档可能帮助您