亿海蓝-航运大数据的可视化案例
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
基于Flink的实时大数据应用Demo
相关文档 什么是阿里云实时计算Flink版 应用场景 实时数仓Hologres使用流程
大数据计算服务MaxCompute的审计事件
大数据计算服务MaxCompute已与操作审计服务集成，您可以在操作审计中查询用户操作MaxCompute产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计...
金融大数据
数据仓库方案 面向金融行业的大数据仓库解决方案。业务架构 架构说明：大数据仓库调用外部数据和数据集市的信息，通过数据获取层、数据模型层、数据加工层、数据应用层和分析集市的层层筛选、分析、加工，由大数据服务接口向内部源数据输出...
大数据用户画像解决方案
进入互联网，特别是移动互联网时代，用户随时随地都会在...多维度&复杂查询：原生全局二级索引、Lindorm Search满足多维度查询需求 方案详情&专家服务 解决方案详情参见：基于Lindorm的大数据用户画像解决方案 任何问题，欢迎联系 技术支持。
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化...方案详情 方案的详情请参见 基于MaxCompute的大数据BI分析。
大数据AI公共数据集分析
学习如何在DataWorks进行简单的大数据分析操作，了解DataWorks的数据分析能力。操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks：一站式大数据开发与治理平台，绑定计算引擎后可在DataWorks上开发调度对应引擎的分数据开发治理...
大数据型
推荐 大数据存储密集型实例规格族d3s 大数据计算密集型实例规格族d3c 大数据计算密集型实例规格族d2c 大数据存储密集型实例规格族d2s 大数据网络增强型实例规格族d1ne 其他在售（如果售罄，建议使用推荐规格族）大数据型实例规格族d1 大...
大数据上云及巡检服务内容说明
帮助客户制定满足客户业务系统的大数据平台迁移改造技术方案，快速高效的实现数据/作业的迁移，保证数据的一致性。以解决以下客户痛点：对云计算平台产品不熟悉，对大数据迁移没有设计经验，缺乏相应的迁移方案设计能力。数据迁移整体流程...
RDS搭配大数据计算服务实现大规模数据计算
开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，...
Quick BI图表如何不显示数据值，以图形...表示数据的大小...
概述 本文主要介绍不显示数据值，以图形大小来表示数据的大小的方法。详细信息 如何实现不显示数据值，以图形大小来表示数据的大小呢？此处以交叉表为例，方法如下：点击交叉表，在样式-功能型配置中选则需要修改的度量，并勾选自定义样式...
使用程序进行大数据导入
本文介绍如何通过编写代码的方式，离线导入大数据量到 PolarDB-X 1.0 数据库。背景信息 假设当前数据库有一个表需要导入到 PolarDB-X 1.0 数据库中，数据量大致为814万，表结构如下。CREATE TABLE `post`(`postingType` int NOT NULL,`id` ...
Quick BI新建的数据大屏无法发布
问题描述 Quick BI新建的数据大屏无法发布，找不到发布按钮。问题原因 试用用户不支持发布数据大屏。解决方案 需要购买产品后才可以看到发布按钮，才可以发布创建的数据大屏。适用于 Quick BI 公共云4.4.2版本验证
大数据安全治理的难点
同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理难点。数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有...
在大数据平台中集成Tair
本文介绍如何在不同大数据分析平台中接入 云原生内存数据库Tair。常见大数据分析平台集成 Tair 的方法如下：大数据开发治理平台DataWorks：请参见 配置Redis Writer插件。说明 Tair 完全兼容Redis，您可以参考该文档配置 Tair 实例信息，但...
如何查看表和数据库的数据量大小？
执行以下命令，查询一张表的总大小（单位为MB，包含表的索引和数据）：select pg_size_pretty(pg_total_relation_size('<schemaname>.<tablename>'));执行以下命令，查询表的数据大小（单位MB，不包括索引）：select pg_size_pretty(pg_...
将Prometheus数据投递至大数据计算服务MaxCompute
当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务，加工后用于报表分析...
将Prometheus数据投递至大数据计算服务MaxCompute
当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务，加工后用于报表分析...
通过大数据平台搭建设备监控大屏
本文介绍如何对接物联网平台和阿里云大数据平台，以实现设备数据分析、统计、计算和可视化实时展示。前提条件 开通、购买相关阿里云产品实例和计算资源。使用阿里云大数据平台处理物联网平台设备相关数据，涉及多个阿里云产品，包括 云数据...
Quick BI数据追加后大屏上的数据还没有变
问题描述 Quick BI数据追加后大屏上的数据还没有变。问题原因 数据集有全局缓存造成数据没有更新。解决方案 关闭全局缓存策略。点击数据集的清除缓存。适用于 Quick BI 环境：公共云专业版4.5
Quick BI的数据集是否区分数据大小写
问题描述 Quick BI的数据集是否会区分数据的大小写？解决方案 数据集默认不区分数据大小写。当数据集开启Quick引擎后是区分大小写的。适用于 Quick BI 公共云专业版4.4.1版本
云数据库Memcache版适合存储多大的数据？
在云数据库Memcache版中，Key支持的最大长度为250字节（Byte），Key+Value的最大长度是4,194,291字节。如果Key+Value的长度大于等于4,194,292字节会提示错误：object too large for cache。使用过大的对象会占用较大带宽，导致QPS下降，...
大数据和AI体验教程
如何使用AutoML进行自动调参训练 实操演示课程 如何查看logview并进行日志分析 实操演示课程 如何在PAI-EAS定时自动部署模型服务 实操演示课程 DLC深度学习训练平台 实操演示课程 通过MaxCompute和OSS上传数据 实操演示课程 在PAI-EAS中...
为什么DTS迁移数据前后的数据大小不一样
数据的写入方式不同，可能会导致两个相同文档条数的实例的存储大小不同，因为WiredTiger页面的存储和拆分方式可能不同，索引的生成方式有所差异，为了对齐而填充（padding）的内碎片以及数据块的压缩率也会有所差异。因此，源实例和目标...
存储费用
背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小不同。MaxCompute数据存储三个副本，但只按一个副本压缩后的大小进行按量计费。存储费用分为存储计费和备份存储计费。...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
DataWorks V3.0
MapReduce：E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来分析和处理自己的数据的大数据引擎...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
客户案例
打造离线实时一体化数据中台，构建统一、完整的大数据应用链路，服务内部几大核心业务。全链路数据治理提高数据可用性，让数据在中台进行自由流动，保证数据准确、准时、一致，成本削减1亿元。提高业务迭代效率，数据更新频率由1天变成10...
受众与核心能力
总之，使用DataWorks，您不仅可以进行海量数据的离线加工分析，还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践...
LogHub（SLS）数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } LogHub（SLS）Reader脚本参数 参数 描述 是否必选 默认值 endPoint 日志服务入口endPoint是访问一个项目（Project）及其内部日志数据的URL。它和Project所在的阿里云地域...
MaxCompute数据源
离线读MaxCompute分区表时，不支持直接对分区字段进行字段映射配置，需要在配置数据来源时指定待同步数据的分区信息。例如，分区表t0其字段包含id、name两个字段，一级分区为pt，二级分区为ds。读取t0的pt=1，ds=hangzhou分区数据时，您...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本教程旨在帮助您使用DataWorks，将 云消息队列 Kafka 版 中的数据导入至MaxCompute，来进一步探索大数据的价值。步骤一：准备云消息队列 Kafka 版数据 向Topic testkafka中写入数据，以作为迁移至MaxCompute中的数据。由于 云消息队列 ...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
导入导出表数据
导入数据 在 Project Explorer 区域，单击MaxCompute项目的 Tables&Views 节点前的下拉箭头，右键单击需要导入数据的表，选择 Import data into table。在 Importing data to table_name 对话框中，配置导入文件参数。Input File：导入数据...
- 产品推荐
- 这些文档可能帮助您