大数据相关性案例-大数据相关性案例文档介绍内容-阿里云

规格及选型

案例五：互联网游戏企业用户为互联网游戏企业，需要构建数据中台，对行为数据进行分析。平台通过清洗业务日志和数据关联分析，实时支持运营工具。存在工作时间的混合业务负载和资源隔离需求。建议：使用 AnalyticDB PostgreSQL版 ...

账单数据订阅及查询分析

步骤二：订阅账单数据在 大数据分析>数据订阅管理区域，根据需要订阅相应账单数据，订阅后，相关账单数据会同步至指定的MaxCompute表。说明该操作需要当前登录账号为账单分析指定的DataWorks工作空间（即步骤一中，由平台统一创建的工作...

图扑案例

阿里云原生多模数据库 Lindorm 针对工业物联网数据高并发写入，实时存取等特点，创新性地融合时序、索引、宽表等多模引擎能力，为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案，大幅度降低了...

客户案例

大数据处理能力：随着阿里巴巴集团业务的高速发展，推广营销在商业引流上的重要性越发明显，报表作为营销产品的闭环，其诉求也越发的多样化、个性化，报表数据在近几年的发展中在量级上已经增长到TB甚至数十 TB 的规模。这个时候存储系统的...

基于MaxCompute实现拉链表

拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件已...

数据建模

进行数据探索 相关性分析在左侧组件列表，将统计分析下的相关系数矩阵组件拖入画布中。通过连线，将相关系数矩阵-1 节点作为 data4ml 节点的下游节点。右键单击相关系数矩阵-1，在快捷菜单，单击执行该节点。待运行完成后，右键...

通过函数计算节点实现GitHub实时数据分析与结果发送

AccessKey Secret 资源组连通性在数据集成页签下，单击已绑定的数据集成资源组操作列测试连通性，等待界面提示测试完成，连通状态列显示为可连通。步骤四：配置案例在 DataWorks控制台左侧导航栏选择 大数据体验>ETL工作流模板，...

客户案例

DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设客户架构如下。客户简介为了快速数字化转型，拥抱新零售，...

实验介绍

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

快速体验

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

使用DataWorks数据服务生成API

在新增Lightning数据源弹出框中，输入数据源名称、Lightning Endpoint 等相关信息，完成后单击测试连通性，连通性测试通过后即可完成数据源的创建。说明参考配置 JDBC 连接获取Lightning的连接信息，如Lightning Endpoint、Port等。...

RDS搭配异构数据库实现数据多样化存储

缓存数据持久化相关案例请参见缓存数据持久化。多结构数据存储 OSS是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。RDS可以和OSS搭配使用，组成多类型数据存储解决方案。例如，当业务应用为论坛时，RDS搭配OSS使用，论坛用户...

视频个性化推荐（协同过滤）

“视频有曝光给用户”（expr）、“用户浏览了视频"（click）、“用户点赞了视频“（praise）实施策略实施策略如下：相似视频挖掘（I2I）：通过用户的视频交互行为数据挖掘视频与视频之间的相关性，您可基于此案例修改为您的数据来制作符合...

通过RAM角色授权模式配置数据源

本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...

通过DTS实现数据库的垂直拆分

当RDS实例负载过大时，可以将该实例的一个数据库或表垂直拆分至另外一个单独的实例中。本文介绍如何通过双写方案和简易拆分方案实现垂直拆分。背景信息假设一个RDS实例上有数据库A和B，随着业务增长实例瓶颈也日趋可见，如想要减轻该实例...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...

高效数据治理实施指南

数据稳定性优化治理实施指南稳定性治理是任何数据团队进行治理工作时最关注的基础核心，该部分工作不但关系着数据团队对于日常研发工作的产出质量判定，也和实际客户业务的可用性承诺紧密相关。步骤一：明确数据治理方向，规划数据治理...

数据防泄漏典型案例

查看并处理异常告警异常告警功能通过使用内置的行为异常自学习模型和流转异常自学习模型分析审计日志，检测敏感数据相关的异常并上报告警。关于内置模型的更多信息，请参见内置检测模型说明。登录数据安全中心控制台。在左侧导航栏，...

深度解析Lindorm搜索索引（SearchIndex）特性

支持文本字段的分词检索，返回相关性较高的结果数据。统计聚合。按照某个字段进行聚类统计，求取sum/max/min/avg等，或者返回去重后的结果集。模糊查询。查询以'阿里'开头的数据，可以匹配出'阿里云'的结果集，类似MySQL的like语法。诸如...

X-Engine引擎常见问题

本文汇总了与 X-Engine引擎相关的常见问题。X-Engine引擎是什么，能解决什么问题？X-Engine是阿里巴巴自研的基于LSM-tree架构的存储引擎，提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。通过LSM-Tree（Log-Structured ...

迁移MongoDB实例至其他地域

本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现全量数据迁移和增量数据迁移MongoDB副本集实例至其他地域，全量数据迁移MongoDB单节点实例至其他地域。前提条件源实例类型为单节点实例或副本集实例。如果源实例为分...

迁移MongoDB实例至其他地域

本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现全量数据迁移和增量数据迁移MongoDB副本集实例至其他地域，全量数据迁移MongoDB单节点实例至其他地域。前提条件源实例类型为单节点实例或副本集实例。如果源实例为分...

使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云

注意事项迁移开始前需要停止腾讯云MongoDB数据库的相关业务，为保障数据一致性，全量数据迁移期间请勿在腾讯云MongoDB数据库中写入新的数据。DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果...

使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云

注意事项迁移开始前需要停止腾讯云MongoDB数据库的相关业务，为保障数据一致性，全量数据迁移期间请勿在腾讯云MongoDB数据库中写入新的数据。DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果...

常见问题

支持的数据库部署位置（接入方式）阿里云实例有公网IP的自建数据库通过数据库网关DG接入的自建数据库通过云企业网CEN接入的自建数据库 ECS上的自建数据库通过专线/VPN网关/智能接入网关接入的自建数据库阿里云实例通过数据库网关DG接...

如何对JSON类型进行高效分析

列数扩展当半结构化数据相关属性通过虚拟列转换为大宽表的列时，大宽表的列数会随着半结构化数据属性增加而不断扩大。而原生MySQL的最大列数限制，一般取决于表的存储引擎的限制，例如InnoDB存储引擎支持最大列数为1017列（约1K列）。对于...

新功能发布记录

2021-12-21 模型查看器 v6.0 DataV发布全新V6.0版本发布五大新功能适用用户：数据集及BI映射：企业版及以上用户区块管理：专业版及以上用户设计资产：企业版及以上用户空间构建平台：需线下咨询购买数据映射系统；BI分析功能帮助用户...

MySQL一键实时同步至MaxCompute

本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...

MySQL一键实时同步至MaxCompute

本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...

AnalyticDB PostgreSQL助力彩数实现全文检索加工及...

上海市专精特新企业，主要业务是从社交媒体、新闻和电子商务网站采集分析数据，包括社交数据分析，电商数据分析，问卷分析，埋点数据分析等，基于此为国际大型企业用户提供实时性营销咨询报告。典型用户有韩国现代，宝马，三星，葛兰素史克...

RDS MySQL迁移至MaxCompute

ECS上的自建数据库通过数据库网关接入的自建数据库通过云企业网CEN接入的自建数据库通过专线、VPN网关或智能网关接入的自建数据库说明本文以RDS MySQL实例为源数据库介绍配置流程，其他数据源配置流程与本案例类似。前提条件已创建源...

从RDS同步至MaxCompute

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...

使用DTS迁移分片集群架构的自建MongoDB数据库上云

本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...

分区表简介

OLTP数据库通常受益于可管理性和可用性的改进，而OLAP数据仓库则受益于性能和可管理性。使用场景当表非常大的时候（例如，表空间大于数据库服务器的物理内存），可以对表进行分区，从而提升数据库性能。例如，当表的数据库大于2 GB时，...

使用DTS迁移分片集群架构的自建MongoDB数据库上云

本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...

分区表简介

OLTP数据库通常受益于可管理性和可用性的改进，而OLAP数据仓库则受益于性能和可管理性。使用场景当表非常大的时候（例如，表空间大于数据库服务器的物理内存），可以对表进行分区，从而提升数据库性能。例如，当表的数据库大于2 GB时，...

分区表简介

OLTP数据库通常受益于可管理性和可用性的改进，而OLAP数据仓库则受益于性能和可管理性。使用场景当表非常大的时候（例如，表空间大于数据库服务器的物理内存），可以对表进行分区，从而提升数据库性能。例如，当表的数据库大于2 GB时，...

云数据库Redis间的迁移

本文以云数据库Redis实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例类似。实例地区选择源云数据库Redis数据库所属地域。是否跨阿里云账号选择不跨账号。实例ID 选择源云数据库Redis实例ID。数据库密码填入源云数据库...

大数据相关性案例

新品推荐