IoT数据自动化同步至云端解决方案
物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。...
数据分析整体趋势
这些云原生数据仓库技术分别起源于数据库和大数据，提供标准SQL接口和ACID保证，底层存储通过Share Everything或Share Nothing实现资源池化和横向扩展能力。资源隔离，数据共享是目前业务应用对云原生数据仓库的普遍需求。综上所述，数据...
什么是DSW
DSW（Data Science Workshop）是为算法开发者量...AI+大数据一体化 DSW除了支持Python和R语言之外，还对接了大数据的能力，用户能够通过SQL File插件，使用SQL语句对MaxCompute数据源进行数据查询，或通过Notebook连接EMR集群提交Spark任务。
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、...，帮助用户构建和持续优化的大数据体系架构...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
Python SDK概述
PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。本文为您介绍PyODPS的使用和常见方法。PyODPS介绍 PyODPS提供...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
SDK概述
弹性加速计算实例EAIS提供Python和Java的SDK来方便您通过API创建和管理资源。本文介绍弹性加速计算实例EAIS支持的SDK列表和获取地址。...Python语言的SDK使用示例，请参见 Python示例。Java语言的SDK使用示例，请参见 Java示例。
Python SDK 即将终止 Python 2.7 和 Python 3.6 的...
声明内容 从 2024 年 5 月 1 日起，阿里云 Python SDK 将不再继续支持 Python 2.7 运行时和低于版本 Python 3.6 的 Python 3 运行时，也就是正式终止对 Python 2.7 和 Python 3.6 及以下版本的支持。Python 2.7-将于 2024 年 5 月 1 日停止...
使用限制
不支持 数据集成功能（SSIS）支持（共享规格不支持）支持（共享规格不支持）不支持 支持（共享规格不支持）数据分析功能（SSAS）数据报表功能（SSRS）邮件功能 不支持 不支持 不支持 不支持 R语言服务 公共语言运行时集成（CLR）异步消息...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
Spark SQL、Dataset和DataFrame基础操作
他在概念上相当于关系数据库中的一个表，或R和Python中的一个DataFrame，但是进行了更丰富的优化。DataFrame可以从一系列广泛的源构建，例如：结构化数据文件、Hive中的表、外部数据库或现有RDD。DataFrame API有Scala、Java、Python和R...
UTL_RAW
语法 UTL_RAW.CONCAT(r1 IN RAW DEFAULT NULL,r2 IN RAW DEFAULT NULL,r3 IN RAW DEFAULT NULL,r4 IN RAW DEFAULT NULL,r5 IN RAW DEFAULT NULL,r6 IN RAW DEFAULT NULL,r7 IN RAW DEFAULT NULL,r8 IN RAW DEFAULT NULL,r9 IN RAW DEFAULT ...
用户价值
业务应用方 应用开发 业务分析 使用数据资产获得业务价值 更便捷的使用数据和算法资源：通过统一服务，应用开发人员可以快速开发数据智能应用，提高智能应用开发效率，发挥数据价值。自主挖掘数据的业务价值：通过画像分析、业务模型编辑器...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
点热力层（v3.x版本）
图表样式 点热力层是3D平面地图（v3.x版本）的子组件，支持独立的样式、数据和交互配置，包括热力颜色、热力半径和热力模糊度等。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称...
Python应用部署到ECS
编辑流水线 云效会识别代码库语言并推荐相应流水线模板，使用默认置顶选中的【Python测试，获取代码版本信息，部署到ECS】流水线模板，然后点击【创建】。填写流水线名称，点击【下一步】。进入流水线页面，构建测试任务包含两个步骤：...
Python
前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 PyMySQL 驱动进行 OceanBase 数据库连接及使用。步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
通过SQL访问向量数据库
本文介绍使用Java、Python和C语言三种客户端的接入方式。Java 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库支持使用PostgreSQL或Greenplum的JDBC驱动包连接。JDBC连接数据库的操作，请参见 JDBC。在确保有PostgreSQL JDBC驱动的前提...
离线同步能力说明
同时，结合DataWorks调度参数，实现增量数据和全量数据周期性写入到目标表对应分区功能。离线同步任务使用调度参数，再结合 运维中心 补数据 功能，可实现基于一套任务配置，批量将历史数据同步至目标数据库或数据仓库指定表或表指定分区。...
Python程序如何连接RDS MySQL数据库
详细信息 Python标准的数据库接口为Python DB-API，大多数Python数据库接口使用该标准。Python2 参考如下步骤，先安装MySQLdb模块，然后使用import语句导入。通过编译或者pip安装MySQLdb。参考如下Python代码进行连接。import MySQLdb db=...
示例代码
无 访问云原生大数据计算服务 MaxCompute[python3]无 无 访问云原生大数据计算服务 MaxCompute[java11]向消息队列 Kafka 投递消息[node.js14]向消息队列 Kafka 投递消息[python3]无 向消息队列 Kafka 投递消息[go1]向消息队列 Kafka 投递...
使用OpenAPI示例
本文介绍如何使用阿里云Python语言和Java语言SDK开发包，调用 云原生多模数据库 Lindorm 的GetInstanceIpWhiteList接口（获取实例的访问白名单）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要...
整体架构
技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB MySQL 数仓版（3.0）主要用来处理高性能在线分析场景的数据。随着数据...
冷热分层
冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至整个生命周期都不会被访问。冷热数据的区分方式如下：按照数据的创建时间：通常，数据写入初期，用户的关注度较高且访问频繁，...
创建KingbaseES数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
创建KingbaseES数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
UDF示例：复杂数据类型
本文为您介绍如何在Java UDF和Python UDF中使用复杂数据类型。命令说明 本示例将注册一个名称为 UDF_COMPLEX_DATA 的自定义函数。说明 本示例将介绍array、map、struct三种复杂数据类型的使用。Java UDF通过重载的方式使用同一个自定义函数...
- 产品推荐
- 这些文档可能帮助您