接入Logstash
Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、大小和来源的数据。在实际业务中，数据往往以各种各样...
访问队列服务
发送优先数据 在队列服务中，普通数据按照FIFO顺序进行推送，但是在很多场景中，部分数据需要被优先推送和处理。队列服务支持数据优先推送。您可以通过增加query参数_priority_=1，向队列服务推送优先数据。curl-v http://182848887922*....
基本概念
Apache Kafka 一款开源的分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。更多信息，请参见 Apache Kafka。云消息队列 Kafka 版 一款由阿里云提供的Apache Kafka全托管服务，具备免部署、免运维、低成本、高弹性、高可靠、高...
应用场景
本文介绍 云消息队列 Kafka 版 的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。网站活动跟踪 成功的网站运营需要对站点的用户行为进行分析。通过 云消息队列 Kafka 版 的发布/订阅模型，您可以实时收集网站活动数据...
连接方式概述
本节主要介绍 连接和访问 OceanBase 数据库 MySQL 模式租户的方法。当前主要支持通过客户端、驱动或 ORM 框架连接到 OceanBase 数据库。客户端 在连接 OceanBase 数据库的 MySQL 租户时，支持的客户端如下：MySQL 客户端 MySQL 数据库的...
基于Flink的资讯场景实时数仓
部署架构图 选用的产品 云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的...
服务关联角色
如果您是在 云消息队列 Kafka 版 控制台首次开通数据处理服务，系统会提示您完成AliyunServiceRoleForAlikafkaETL的自动创建。更多信息，请参见 管理数据处理任务。策略内容 AliyunServiceRoleForAlikafka的权限策略如下：{"Version":"1",...
概述
概念介绍—数据处理（Transform）数据处理是消息集成的重要功能组件，可以在配置消息流入或消息流出任务的同时选择性配置数据处理能力。依托 事件总线EventBridge 强大的自研数据处理及灵活的函数计算自定义能力，提供7种匹配模式（指定值...
概述
概念介绍—数据处理（Transform）数据处理是消息集成的重要功能组件，可以在配置消息流入或消息流出任务的同时选择性配置数据处理能力。依托 事件总线EventBridge 强大的自研数据处理及灵活的函数计算自定义能力，提供7种匹配模式（指定值...
在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
集成概述
概念介绍—数据处理（Transform）数据处理是Connector生态集成的重要功能组件，可以在配置消息流入或消息流出任务的同时选择性配置数据处理能力。依托 事件总线EventBridge 强大的自研数据处理及灵活的函数计算自定义能力，提供7种匹配模式...
数据科学计算概述
为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及挖掘工作。发展路径 MaxCompute提供的Python开发生态...
创建PYTHON计算任务
背景信息 Python 3.7更能满足更多样化的大数据处理的诉求，例如 list.clear()。Python 2.7和Python 3.7的更多信息，请参见 Python。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图指引，进入 新建PYTHON任务 对话框。在 新建...
概述
概念介绍—数据处理（Transform）数据处理是消息集成的重要功能组件，可以在配置消息流入或消息流出任务的同时选择性配置数据处理能力。依托 事件总线EventBridge 强大的自研数据处理及灵活的函数计算自定义能力，提供7种匹配模式（指定值...
示例代码
无 访问云原生大数据计算服务 MaxCompute[python3]无 无 访问云原生大数据计算服务 MaxCompute[java11]向消息队列 Kafka 投递消息[node.js14]向消息队列 Kafka 投递消息[python3]无 向消息队列 Kafka 投递消息[go1]向消息队列 Kafka 投递...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
基本概念
本文介绍 云消息队列 RocketMQ 版 的基本概念，以便您更好地理解和使用 云消息队列 RocketMQ 版。主题（Topic）云消息队列 RocketMQ 版 中消息传输和存储的顶层容器，用于标识同一类业务逻辑的消息。主题通过TopicName来做唯一标识和区分。...
Flink Python作业快速入门
步骤一：下载Python测试文件 本文为您提供了测试Python文件和输入数据文件，您可以直接单击下载待后续步骤使用。您可以单击下载以下任意Python测试作业。单击 word_count_streaming.py，下载测试Python流作业。单击 word_count_batch.py，...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
将云消息队列 Kafka 版接入阿里云Elasticsearch
随着时间的积累，云消息队列 Kafka 版 中的日志数据会越来越多。当您需要查看并分析庞杂的日志数据时，可通过阿里云Logstash将 云消息队列 Kafka 版 中的日志数据导入阿里云Elasticsearch，然后通过Kibana进行可视化展示与分析。本文介绍将...
队列服务订阅推送
在订阅推送可以持续地将就绪的数据立即推送到客户端手中，避免通过Get API进行轮询造成的时延和通过队列服务的内部机制进行查询，可以最大程度地降低处理时延和队列服务的负载。但是在使用上，由于有较多额外的概念，订阅推送具有一定的...
云消息队列 MQTT 版
本文介绍如何在 云消息队列 RabbitMQ 版 控制台创建消息流入任务，将 云消息队列 MQTT 版 中的数据快速导入至 云消息队列 RabbitMQ 版。前提条件 您已购买 云消息队列 RabbitMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建...
基本概念
本文主要对 云消息队列 RocketMQ 版 涉及的专有名词及术语进行定义和解析，方便您更好地理解相关概念并使用 云消息队列 RocketMQ 版。Topic 消息主题，一级消息类型，通过Topic对消息进行分类。更多信息，请参见 Topic与Tag最佳实践。消息...
产品优势
丰富的数据生态 提供全托管、免运维的数据处理组件，支持灵活的Function函数编程，轻松灵活处理数据。支持Connector连接海量云产品以及自建大数据生态产品，轻松实现数据集成和计算。提供超大规格 深度优化内核，解决开源版本千级分区性能...
搭配云HBase和Spark构建一体化数据处理平台
融合云Kafka+云HBase X-Pack能够构建一体化的数据处理平台，支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景，助力企业数据智能化。方案架构 下图是业界广泛应用的大数据中台架构。说明 其中HBase和Spark选择云...
SELECT TRANSFORM
类型 select transform UDTF 数据类型 子进程基于标准输入和标准输出传输数据，所有数据都当做STRING类型处理，因此 select transform 比UDTF多了一步类型转换。UDTF的输出结果和输入参数支持多种数据类型。数据传输 数据传输依赖于操作...
概述
参数 说明 python.fn-execution.bundle.size Python UDF的计算是异步的，在执行过程中，Java算子将数据异步发送给Python进程进行处理。Java算子在将数据发送给Python进程之前，会先将数据缓存起来，到达一定阈值之后，再发送给Python进程。...
SELECT TRANSFORM
类型 select transform UDTF 数据类型 子进程基于标准输入和标准输出传输数据，所有数据都当做STRING类型处理，因此 select transform 比UDTF多了一步类型转换。UDTF的输出结果和输入参数支持多种数据类型。数据传输 数据传输依赖于操作...
云消息队列 Kafka 版
本文介绍如何在 云消息队列 RabbitMQ 版 控制台创建消息流入任务，将 云消息队列 Kafka 版 中的数据快速导入 云消息队列 RabbitMQ 版。前提条件 您已购买 云消息队列 RabbitMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源...
WAL日志并行回放
如果期望优先分配的进程队列已满，或者没有相同的Task Tag在执行，则在进程组中按顺序选择一个进程，从中获取状态为 Idle 的Task Node来调度任务执行。目的是让任务尽量平均分配到不同的进程进行执行。进程组 该并行执行针对的是相同类型的...
集群消费和广播消费
分布式数据处理：在大规模数据处理的场景中，使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据，从而加速数据处理的速度。注意事项 集群模式下，不保证每一次失败重投的消息投递到同一台机器上。...
Python 3 UDTF
说明 在编写UDTF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明@annotate('bigint,boolean->...
云消息队列RabbitMQ版
本文介绍如何在 云消息队列 RabbitMQ 版 控制台创建消息流出任务，将指定 云消息队列 RabbitMQ 版 实例中的数据导出至其他的 云消息队列 RabbitMQ 版 实例中。前提条件 您已购买 云消息队列 RabbitMQ 版 实例，且实例处于 服务中 状态。...
云消息队列 RabbitMQ 版
本文介绍如何在 云消息队列 RabbitMQ 版 控制台创建流入任务，将指定 云消息队列 RabbitMQ 版 实例中的数据快速导入至另外的 云消息队列 RabbitMQ 版 实例中。前提条件 您已购买 云消息队列 RabbitMQ 版 实例，且实例处于 服务中 状态。...
PyODPS概述
常见的需求，比如需要对每一行数据处理然后写回表，或者一行数据要拆成多行，都可以通过PyODPS DataFrame中的 map 或者 apply 实现，有些甚至只需要一行代码，足够高效与简洁，案例可参见 使用自定义函数及Python第三方库。使用这些接口...
部署作业
请参见 使用自定义的Python虚拟环境 和 使用数据文件，了解更多关于Python Archives的信息。附加依赖文件 选择您的Python作业文件，以及所用的依赖的数据文件等。Python依赖详情，请参见 Python依赖管理。上传的依赖文件默认会被下载到作业...
云消息队列 RocketMQ 版
本文介绍如何在 云消息队列 RabbitMQ 版 控制台创建消息流入任务，将 云消息队列 RocketMQ 版 中的数据快速导入至 云消息队列 RabbitMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 ...
- 产品推荐
- 这些文档可能帮助您