LogHub
本文介绍了如何使用DLA Spark Streaming访问LogHub。前提条件 已经创建了Spark虚拟集群。具体操作请参见 创建虚拟集群。已经开通对象存储OSS（Object Storage Service）服务。具体操作请参见 开通OSS服务。操作步骤 准备以下测试代码来连接...
Loghub数据源
本文介绍如何使用Loghub数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName(columnName dataType[,columnName dataType]*)USING loghub OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);Table Schema ...
LogHub（SLS）数据源
LogHub（SLS）数据源为您提供读取和写入LogHub（SLS）双向通道的功能，本文为您介绍DataWorks的LogHub（SLS）数据同步的能力支持情况。使用限制 数据集成离线写LogHub（SLS）时，由于LogHub（SLS）无法实现幂等，FailOver重跑任务时会引起...
配置LogHub（SLS）输入
LogHubStream Reader插件基于LogHub（SLS）SDK实时抽取您配置的LogHub（SLS）topic数据，并支持合并和分裂Shard。合并或分裂Shard后，数据可能会增加，但保证不会丢失数据。背景信息 LogHub（SLS）实时同步读取插件，会自带以下元数据字段...
同步LogHub数据至HDFS
本文介绍如何使用E-MapReduce（简称EMR）的Flume实时同步日志服务（LogHub）的数据至E-MapReduce集群的HDFS，并根据数据记录的时间戳将数据存入HDFS相应的分区中。背景信息 您可以借助日志服务的Logtail工具，将需要同步的数据实时采集并...
LogHub（SLS）实时ETL同步至Hologres
本文为您介绍如何LogHub（SLS）实时ETL同步至Hologres任务。新建数据源 配置LogHub（SLS）数据源 您可以手动添加LogHub（SLS）数据源至DataWorks，详情请参见 配置LogHub（SLS）数据源。新建Hologres数据源 获取Hologres数据源信息 进入 ...
Storm消费
日志服务LogHub提供了高效、可靠的日志通道功能，您可以通过Logtail、SDK等多种方式来实时采集日志数据。采集日志数据之后，可以通过Storm实时消费写入到日志服务中的数据。为了降低Storm消费的代价，日志服务提供了LogHub Storm Spout来...
通过DataWorks数据集成迁移日志数据至MaxCompute
本文为您介绍如何通过数据集成功能同步LogHub数据至MaxCompute。背景信息 日志服务支持以下数据同步场景：跨地域的LogHub与MaxCompute等数据源的数据同步。不同阿里云账号下的LogHub与MaxCompute等数据源间的数据同步。同一阿里云账号下的...
采集-多渠道数据
日志服务LogHub功能提供数据实时采集与消费，其中实时采集功能支持50+种手段。数据采集一般有两种方式，区别如下。本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较...
采集Log4j日志
本文介绍如何通过Loghub Log4j Appender或Logtail采集Log4j日志。背景信息 Log4j是Apache的一个开放源代码项目，通过Log4j，可以控制日志的优先级、输出目的地和输出格式。日志的优先级从高到低为ERROR、WARN、INFO、DEBUG，日志的输出目的...
公共数据集成（调试）资源组
Elasticsearch Reader Elasticsearch Writer FTP FTP Reader FTP Writer HybridDB for MySQL HybridDB for MySQL Reader HybridDB for MySQL Writer LogHub（SLS）LogHub（SLS）Reader LogHub（SLS）Writer MaxCompute MaxCompute Reader ...
SCAN语句
spark-sql>CREATE TABLE loghub_table_intput_test(content string)>USING loghub>OPTIONS>(.)离线处理SLS数据，统计截止当前数据条数。spark-sql>CREATE SCAN loghub_table_intput_test_batch>ON loghub_table_intput_test>USING BATCH;...
采集公网数据
现在日志服务LogHub功能可以代替这类架构，并提供稳定、低成本、弹性、安全的解决方案。应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka ...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
SDK概述
Loghub数据源支持部分参数动态调整。v1.8.0 新增DataHub DSv2。Spark Structured Streaming支持Tablestore数据源。Spark Streaming SQL适配Tablestore数据源。优化Loghub数据源服务异常重试时间不超过5分钟。Loghub服务请求加上user agent...
通过Tunnel迁移日志数据至MaxCompute
Tunnel u D:\loghub.csv loghub;上述命令中需要指定如下两个参数：D:\loghub.csv：本地日志数据文件存储路径。loghub：MaxCompute中存储日志数据的表名。说明 使用Tunnel数据不支持通配符或正则表达式。如果您想使用通配符或正则表达式上传...
消费-计量计费日志
系统架构 以日志服务LogHub功能为例：使用LogHub进行计量日志实时采集与计量程序对接：LogHub支持的50+种接入手段。计量程序每隔固定时间消费LogHub中步长数据，在内存中计算生成计费数据结果。（附加）对明细数据查询需求，可以将计量日志...
Spark Streaming消费
因此 spark.streaming.loghub.maxRatePerShard 并非一个精确控制单批次消费日志条数的参数，实际上每个批次消费的日志条数与 spark.loghub.batchGet.step 以及每个LogGroup中包含的日志条数相关。示例 import ...
实时Spark Streaming消费示例
Spark Structured Streaming Scala访问LogHub 代码示例#StructuredLoghubWordCount.Scala object StructuredLoghubSample { def main(args:Array[String]){ if(args.length){ System.err.println("Usage:StructuredLoghubSample...
概述
本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，将日志数据上传至MaxCompute。详情请参见 通过Tunnel迁移日志数据至MaxCompute。...
应用场景
数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括Metric、Event、BinLog、TextLog、Click等）。方案优势：使用便捷：提供50+实时数据采集方式，让您快速搭建平台；强大配置管理能力，减轻运维负担。...
概述
ON-OSS示例（Scala）OSS UnstructuredData示例（Scala）SparkPi示例（Scala）支持Spark Streaming LogHub示例（Scala）支持Spark Streaming LogHub写MaxCompute示例（Scala）支持Spark Streaming DataHub示例（Scala）支持Spark Streaming ...
Streaming SQL作业配置
库名称 版本 发布日期 引用字符串 详细信息 datasources-bundle 2.0.0（推荐）2020/02/26 sharedlibs:streamingsql:datasources-bundle:2.0.0 支持数据源：Kafka、Loghub、Druid、TableStore、HBase、JDBC、DataHub、Redis、Kudu和DTS。...
云数据库ClickHouse版的审计事件
DescribeLogHubAttribute 查询Loghub属性。DescribeLoghubDetail 查询Loghub详情。DescribeLogStoreKeys 查询Loghub Key。DescribeLorneLog 查询Lorne日志。DescribeLorneTasks 查询Lorne任务。DescribeLorneTasksMCount 查询Lorne任务数量...
通过消费组消费数据
import com.aliyun.openservices.loghub.client.exceptions.LogHubClientWorkerException;public class Main {/日志服务的服务接入点，请您根据实际情况填写。private static String Endpoint="cn-hangzhou.log.aliyuncs.com";日志服务项目...
日志服务（SLS）增量导入
参数说明 {"reader":{"columns":["_client_ip_","C_Source","id","name"],"consumerSize":2,/指定有多少个consumer订阅loghub的数据，默认是1"logstore":"bds-test"},"writer":{"columns":[{"name":"f:col1","value":"{{ concat('xx',name)...
通过日志服务迁移日志数据至MaxCompute
操作步骤 在MaxCompute客户端（odpscmd）执行如下语句创建表loghub，用于接收日志服务投递数据。CREATE TABLE loghub(id BIGINT,name STRING,salenum BIGINT)PARTITIONED BY(ds string);在日志服务中创建Project和Logstore。登录 日志服务...
数据源支持概述
支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 DataHub 无 无 有 有 HBase 有 有 无 有 JDBC 有 有 无 有 Druid 无 无 无 有 Redis 无 无 无 有 Kudu 有 有 无 有 DTS 有...
离线Spark消费示例
本文介绍Spark如何访问SLS。Spark RDD访问SLS 代码示例#TestBatchLoghub.Scala object TestBatchLoghub { def main(args:Array...相关文档 Streaming访问SLS：Loghub数据源 Spark访问Kafka：Structured Streaming+Kafka Integration Guide
实时同步任务延迟解决方案
确认源端数据是否有倾斜或者是否需要扩展分区或shard的数量 对于源端是Kafka、DataHub和Loghub三种类型的实时同步任务，如果根据上述步骤未发现异常或Failover，则需要检查源端系统数据是否有倾斜或者分区、shard的读取流量是否达到了同步...
SLS增量导入
参数说明 {"reader":{"columns":["_client_ip_","C_Source","id","name"],"consumerSize":2,/指定有多少个consumer订阅loghub的数据，默认是1"logstore":"LTS-test"},"writer":{"columns":[{"name":"col1","value":"{{ concat('xx',name)}}...
日志管理
日志服务有三项功能都与日志保存时间有关，分别如下：LogHub（日志中枢）/LogSearch（日志索引与查询）：根据需求自行设置。LogShipper（日志投递）：日志投递至OSS、MaxCompute后，生命周期在以上产品中设置。希望把日志最终存储到OSS，...
开发入门
val conf=new SparkConf().setAppName("Test Loghub Streaming")val ssc=new StreamingContext(conf,batchInterval)val loghubStream=LoghubUtils.createStream(ssc,logServiceProject,logStoreName,loghubConsumerGroupName,...
调度参数返回值二次处理的典型场景
说明 使用Kafka和LogHub离线同步指定时间区间的数据时，如需配置调度参数，则调度参数的日期格式为 yyyymmddhh24miss，日期区间为左闭右开。详情请参见 Kafka Reader 和 LogHub Reader。不同场景的数据增量同步，详情请参见 数据增量同步。...
Dataphin新建Log Service数据源时报错A JSONObject ...
问题描述 本文主要描述了新建Log ...问题原因 配置信息LogHub Endpoint输入的格式不正确。解决方案 输入正确格式的LogHub Endpoint，通常格式为http://cn-shanghai.log.aliyun.com，不支持空格、斜线（/）等多余的符号。适用于 Dataphin
常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据。读取Loghub字段映射时读到的字段不符合预期。读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据。Kafka中数据量...
通过消费组消费数据
import com.aliyun.openservices.loghub.client.exceptions.LogHubClientWorkerException;public class Main {/日志服务的服务接入点，请您根据实际情况填写。private static String Endpoint="cn-hangzhou.log.aliyuncs.com";日志服务项目...
场景：调度参数在数据集成的典型应用场景
例如MySQL、Loghub、Kafka等。场景一：同步增量数据、场景四：同步历史数据 动态表名或文件路径 表名或文件名使用 调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。场景二：同步动态表名或...
示例项目使用说明
MNSSample：MNS使用示例 LoghubSample：Loghub使用示例 依赖资源 测试数据（data目录下）：The_Sorrows_of_Young_Werther.txt：可作为WordCount（MapReduce或Spark）的输入数据。patterns.txt：WordCount（MapReduce）作业的过滤字符。u....
日志组（LogGroup）
日志组（LogGroup）是一组日志的集合，是写入与读取日志的基本单元。一个日志组中的数据包含相同Meta（IP地址、Source等信息）。写入日志到日志服务或从日志服务读取日志时，多条日志被打包...日志服务的基本数据模型请参见 LogHub数据模型。
- 产品推荐
- 这些文档可能帮助您