Tablestore数据源
表格存储Tablestore是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，Tablestore数据源为您提供读取和写入Tablestore双向通道的功能，本文为您介绍DataWorks的Tablestore数据同步的能力支持情况。使用限制 Tablestore Reader和Writer...
代码示例
该示例指定AIS轨迹点数据集目录，读取数据并以分段二级索引模型存储轨迹，以ID为主索引，xz2t为二级索引创建表"traj"并写入数据。分段策略为每50个点划分一段（目前支持BY_DURATION、BY_DISTANCE、BY_ANGLE、BY_COUNT四种分段策略，可以...
写入或更新调优指南
离线写入如MaxCompute写入Hologres时是表锁，实时写入大多数是Fixed Plan写入为行锁（例如Flink实时写入或者DataWorks数据集成实时写入），如果对同一个表并发执行离线写入和实时写入，那么离线写入就会拿表锁，实时写入会因为等锁而导致...
颜色映射
分段函数：不同的分段函数可以对数据进行分析，具体请参见 分段函数。预设模式：不同的预设模式可以对数据进行分析，具体请参见 预设模式。颜色映射分类 颜色映射类型分为三大类：分类映射 型、分段映射 型和 连续映射 型。类型 说明 分类...
分段多项式回归
本文为您介绍分段多项式回归组件。功能说明 分段多项式回归是分段进行分析因变量和多个自变量之间的线性关系模型。计算逻辑原理 分段多项式：通过把输入变量的取值空间分割成连续的区间，然后在每个区间中进行多项式拟合得到的。分段多项式...
创建业务网段
警告 阿里云VMware服务目前版本不支持在NSX-T控制台创建网络分段，用户直接在NSX-T控制台上创建网络分段，该网络分段不能和阿里云VPC及云下环境网络互通。选择 NSX Overlay网段，选择 创建NSX Overlay网段。输入 名称、网段，然后选择 确定...
分段多项式预测
本文为您介绍分段多项式预测组件。功能说明 分段多项式预测组件：用于对分段多项式回归组件训练出来的模型进行预测。仅支持分段多项式回归模型。计算逻辑原理 分段多项式：通过把输入变量的取值空间分割成连续的区间，然后在每个区间中进行...
ST_FrechetDistance
densifyFrac 当指定参数densifyFrac时候，每一个分段会被分割成距离相等的更小分段，而所有分段的总距离最接近给出的大分段总距离。描述 弗雷歇距离是曲线之间相似度的量度，其中考虑了沿曲线的点的位置和顺序。因此，它通常比豪斯多夫距离...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
查看列存索引构建的执行进度
在 INFORMATION_SCHEMA.IMCI_INDEX_STATS 表中查看索引的写入速度；在 INFORMATION_SCHEMA.IMCI_ASYNC_DDL_STATS 表中查看列存索引从行存恢复数据或者通过异步DDL构建列存索引数据的过程，主要用于查看构建中的执行速度和任务进度。已完成...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
冷数据归档
功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储...
基本概念
Lindorm Ganos同时支持三种模型的存储，批量轨迹点可以直接以点模型写入，也可以构建成线或分段线模型存储，用户可根据适用场景选择适合的模型。对于分段模型，Lindorm Ganos客户端提供基于距离差、角度差、时间间隔和点数的4种分段策略。...
MySQL分库分表同步至Hologres（方案2.0）
本文将以MySQL分库分表实时写入实时数仓Hologres场景为例，为您介绍分库分表写入Hologres数据集成最佳实践。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
常见疑问点
下图示例中，查询的startTime为09分28秒，该时间点不存在原始数据点，则会往前找到06分28秒，而这段时间都没有写入数据，则表示09分28秒没有选取到数据点。同理，09分43秒则选取了09分40秒的数据点、09分58秒选取了09分55秒的数据点。由于...
数据写入、更新、点查场景压测最佳实践
操作步骤 说明 如果自动生成的数据无法满足您需要的点查业务场景，您可以自行写入业务数据，完成主键、分布列、分段列等表属性的创建，而后根据如下步骤进行点查性能测试。自行创建的数据表中必须包含单列主键，主键数据类型为INT或BIGINT...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
功能发布记录
1月25日 地域：杭州、北京、上海 版本：ES Serverless 7.10版本 配置Serverless应用公网或私网访问 ES Serverless支持申请修改应用配额与系统限制 支持用户根据实际业务情况申请修改计算资源、存储空间，以及分片、数据的管理和读写请求的...
现代IM系统中的消息系统—实现
当并发量持续膨胀后，可对任务做hash分桶，随机写入多个topic。这样可以增加消费者数量（消费并发量），提升写扩散效率。对应任务队列消费，用户只需要维护每个topic的checkpoint点。checkpoint点之前的为已完成任务，通过getRange的方式...
近实时增量导入
commit接口调用代表原子提交这段时间写入的数据。如返回成功就代表写入数据查询可见，满足读写快照隔离级别。如返回失败，可支持重试，如果不是数据损坏等不可恢复的错误，则存在重试成功的可能，不需要重新写入数据，否则需要重写数据之后...
使用apack插件的物理复制功能
主分片在每次refresh时，通过网络将增量的索引文件拷贝到副本分片，在主副分片分配可见性延迟为毫秒级别的情况下，大幅度提高了集群的写入性能。物理复制功能的性能测试信息如下：测试环境 机器配置：数据节点8核32 GB*5+2 TB SSD云盘。...
为什么文件系统容量和快照大小不一致
虚拟化驱动KVM的Virtio-block和Xen的Block-front等模块不支持 TRIM 指令（磁盘I/O指令，提示逻辑块地址LBA上的某段数据不再使用，可以被删除），磁盘无法感知数据可以被删除。文件系统与磁盘和快照的关系 您在磁盘分区上创建的是文件系统。...
索引管理
POST/<yourIndexName>/_cube/unfollow 强制取消索引托管：取消托管过程中索引需完成段合并后才会结束托管，段合并耗时一般与segment数量、数据写入情况及数据量等有关系，如果耗时较长，对于内核版本为1.6及以上的内核增强版实例可通过如下...
MongoDB 分片集群介绍
需要的存储总量是N，那么您的业务需要的shard和mongos数量按照以下公式计算：numberOfShards=N/M/0.75（假设容量水位线为75%）numberOfMongos=2+（对访问要求不高，至少部署2个mongos做高可用）分片集群用于解决高并发写入（或读取）数据的...
TimeStream API功能介绍
阿里云Elasticsearch提供Aliyun-TimeStream时序增强插件，支持通过API接口完成TimeStream索引的增删改查，以及数据写入和查询。本文介绍如何使用TimeStream API。背景信息 TimeStream是阿里云Elasticsearch团队自研，并结合Elastic社区时序...
数据组织优化
随后在t4和t6时间段，又写入了一批新的DeltaFile，再次触发Compaction操作，将当前存在的BaseFile和新增的DeltaFile一起进行Merge操作，重新生成一个新的BaseFile。Compaction服务还需要与Meta Service进行交互。其流程与Clustering类似，...
功能简介
相较点模型显著降低存储成本 轨迹分段存储：提供按点数/距离/经纬度/时间四种内置分段策略，从批量轨迹点构建分段线模型轨迹 高效率时空查询 基本查询功能：ID+时间查询、属性查询、空间范围查询和时空范围查询 高效时空查询能力：通过对点...
使用指南
Java API（兼容GeoMesa的时空专用接口）以轨迹分段线模型为例。建表 定义轨迹点模型SimpleFeatureType。String pointSpec="id:String,dtg:Date,*geom:Point:srid=4326;SimpleFeatureType pointSFT=SimpleFeatureTypes.createType("point",...
包年包月资源分时配额
设计配额组 分时时间段1：00:00:00~08:00:00 分时时间段2：08:00:00~23:59:59 配额组名称 分时时间段1预留CU Min值 分时时间段1预留CU Max值 分时时间段2预留CU Min值 分时时间段2预留CU Max值 备注 默认配额组 80 100 20 100 生产项目配额...
MySQL分库分表实践
本文为您介绍如何通过DataWorker数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中，通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...
支持Flink可恢复性写入JindoFS或OSS
oss.entropy.key=<user-defined-key>oss.entropy.length=分片上传（SmartData 3.0.x及其后续版本）当写入场景为OSS或JindoFS Cache模式时，可恢复性读写功能会自动调用高效的分片上传机制，将待上传的文件分为多个数据块分别上传，最后组合...
FS-文件系统
fs.readSync(String path,Number pos,Number len,String mode)读取PATH路径下文件内容，支持分段读取。入参 属性 类型 是否必填 描述 path String 是 文件的路径和名称。pos Number 否 读取文件内容位置。len Number 否 读取内容的长度。...
异常行为分析
分桶数量：输入需要分桶的数量（如：10），用于对行为数据等距分段分析，统计每个分段中的用户分布。周期运行：默认选择否，如果不对数据表进行周期分析，此时点击保存并计算后，进入指定重跑任务的业务时间页面，业务时间默认为最近7天，...
导入与导出
如何解决导入MaxCompute数据时，出现“回滚此次写入，采用每次写入一行方式提交”报错？如何解决导入MaxCompute数据时，出现Query Exceeded Maximum Time Limit报错？如何解决导入MaxCompute数据时，出现cant submit job for job queue is ...
采集数据
将MySQL存储的用户基本信息及OSS存储的网站访问日志，通过数据集成服务将数据同步至MaxCompute，具体数据写入情况如下：源端数据源 目标数据源（MaxCompute）MySQL 表：ods_user_info_d uid 用户名 gender 性别 age_range 年龄分段 ...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
- 产品推荐
- 这些文档可能帮助您