将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
名词解释
Class C 服务端数据可实现实时上下行双向通信，功耗较高，需有固定电源。D2D Device to Device工作模式，实现点对点通信，支持下行主动唤醒。GwEUI LoRaWAN网关的身份标识。DevEUI LoRa节点的身份标识。数据出口 节点分组数据流向的目的地...
创建触发器
以 PSQL 工具为例，通过执行命令 \c<数据库名称>，切换至待迁移数据库。创建下述两张表，用于记录 DDL 事件变更。非 DROP DDL 事件信息表-postgreSQL DDL EVENT TABLE-CREATE TABLE public.oms_non_dropped_ddl_command(id bigserial ...
泛在网络
频段 支持以下三种频段：CN470 同频 CN470 异频 AS923 同频 Class 支持Class A、Class B、Class C、D2D。RxDelay 仅选择Class A时出现该参数。用于配置上行后的接收窗口延迟时间。取值范围：1s~15s，默认值：1s。工作速率（DR）仅选择Class...
凭证清单
凭证由搭建网关的用户创建后颁发，凭证用来指向一个网络的服务能力，如Class A、Class B、Class C与JoinEUI等。查看凭证清单 登录 物联网络管理平台控制台。在左侧导航栏，选择 节点管理>凭证清单。在 凭证清单 页面，查看凭证相关信息。...
D2D通信技术
实时性较好：亚秒级 功耗较低 本地控制（注：目前此功能需和单通道网关搭配使用）2、D2D特点 同 LoRaWAN 其他模式相比，D2D 具备如下特点：功能 Class A Class B Class C D2D 实时性 差 较好 很好 好 功耗 低 中 高 中 本地通信 不支持 不...
查询Profile
Instances|Host|ActiveTime|+-+-+-+|c257c52f93e149ee-ace8ac14e8c9ff03|10.200.00.01:9060|5.449ms|c257c52f93e149ee-ace8ac14e8c9ff05|10.200.00.02:9060|5.367ms|c257c52f93e149ee-ace8ac14e8c9ff04|10.200.00.03:9060|5.358ms|+-+-+-+...
使用限制
数据库数量 2008 R2数据库最大数量为50，其他SQL Server实例的数据库数量受实例规格限制，详细计算公式如下：集群系列/高可用系列 即CPU核数开二次方后向下取整，再乘以50，假设获得值为X，最大数据库数量取X或300间的 最小值。例如：2016...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
购买数据同步项目
本文为您介绍如何购买云数据库 OceanBase 数据传输服务提供的数据同步项目。背景信息 目前数据同步项目仅支持预付费模式，即包年包月计费模式。您可以根据本文操作购买相应类型的数据同步项目后，再对项目进行具体配置和管理。数据同步项目...
购买数据迁移项目
本文为您介绍如何购买云数据库 OceanBase 数据传输服务提供的数据迁移项目。背景信息 目前数据迁移项目仅支持后付费模式，即按量付费计费模式。当前为限时免费阶段，具体收费时间另行通知。您可以根据本文操作购买相应类型的数据迁移项目后...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
Hive服务异常排查及处理
解决方案：在EMR控制台Hive服务配置页面的 hive-env.sh 页签，修改 hive-env.sh hive_server2_opts 参数，调大Compressed class memory，例如：hive_server2_opts=-XX:CompressedClassSpaceSize=512m（其他参数不变）。
Hive统一元数据
EMR上可以支持将数据存放在阿里云OSS中，在大数据量的情况下将数据存储在OSS上会大大降低使用的成本，EMR集群主要用来作为计算资源，在计算完成之后可以随时释放，数据在OSS上，同时也不用再考虑元数据迁移的问题。数据共享。使用统一的...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
java_lang_ClassNotFoundException
} public static void main(String[]args)throws ClassNotFoundException,SecurityException,NoSuchMethodException,IllegalArgumentException,IllegalAccessException,InvocationTargetException,InstantiationException { Class c=Class....
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
发现并处理Redis的大Key和热Key
大Key和热Key的定义 名词 解释 大Key 通常以Key的大小和Key中成员的数量来综合判定，例如：Key本身的数据量过大：一个String类型的Key，它的值为5 MB。Key中的成员数过多：一个ZSET类型的Key，它的成员数量为10,000个。Key中成员的数据量过...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
绑定或解绑数据库账号
背景信息 AnalyticDB MySQL版 数仓版（3.0）弹性模式集群版（新版）支持不同数据库账号绑定到不同的资源组，通过资源组隔离实现计算任务的优先级调度，保障核心业务不受复杂计算和突发状况影响，同时将不同的查询分类，合理分配资源使集群...
java_lang_NoSuchMethodException
} public static void main(String[]args)throws ClassNotFoundException,SecurityException,NoSuchMethodException,IllegalArgumentException,IllegalAccessException,InvocationTargetException,InstantiationException { Class c=Class....
计费逻辑说明
资源费用明细：数据服务API调用 数据质量 数据质量可对任务产出的表数据进行数据质量监控，DataWorks将根据数据质量规则实例数量计费。资源费用明细：数据质量 OpenAPI DataWorks提供OpenAPI，您可基于OpenAPI实现业务定制化开发，...
离线同步常见问题
当脏数据数量超出限制时，任务立即停止，此前传输了多少条数据就是多少条。脏数据限制设置为多少就是不允许有多少条脏数据，若限制为0即在发现第一条脏数据时就会停止任务，此时有可能已经传几条数据了，或者没有传输数据（脏数据在所有...
CREATE TABLE
CREATE TABLE test_newtype(c1 TINYINT,c2 SMALLINT,c3 INT,c4 BIGINT,c5 FLOAT,c6 DOUBLE,c7 DECIMAL,c8 BINARY,c9 TIMESTAMP,c10 ARRAY,BIGINT>>,c11 MAP,ARRAY<BIGINT>>,c12 STRUCT,s2:BIGINT>,c13 VARCHAR(20))LIFECYCLE 1;示例7：创建...
MongoDB 4.0
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 升级数据库大版本：升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低峰期执行并确保应用...
管理健康报告
当平均写入文件耗时较短，同时文件数量较大时，此类表的小文件问题潜在影响也越大。通过上述算法，我们可以量化表的小文件问题，从而有针对性地对Top 20的表进行优化处理，以改善整体集群性能。主要字段说明如下。字段 说明 表集合 记录...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
C3P0 连接池配置示例
public class C3P0PoolTest { private static ComboPooledDataSource dataSource=new ComboPooledDataSource();public void init()throws PropertyVetoException { dataSource.setDriverClass("com.oceanbase.jdbc.Driver");dataSource....
如何支持超大事务
执行SQL语句数量 2048 每条语句携带的数据量 约256 KB～8 MB 数据修改总量 512 MB～16 GB 数据修改条数 2048 测试过程 测试中，每一条SQL语句形如：INSERT INTO `tb` VALUES(id,c)数据表中 c 列的数据类型为longblob，c 的大小从256 KB到8 ...
MongoDB 7.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 6.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
同步时源库为Db2 for LUW的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
构造测试数据
当您需要研究某类型数据的SQL处理方法，或验证功能实现逻辑是否符合预期，或需要在某些场合演示功能时，可以通过构造测试数据支撑功能验证及演示。本文为您介绍构造数据的方法，仅供参考。背景信息 通常，先有数据才会有基于数据的应用，但...
如何通过工作流进行上下游数据传递
SchedulerX提供的工作流功能可以对多个任务进行编排，同时还支持上下游任务间的数据传递，让您的业务更加的简单易用。本文将以3个调度任务为例介绍如何通过工作流进行上下游任务间的数据传递。背景信息 当前只有简单Java任务支持数据传递，...
- 产品推荐
- 这些文档可能帮助您