PolarDB处理TPC-H查询的挑战和机遇
数据访问位置（Data Access Locality）Columnar Locality 这是列存的天然优势，紧凑的数据布局有益于cache locality，并且可以做压缩来减少IO开销。利用向量化技术以及基于SIMD指令集的计算原语，实现高效的算子内并行，提升算子执行效率。...
eRDMA概述
阿里云的eRDMA从设计之初就是要做云上普惠的能力，既要满足客户对RDMA低延时的需求，又要降低大众化场景的适配门槛，让更多的应用可以上云体验到更好的性能。普惠的RDMA网络带来了应用场景的丰富化，相对于传统的线下RDMA的应用场景，eRDMA...
基本概念
为便于您更好的理解视频点播产品，您可以在使用前了解视频格式、视频编码、视频转码等基本概念。文件格式 操作系统中的文件名都有后缀，即扩展名，例如1.doc，2.jpg，3.avi等。设置扩展名的目的是让系统中的应用程序来识别并关联这些文件，...
基本概念
ABR在指定的文件大小内，以每50帧（30帧约1秒）为一段，低频和不敏感频率使用相对低的流量，高频和大动态表现时使用高流量，可以做为VBR和CBR的一种折衷选择。ABR在一定的时间范围内达到设定的码率，但是局部码率峰值可以超过设定的码率，...
范围类型
还有，要写一个是空字符串的界限值，则可以写成""，因为什么都不写表示一个无限界限。范围值前后允许有空格，但是圆括号或方括号之间的任何空格会被当做上下界值的一部分（取决于元素类型，它可能是也可能不是有意义的）。重要 这些规则与...
消费者负载均衡
消费者从 云消息队列 RocketMQ 版 获取消息消费时，通过消费者负载均衡策略，可将主题内的消息分配给指定消费者分组中的多个消费者共同分担，提高消费并发能力和消费者的水平扩展能力。本文介绍 云消息队列 RocketMQ 版 消费者的负载均衡...
我是数采实施商
什么是模板表（全称为技术属性模板表）什么是设备表（全称为设备配置表）什么是点位表（用于离散点位管理）以一个例子来展开说明3张表的差异，假设工厂中通过PLC接入了 10个电机、1个机械臂，且10个电机在PLC协议地址空间中是对称的，则...
分区表常见问题
其他：与传统的MySQL数据库不同，PolarDB MySQL版 对大表的支持做了很多优化，线上集群有超过40 TB大小的单表（单表指非分区表），访问性能没有明显的下降。目前，对于64 TB以下的数据量也没有绝对要求必须要分区，您可以综合考虑数据的...
MongoDB 分片集群介绍
什么情况下使用分片集群？当您遇到如下问题时，可以使用分片集群解决：存储容量受单机限制，即磁盘资源遭遇瓶颈。读写能力受单机限制，可能是CPU、内存或者网卡等资源遭遇瓶颈，导致读写能力无法扩展。如何确定shard、mongos数量？您可以...
创建压测场景
为什么要做JDBC压测 验证新数据库在高负载下的性能。通常对数据库的操作都是基于HTTP、FTP或其他协议执行的，但在某些特定情况下，需要绕过这些中间协议直接测试数据库，比如您希望只测试特定High-Value查询的性能而不触发所有相关查询。...
顺序消息
基于消息组的顺序判定逻辑，支持按照业务逻辑做细粒度拆分，可以在满足业务局部顺序的前提下提高系统的并行度和吞吐能力。如何保证消息的顺序性 云消息队列 RocketMQ 版 的消息的顺序性分为两部分，生产顺序性和消费顺序性。生产顺序性：云...
RunInstances-创建一台或多台按量付费或者包年包月ECS...
创建一台或多台按量付费或者包年包月ECS实例。接口说明 准备工作：通过实名认证。更多信息，请参见 账号实名认证相关文档。成本估算：了解云服务器 ECS 的计费方式。更多信息，请参见 计费概述。产品选型：调用 DescribeInstanceTypes 查看...
特征离散化
分段间隔为0.5，对数据【2.2,2.9,1,1.4,1.6,2.7】做离散化处理后为【2.0,3.0,1.0,1.5,1.5,2.5】计算逻辑原理 特征离散化：有效的离散化能减少算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力，并且可以有效的克服数据中...
优化内部表的性能
说明 一个DB内可以创建多个Table Group，但所有Table Group的Shard总数之和不应超过Hologres推荐的默认Shard数，这是对CPU资源的最有效利用。JOIN场景优化 当有两表或多表JOIN时，为了提高JOIN的性能，有如下几种优化方式。更新统计信息 如...
MaxCompute安全白皮书
可以同时满足多用户协同、数据共享、数据保密与安全以及资源弹性的需要，做到真正的多租户资源隔离和Serverless。基于灵活性和扩展性的考虑，MaxCompute在SQL语言中支持了用户自定义函数，即UDF的能力，方便用户对计算行为进行扩展，同时也...
我是普通用户
获取权限后，可以在 SQLConsole 中执行SQL，并可以做可视化查看结果集、编辑结果集等操作。详情请参见 SQL窗口、跨库查询。可对数据进行变更、执行导入导出等操作。详情请参见 数据变更、数据导出、数据导入。支持普通用户的功能总览 类目 ...
管理分区
分区表达式 可以对数据进行过滤，您可以选择将需要做分区的字段添加到分区成员中。确定好分区成员后，您可以单击 分区边界，为当前分区类型创建分区边界。填写完毕后，您可以进入 表编辑器 的 SQL预览 页面，实时查看当前SQL语句，其中也...
标签体系
概述 通过本标签体系提供的能力所生成的标签可用户自定义筛选人群，生成的人群可以做其他的用户运营场景，也可以作为人群进行洞察时的维度（含有多个标签值的标签）标签分类 标签创建方式分为自定义规则标签和导入标签；自定义规则标签：...
转换Log为Metric
如果您需要监控Log中某字段的指标变化趋势，可以使用日志服务数据加工函数e_to_metric将Log字段转换为Metric，通过时序库查看该指标的变化趋势。本文以Nginx访问日志为例说明如何将Log转化为Metric。前提条件 已采集到日志数据。更多信息，...
查看和修改CPU拓扑结构
您可以查看并修改ECS实例的CPU拓扑结构来提高性能、提升并行性以及优化资源分配，以满足您在虚拟化环境、多线程编程、高性能计算等不同场景下的需求。本文介绍如何通过OpenAPI查看和修改实例的CPU拓扑结构。背景信息 什么是CPU 拓扑 CPU...
DescribeInstances-查询一台或多台ECS实例的详细信息
调用DescribeInstances查询一台或多台ECS实例的详细信息。接口说明 请求参数的作用类似于一个过滤器，过滤器为逻辑与（AND）关系。如果某一参数为空，则过滤器不起作用。但是参数 InstanceIds 如果是一个空 JSON 数组，则视为该过滤器有效...
新闻行业
不同的页面，用户访问类型不一样，都可以做成不同的场景ID。用户自填 1、按照字母数字组合方式定义，建议使用首拼或英文与数字组合形式增强可读性。2、场景ID中不能含有英文冒号。3、场景ID不能为-102（内部预留值）。4、当推荐仅有单场景...
电商行业
不同的页面，用户访问类型不一样，都可以做成不同的场景ID。用户自填 1、按照字母数字组合方式定义，建议使用首拼或英文与数字组合形式增强可读性。2、场景ID中不能含有英文冒号。3、场景ID不能为-102（内部预留值）。4、当推荐仅有单场景...
函数概览
本文列举的函数与运算符可以被用在 SLS 的 SQL 或 SPL 两种语言中。函数与运算符 说明 您可以根据具体使用的功能、语言，在本文中查看具体的函数、运算符用法。下表中，√表示支持，×表示不支持。SQL 是一种广泛使用的查询、分析语言，...
组件参考：所有组件汇总
逻辑回归多分类 该组件是一个二分类算法，PAI提供的逻辑回归可以支持多分类，且支持稀疏及稠密数据格式。随机森林 该组件是一个包括多决策树的分类器，其分类结果由单棵树输出类别的众数决定。朴素贝叶斯 该组件是一种基于独立假设的贝叶斯...
保障离线在线一致性的CTR预估方案
您在线上环境进行模型预测时，也可以使用离线训练时的数据预处理和特征工程逻辑，以保障线上线下处理流程的一致性。前提条件 已创建工作空间，详情请参见 创建工作空间。已将MaxCompute资源关联到工作空间，详情请参见 管理工作空间。数据...
安全白皮书
针对不同用户数据，进行数据存储隔离，并将其离散存储在分布式文件系统中。能够同时满足多用户协同、数据共享、数据保密和安全的需要，做到真正的多租户资源隔离。访问控制 通过多维度访问控制来保证数据安全。RAM权限控制 阿里云提供访问...
数据建模
多表自定义SQL：逻辑表和其他逻辑表的自定义SQL规则返回值进行运算和期望值做对比。（比如：本表SQL执行输出与关联表SQL执行输出进一步的计算逻辑支持${result_1}和${result_2}的四则运算，支持使用abs取绝对值的运算比如：(${result_1}+5*...
如何高效使用IN查询
IN查询的数量128个，那么一次查询的SQL为：SELECT*FROM ORDER WHERE ORDER_ID IN(id1,id2,id3.id128)如果ID足够离散，可能会分散到所有的分片，需要查询最多128个分片，每个分片的物理查询没有做IN值的裁剪，每个物理查询都会携带128个IN值...
在IN查询中如何选择Values个数
IN查询的数量128个，那么一次查询的SQL为：SELECT*FROM ORDER WHERE ORDER_ID IN(id1,id2,id3.id128)如果ID足够离散，可能会分散到所有的分片，需要查询最多128个分片，每个分片的物理查询没有做IN值的裁剪，每个物理查询都会携带128个IN值...
APPROX_COUNT_DISTINCT
非精确的COUNT DISTINCT计算能提升查询性能，尤其是对于column的离散值比较大的情况，误差率平均可以控制在 0.1%-1%以内。该函数适用于对性能敏感并且可以接受误差的场景。同时，您也可以通过 COUNT DISTINCT(column)的方式进行精确的COUNT...
过滤式特征选择
连续特征分区方式 连续特征分区的方式，取值如下：自动化分区 等距离分区 连续特征离散区间数 仅 连续特征分区方式 选择 等距离分区 时，才需要配置该参数。方式二：PAI命令方式 使用PAI命令方式，配置该组件参数。您可以使用SQL脚本组件...
ModifyInstanceAttribute-修改一台实例的部分信息
关于突发性能实例运行模式的更多信息，请参见 什么是突发性能实例。Standard DeletionProtection boolean 否 实例释放保护属性。指定是否支持通过控制台或 API（DeleteInstance）释放实例。说明 该属性仅适用于按量付费实例，且只能限制...
新核云：借助云效解决多环境部署难题
我们就有更多的余力去开发更多的功能，可能原来平均每周用4个小时去担心环境管理的问题，现在半个小时就可以，多出的三个半小时可以去跟你的客户在一起，多了解他们的需求，多思考怎么更好地去服务他们。这个其实就是云效AppStack给我们...
列存索引
普通分区表达式 可以指定0个或多个普通分区表达式，多个表达式用英文逗号（,）分隔。普通分区表达式为宽表主键字段（例如城市、日期等），索引数据会按照不同的分区值构建，并在查询时按照分区过滤条件高效定位数据。bucket分区表达式 至少...
数据视图
通过数据视图组件，您可以可视化地了解特征与标签列的分布情况及特征的特点，以便后续进行数据分析。该组件支持稀疏和稠密数据格式。本文为您介绍 Designer 提供的数据视图算法的参数配置方式及使用示例。组件配置 您可以使用以下任意一种...
PS-SMART多分类
注意事项 使用PS-SMART多分类组件时，需要注意以下事宜：虽然PS-SMART多分类组件支持数十万特征任务，但是消耗资源大且运行速度慢，可以使用GBDT类算法进行训练。GBDT类算法适合直接使用连续特征进行训练，除需要对类别特征进行One-Hot编码...
性能监控指标
wa(iowait)：表示CPU在等待I/O操作完成所花费的时间，通常该指标越低越好，否则表示I/O存在瓶颈，可以用 iostat等命令做进一步分析。hi(hardirq)：表示CPU处理硬中断所花费的时间。硬中断是由外设硬件（如键盘控制器、硬件传感器等）发出的...
PS-SMART回归
虽然多个Worker分布式执行时，树结构不同，但是从理论上可以保证模型效果相近。如果您在训练过程中，使用相同数据和参数，多次得到的结果不一致，属于正常现象。如果需要加速训练，可以增大 计算核心数。因为PS-SMART算法需要所有服务器...
基于组件化EasyRec框架快速搭建深度推荐算法模型
2.实现组件复用，一次开发到处可用 很多模型之所以被称之为一个新的模型，是因为引入了一个或多个特殊的子模块（组件），然而这些子模块并不仅只能用在该模型中，通过组合各个不同的子模块可以轻易组装一个新的模型。过去一个新开发的公共...
- 产品推荐
- 这些文档可能帮助您