评分卡训练
优化算法 在高级选项中可以配置训练过程中使用的优化算法，系统支持如下四种优化算法：L-BFGS：是一阶的优化算法，支持较大规模的特征数据集。该算法属于无约束的优化算法，会自动忽略约束条件。Newton's Method：牛顿法是经典的二阶算法，...
关键词抽取
docid:string word:string doc0 翼身融合 飞机 是 未来 航空 领域 发展 一个 新 方向 诸多 研究 机构 已经 开展 对翼身融合 飞机 研究 而 其 全自动 外形 优化 算法 已 成为 新 研究 热点 现有 成果 基础 之上 分析 比较 常用 建模 求解 ...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、...，帮助用户构建和持续优化的大数据体系架构...
查询优化（Query Optimizer)
优化器的功能是否强大是决定数据库性能是否高效稳定的核心因素，尤其在具有混合负载的场景下（包括一定复杂分析查询），优化器对于大数据量复杂查询的执行效率至关重要。本章节将介绍 PolarDB MySQL版 查询优化器组件在多个方面的功能，...
概述
Row-oriented AI NL2BI：用自然语言实时查看BI报表 典型解决方案 ID-Mapping在游戏领域的解决方案 通义千问大模型数据推理和交互 核心算法 LightGBM算法 DeepFM算法 K均值聚类算法（K-Means）随机森林回归算法（Random Forest Regression）...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
新功能发布记录
09-14 删除备份数据 优化 新通用型规格 新通用型规格新增支持接入自建域、基础系列升级高可用系列和迁移可用区功能。09-09 RDS PostgreSQL接入自建域 PostgreSQL基础系列升级高可用系列 迁移可用区 新增 内核版本发布 20220830内核小版本...
HTAP中的行列混存查询优化
在查询优化器中，最为广泛研究的是查询计划中的join order问题，选错join顺序可能极大地影响查询性能。同时，该问题依赖于以上三个组件的能力。HTAP负载对优化器的新诉求 MySQL是目前被广泛使用的OLTP数据库。在数据的存储、访问以及部分...
压缩测试
本文选取了订单、车联网、日志和用户行为这四个在Lindorm中常见的场景，使用真实的数据集分别测试了Lindorm默认压缩、Lindorm开启字典压缩、HBase使用SNAPPY算法压缩、MySQL不开启压缩、MongoDB使用SNAPPY算法压缩和MongoDB使用ZSTD算法...
产品优势
算法优化能力 经过实战检验的业务过程智能优化算法服务，一周接入、一周上线帮助制造业直接降本增效。技术专家能力 下过车间、进过实验室的大数据技术专家直面问题，迎难而上。降低大数据和AI使用门槛，让工艺师、老师傅能够轻松使用数据与...
PAI-EasyVision简介
PAI-EasyVision（视觉智能增强算法包）提供多种模型的训练及预测功能，旨在帮助计算机视觉应用开发者方便快捷地构建视觉模型并应用于生产。随着深度学习技术的快速发展，计算视觉技术已经跨入大规模商业化应用阶段。对于视觉AI应用开发者而...
如何将一棵LSM-Tree塞进NVM
提出了优化的基于PM的半持久化内存表用以替换传统方案DRAM中的内存表，使用ROR无锁免日志算法去除传统方案依赖WAL保持事务的ACID属性，设计全局有序的Global Index持久化索引层以及存内合并策略替换传统方案的Level0层，提高查询效率以及...
Logview诊断实践
写表的数据分布情况主要取决于写表的阶段（对应上图的R12）是如何Shuffle和排序的，上图给出的SQL最后的操作是Join，Join Key为如下代码：on t1.query=t2.query and t1.item_id=t2.item_id 研究一下数据的特征，大部分列都是item的属性，也...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
高效基因序列检索助力快速分析肺炎病毒
云原生数据仓库AnalyticDB MySQL版 是云端托管的PB级高并发低延时数据仓库，通过 AnalyticDB MySQL版 向量检索功能构建的基因检索系统，支持毫秒级针对10亿级别的向量数据进行查询分析，更加快速、高效的为肺炎病毒防控、研发治疗药物以及...
时序引擎版本说明
优化创建连续查询（Continuous Query，简称CQ）时，interval 参数需要反引号的问题。3.4.8 2022年02月07日 功能优化 修复HASH策略的BUG问题。3.4.7 2022年01月26日 新特性 TSQL写入语句限制至少一个Field列。TSQL支持创建或者删除预降采样...
算法效果类
我们会定期迭代模型，尽全力优化算法效果。欢迎您通过钉钉搜索群号 23109592，加入阿里云视觉智能开放平台咨询群，群内将有专员帮助您分析优化效果不符合预期的文件，为您解答相关问题。我们致力于为您提供更好的服务，也感谢您的问题助力...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
什么是交通云控平台
全息数字化还原：互联网数据和设备数据融合，交通评价更精准 大规模实时仿真：城市级仿真推演时间从几小时缩短到几分钟 智能优化调度方案：6年信号优化算法沉淀、5000+高速控制策略 全域多端交互协同：云边端一体化协同，海量边缘节点云端...
数据智能概述
算法模板 物联网平台提供算法模板供您使用，您可以查看算法模板的详情信息，如：算法详细介绍、运行算法所需数据、算法产出的数据等。实例管理 您可以在算法实例页面，根据实际业务需求购买算法实例和对已购买的算法实例进行续费和升配。...
什么是工业大脑AICS
通过输出“供、研、产、销”全链路智能算法服务，激活工业海量数据的价值，帮助工业生态伙伴快速、低成本构建行业解决方案，最终实现把人工智能与大数据技术接入到传统的生产线中，帮助生产企业实现数据流、生产流与控制流的协同，提高生产...
统计类算法参数调优
背景信息 统计类算法（esd、ttest和nsigma）可以根据历史数据为每一个数据点计算异常分数anomalyScore。算法的输入参数（如 esd.alpha、ttest.alpha 和 nsigma.n）会决定判断阈值threshold。当anomalyScore的值大于threshold的值时，当前...
使用前须知
同时根据指标数据进行算法的自适应优化，您不需要感知复杂的算法参数，就可以得到准确的聚类分析结果。海量：聚类分析支持超大规模集群（万级别）的机器分析。资产说明 创建数智服务实例后，日志服务将自动在您所指定的Project下创建...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
模型配置
算法模型的优劣依赖于训练数据，数据质量越高，数据量越大，算法效果越好。算法模型使用的行为数据集的数据要求与一般数据集有所不同，请参见 行为数据集样例 准备数据。数据存储于ADB3.0类型的数据源中，且数据源已接入Quick Audience，请...
AutoML使用限制及规格
AutoML的使用限制以及规格，包括当前支持的地域，支持的搜索算法TPE、GridSearch（网络搜索）、Random（随机搜索）、Evolution（演化算法）、GP（贝叶斯优化）、PBT（异步优化算法），以及对应的应用场景。支持地域（region）当前AutoML...
模型配置
算法模型的优劣依赖于训练数据，数据质量越高，数据量越大，算法效果越好。算法模型使用的行为数据集、商品标签数据集的数据要求与一般数据集有所不同，请分别参见 行为数据集样例、商品标签数据集样例 准备数据。行为数据集、商品标签数据...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
PolarDB HTAP实时数据分析技术解密
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级，因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展，用户使用其存储了大量的数据，并且运行着关键...
2021年
无 2021年3月 时空数据库（V3.5）类别 名称 描述 相关文档 发布时间 新增 大对象存储优化 新增Simple存储策略，优化大对象存储。使用Simple存储策略 2021年3月 优化 栅格对象 使用栅格对象更新一个具有分块数据的栅格对象进行时，系统会...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
库表结构优化
冷热数据优化 分析数据表的使用情况，对长期未使用的数据表，建议将其迁移至冷盘存储，以减低数据表存储成本。此类型的优化建议针对数据表级别。迁移数据表到冷盘存储的具体操作，请参见 数据存储冷热分离。说明 数据表迁移至冷盘后，该...
2021年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2021年12...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
V3.3.47版本说明
更新内容 复购预测、货品推荐：优化算法模型、预测任务与关联的受众、行为数据集、商品数据集、商品池之间的删除先后逻辑，完善删除限制。优化新建算法模型的配置项说明，优化剩余可用模型训练任务数、预测任务数展示方式，优化其他多处...
- 产品推荐
- 这些文档可能帮助您