应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
K均值聚类
2.将每个样本分配到距离其最近的质心，作为一个簇中的数据。3.通过取分配给每个先前质心的所有样本的平均值来创建新质心。计算新旧质心之间的差异，算法重复最后两个步骤，直到质心不再发生明显的变化，或者达到预定的迭代次数。参数说明 ...
实时同步常见问题
实时同步支持的数据源请参考文档：实时同步支持的数据源。实时同步任务为什么不建议使用公网？实时同步任务使用公网时，会存在以下风险：网络可能不稳定，丢包等时常发生，影响同步性能。安全性不高。实时同步字段格式问题 数据集成实时...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
数据源权限管理
什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享数据源后，引用过该数据源的任务关联信息是否会被同步分享？哪些角色可以...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
X-Engine简介
实际上，优化Compaction的过程只是X-Engine工作的一部分，更重要的是优化Compaction调度的策略，选什么样的Extent、定义compaction任务的粒度、执行的优先级等，都会对整个系统性能产生影响，可惜并不存在什么完美的策略，X-Engine积累了...
基本概念
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB、PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将Lindorm数据导入...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
创建Hudi数据源
本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并...同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。
RDS术语
AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
创建Hudi数据源
同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。重要 创建Hudi数据源时不支持测试数据源是否可以和Dataphin进行正常的连通，因此需要您确保连接信息的正确性。您可根据 网络连通解决方案 自行排查...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
什么是开放平台
阿里云工业开放平台是基于阿里云大数据的一体化计算平台，通过数据工厂对企业系统数据、工厂设备数据、传感器数据、人员管理数据等多方工业企业数据进行汇集，并借助图像、视频识别、机器学习和人工智能算法，来激活海量数据价值。为什么...
计算节点配置说明
计算节点是处理数据代码的算法节点，在算法流程中主要用于某个特定场景，或针对某张表的逻辑处理。本文介绍计算节点的节点画布配置说明和场景画布的配置说明。背景信息 计算节点支持多种类型，但是配置的参数和方法类似，这里只介绍关键...
计算节点配置说明
计算节点是处理数据代码的算法节点，在算法流程中主要用于某个特定场景，或针对某张表的逻辑处理。本文介绍计算节点的节点画布配置说明和场景画布的配置说明。背景信息 计算节点支持多种类型，但是配置的参数和方法类似，这里只介绍关键...
简介
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
工况识别-训练
否 否 是 否 是否批量：是 参数名 参数描述 是否必填 参数默认值 参数范围 批量大小 批量处理的数据量大小。即用来跑Mini Batch KMeans算法的采样集的大小，默认是100。如果发现数据集的类别较多或者噪音点较多，需要增加这个值以达到较好...
大数据安全治理的难点
如此多类型的用户，授权、管理难度加大，什么样的人员需要授予什么样的权限？如果他们离职、换部门了怎么办？这其中很有可能出现 权限蠕变、过度授权、离职撤权不彻底 的情况，这些都为数据安全事件埋下了隐患。入口 由于大数据系统要服务...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
互联网、电商行业离线大数据分析
方案优势 大规模存储：超大规模存储且自动扩容，最大可以支持EB级别的数据。高性能：性能更加高效、稳定。低成本：与自建数据库进行分析相比，成本更低。安全：原生的多租户系统，以工作空间进行隔离，所有计算任务在安全沙箱中运行。可视...
支持的数据库
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等数据源间的数据交互。本文详细介绍DTS支持的数据库、迁移类型、同步初始化类型、同步拓扑和支持订阅的数据类型。说明 关于文中涉及的迁移类型、同步类型、订阅的数据...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
DBSCAN
该算法可以支持多大的数据量？数据量小于100万条，维度小于200。说明 如果数据量超出范围，建议先将数据分组，每个分组分别跑DBSCAN算法。一个中心点的聚类中心ID为什么是2147483648？因为该数据点为离散点，不属于任何一个聚类中心。附录2...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
数据对接期
查询时如果带上1001，则可能会召回该物品（跟进算法模型决定是否推荐该物品），如果带上1003，则永远不会召回该物品 2、如何确定数据上传成功，如何查询已经上传的数据？SDK返回结果为true则意味的消息发送成功。是否正确执行，需要通过...
性能数据
KMS处理非对称算法时的性能数据，是在密钥规格为RSA_2048、对32字节数据进行签名的测试场景下得到的数据。KMS获取凭据值时的性能数据，是在凭据值为32字节的测试场景下得到的数据。测试硬件密钥管理实例的性能数据时，KMS已经连接密码机...
概述
阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案（DATABLAU），将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上夯实数据...
什么是工业大脑AICS
通过输出“供、研、产、销”全链路智能算法服务，激活工业海量数据的价值，帮助工业生态伙伴快速、低成本构建行业解决方案，最终实现把人工智能与大数据技术接入到传统的生产线中，帮助生产企业实现数据流、生产流与控制流的协同，提高生产...
数据建模：智能数据建模
适用场景 DataWorks智能建模可助力企业构建自身建模能力，挖掘企业的数据资产价值，例如：海量数据的标准化管理 企业业务越庞大数据结构就越复杂，企业数据量会随着企业业务的快速发展而迅速增长，如何结构化有序地管理和存储数据是每个...
概述
DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生更多的价值，将数据价值最大化。前提条件 您需要开通DataWorks智能数据建模后，才可以使用该产品功能，详情请参见 智能...
资产安全概述
脱敏算法 脱敏算法模块可以看到目前支持的所有脱敏算法，主要包括 遮盖脱敏（如张三，脱敏为*三）、哈希脱敏（如加盐MD5）两大类算法。动态脱敏 不改变底层数据的存储，只在数据进行消费时，进行数据的脱敏。典型应用场景：数据分析场景的...
- 产品推荐
- 这些文档可能帮助您